Her zamanki gibi Qwen ekibinden hibrit minik modellerin gerçekten etkileyici bir gösterimi!
İnsanlar, cihaz içi dağıtımda hız, gecikme ve bellek açısından @liquidai'nin LFM'leriyle nasıl karşılaştırıldıklarını soruyor.
İşte Apple M3 Ultra hakkında hızlı bir profil değerlendirmesi:
> LFM2.5-1.2B, Qwen3.5-0.8B'den %52 daha hızlı kod çözme özelliğine sahiptir.
> LFM2-700M, kod çözmede Qwen3.5-0.8B'den %71 daha hızlıdır
> LFM2-2.6B, kodlama sırasında Qwen3.5-2B ile aynı hıza sahiptir
> LFM2-700M, Qwen3.5-0.8B'ye göre %46 daha az zirve bellek kullanır
> LFM2-2.6B, Qwen3.5-2B'ye göre %21 daha az zirve bellek kullanır
> aynı parametre boyutuna sahip lfms ön doldurma genellikle Qwen3.5'ten %12 daha hızlıdır
LFM2 serisini, bir işlemci için kalite ödün vermeden en verimli mimariyi bulmamızı sağlayan donanım-döngü meta yapay zeka tasarım yaklaşımımızla tasarladık.
Bu test Apple M3 Ultra ile yapılıyor, 512 GB birleşik bellek
Yapılandırma:
> 512 prompt token, 128 nesil token,
> Konfigürasyon başına 5 deneme
> Çerçevesi: MLX (mlx-lm / mlx-vlm)