Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Ramin Hasani
Naprawdę imponujące wydanie hybrydowych małych modeli od zespołu Qwen, jak zawsze!
Ludzie pytają, jak wypadają pod względem prędkości, opóźnienia i pamięci w porównaniu do LFMs od @liquidai do wdrożenia na urządzeniach?
Oto szybkie profilowanie na Apple M3 Ultra:
> LFM2.5-1.2B jest o 52% szybszy w dekodowaniu niż Qwen3.5-0.8B.
> LFM2-700M jest o 71% szybszy niż Qwen3.5-0.8B w dekodowaniu
> LFM2-2.6B ma tę samą prędkość co Qwen3.5-2B w dekodowaniu
> LFM2-700M używa o 46% mniej pamięci szczytowej niż Qwen3.5-0.8B
> LFM2-2.6B używa o 21% mniej pamięci szczytowej niż Qwen3.5-2B
> lfms prefill z tym samym rozmiarem parametrów jest zazwyczaj o 12% szybszy niż Qwen3.5
Zaprojektowaliśmy serię LFM2 z naszym podejściem do projektowania meta AI z hardware-in-the-loop, które pozwala nam znaleźć najbardziej efektywną architekturę dla danego procesora bez poświęcania jakości.
Test został przeprowadzony na Apple M3 Ultra, 512 GB pamięci zintegrowanej
Konfiguracja:
> 512 tokenów prompt, 128 tokenów generacji,
> 5 prób na konfigurację
> Framework: MLX (mlx-lm / mlx-vlm)
2 mar, 21:18
🚀 Przedstawiamy serię małych modeli Qwen 3.5
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ Więcej inteligencji, mniej obliczeń.
Te małe modele są oparte na tej samej podstawie Qwen3.5 — natywne multimodalne, ulepszona architektura, skalowane RL:
• 0.8B / 2B → małe, szybkie, świetne do urządzeń brzegowych
• 4B → zaskakująco silna multimodalna baza dla lekkich agentów
• 9B → kompaktowy, ale już zbliżający się do znacznie większych modeli
I tak — wydajemy również modele bazowe.
Mamy nadzieję, że lepiej wspiera to badania, eksperymenty i innowacje przemysłowe w rzeczywistym świecie.
Hugging Face:
ModelScope:
90
Najlepsze
Ranking
Ulubione