Żaden z edytorów kodu nie został zaprojektowany pod kątem wydajności, aby wytrzymać ogromny przepływ AI agentów. 1. Zed ma problem z reindeksowaniem i sprawdzaniem plików, co 3 dni mam awarię pamięci. 2. VSCode i jego forki mają problemy z akceleracją GPU i zawieszają się 2 razy dziennie. 3. CMux, Ghosttty są tak samo stabilne jak Zed. Nie próbowałem innych IDE, wszystkie mają tendencję do tych problemów. Teraz przyznaję, że otwieram główny folder projektu, uruchamiam 10-20 terminali 24/7 i wiem, że to nie jest rozsądne. Lepszy sprzęt tego nie naprawi, wyciek pamięci to wyciek pamięci, niezależnie od tego, ile pamięci masz. I tak w końcu zawiesi twój system.

Fala zainteresowania lokalnym AI ma uderzyć tak mocno, akurat na czas M5 ultra. Kocham moje GPU i jestem wiecznie wdzięczny za to, ile mnie nauczyły, po prostu myślę, że Apple jest skazane na wygraną w dziedzinie sprzętu AI dla konsumentów. Dziwnie, że teraz są tymi tanimi.

Mój cel na ten rok: uczynić lokalne AI łatwym i przyjemnym w użyciu, na twoim telefonie, laptopie, agentach kodujących, discordzie, przeglądarce, a nawet na ESP. Będziesz mógł rozmawiać z Apple Watch, uruchomić lokalny model na wezwanie, sprawić, by kodował dla ciebie, itd.. Kimi na 150gb vram GLM-5 na 150gb vram MiniMax-M2.5 na 48gb vram QuantForge pozwala na użycie dowolnego modelu, na dowolnym sprzęcie. Wybierz docelowy rozmiar i zestawy danych kalibracyjnych, a następnie przycina i kwantyzuje go. Pracuję na moim macbooku, zbieram i kwantyzuje kilka małych modeli. Do końca roku sprawię, że ja i każdy inny będzie mógł dopasować dowolny model do dowolnego sprzętu. Teraz używa lokalnego sprzętu, ale zintegrować się z Prime Intellect. Zamierzam dodać kilka funkcji do udostępniania zestawów danych i budowania jednego z wielu niezależnych komponentów.