Niciunul dintre editorii de cod, din punct de vedere al performanței, nu a fost construit să reziste debitului uriaș al agenților AI. 1. Zed se confruntă cu o problemă la reindexarea și verificarea fișierelor, am o blocare a memoriei la fiecare 3 zile. 2. VSCode și fork-urile sale au probleme cu accelerația GPU și se blochează de aproximativ 2 ori pe ZI 3. CMux, Ghosttty sunt la fel de stabili ca Zed. Nu am încercat alte IDE-uri, toate tind să aibă aceste probleme. Acum, recunosc, deschid folderul rădăcină al proiectului, folosesc 10-20 de terminale non-stop și știu că nu e rezonabil. Să ai hardware mai bun nu rezolvă problema, o scurgere de memorie este o pierdere de memorie indiferent câtă memorie ai. Oricum, în cele din urmă, sistemul tău se va bloca.

Un val de interes pentru AI-ul local este pe cale să lovească puternic, chiar la timp pentru M5 ultra. Îmi iubesc plăcile video și sunt veșnic recunoscător pentru cât de mult m-au învățat, doar că cred că Apple este sortită să câștige hardware-ul AI pentru consumatori. Ciudat, acum sunt cele ieftine

Obiectivul meu pentru anul acesta: să fac AI-ul local ușor de folosit și plăcut, pe telefon, laptop, agenți de programare, Discord, browser și chiar pe ESP. Vei putea vorbi cu un Apple Watch, să rulezi un model local la apel, să-l faci să programeze pentru tine etc. Kimi pe VRAM de 150GB GLM-5 pe VRAM de 150GB MiniMax-M2.5 pe 48GB VRAM QuantForge îți permite să iei orice model, pe orice hardware. Selectează o dimensiune țintă, calibrează seturile de date, apoi taie și cuantizează. Lucrez la MacBook-ul meu, culeg și cuantizez niște modele mici. Până la sfârșitul anului voi face ca eu și oricine să putem obține orice model care să se potrivească oricărui hardware. RN folosește hardware local, dar voi integra cu Prime Intellect. Voi adăuga câteva funcții pentru partajarea seturilor de date și voi construi unul din mai multe componente independente.