Nessuno degli editor di codice, dal punto di vista delle prestazioni, è stato costruito per resistere al puro throughput degli agenti AI. 1. Zed ha problemi con un errore durante la reindicizzazione e il controllo dei file, ho un crash di memoria ogni 3 giorni. 2. VSCode e i suoi fork hanno problemi con l'accelerazione GPU e si bloccano 2 volte al giorno circa. 3. CMux e Ghosttty sono stabili quanto Zed. Non ho provato altri IDE, tendono tutti ad avere questi problemi. Ora, è vero che apro la cartella radice del mio progetto, eseguendo 10-20 terminali 24 ore su 24, 7 giorni su 7 e so che è irragionevole. Acquistare hardware migliore non risolve il problema, una perdita di memoria è una perdita di memoria, non importa quanta memoria hai. Alla fine, si bloccherà comunque il tuo sistema.

Una ondata di interesse per l'AI locale sta per colpire così forte, proprio in tempo per l'M5 ultra. Amo le mie GPU e sono eternamente grato per quanto mi hanno insegnato, penso solo che Apple sia destinata a vincere nel settore dell'hardware AI per i consumatori. Stranamente, ora sono quelle economiche.

Il mio obiettivo per l'anno: rendere l'AI locale facile e piacevole da usare, sul tuo telefono, laptop, agenti di codifica, discord, browser e persino su ESP. Potrai parlare con un Apple watch, eseguire un modello locale in chiamata, farlo programmare per te, ecc.. Kimi su 150gb vram GLM-5 su 150gb vram MiniMax-M2.5 su 48gb vram QuantForge ti consente di prendere qualsiasi modello, su qualsiasi hardware. Seleziona una dimensione target e set di dati di calibrazione e poi lo pota e quantizza. Lavoro sul mio macbook, sto raccogliendo e quantizzando alcuni modelli piccoli. Entro la fine dell'anno farò in modo che io e chiunque altro possiamo adattare qualsiasi modello a qualsiasi hardware. Attualmente utilizza hardware locale ma integrerò con Prime Intellect. Aggiungerò alcune funzionalità per la condivisione di set di dati e per costruirne uno a partire da molti componenti indipendenti.