Žádný z editorů kódu nebyl výkonově navržen tak, aby odolal obrovské propustnosti AI agentů. 1. Zed má problém s přeindexováním a kontrolou souborů, mám pád paměti každé 3 dny. 2. VSCode a jeho forky mají problémy s akcelerací GPU a padají asi dvakrát denně 3. CMux, Ghosttty jsou stejně stabilní jako Zed. Jiné IDE jsem nezkoušel, všechny mají tyto problémy. Přiznávám, že otevírám kořenovou složku projektu, provozuji 10-20 terminálů 24/7 a vím, že to není rozumné. Lepší hardware to nevyřeší, únik paměti je únik paměti bez ohledu na to, kolik máte paměti. Nakonec ti to stejně způsobí pád systému.

Vlna zájmu o lokální AI se chystá zasáhnout tak silně, právě včas na M5 ultra. Miluji své GPU a jsem navždy vděčný za to, co mě naučily, jen si myslím, že Apple je předurčen vyhrát spotřební AI hardware. Zajímavé je, že teď jsou to ti levní

Můj cíl na tento rok: udělat lokální AI snadnou a příjemnou na používání – na vašem telefonu, notebooku, u programátorů, na Discordu, v prohlížeči a dokonce i na ESP. Budete moci komunikovat s Apple hodinkami, provozovat místní model na zavolání, nechat ho programovat pro sebe atd. Kimi na 150GB vram GLM-5 na 150GB VRAM MiniMax-M2.5 na 48GB VRAM QuantForge vám umožní vzít jakýkoli model, na jakémkoli hardwaru. Vyberte velikost cíle a kalibrační datasety a poté je ořezávejte a kvantizujete. Pracuji na svém MacBooku, sklízím a kvantizuji pár malých modelů. Do konce roku to udělám tak, že já i kdokoli jiný si můžeme nechat jakýkoli model, aby pasoval na jakýkoli hardware. RN používá lokální hardware, ale integruji se s Prime Intellect. Přidám funkce pro sdílení datových sad a postavím je z mnoha nezávislých komponent.