Geen van de code-editors is qua prestaties gebouwd om de enorme doorvoer van AI-agenten aan te kunnen. 1. Zed heeft problemen bij het opnieuw indexeren en controleren van bestanden, ik heb elke 3 dagen een geheugencrash. 2. VSCode en zijn forks hebben problemen met GPU-versnelling en crashen ongeveer 2 keer per DAG. 3. CMux, Ghosttty zijn net zo stabiel als Zed. Ik heb andere IDE's niet geprobeerd, ze hebben allemaal deze problemen. Nu, toegegeven, ik open mijn projectrootmap, draai 10-20 terminals 24/7 en ik weet dat dat onredelijk is. Betere hardware helpt niet, een geheugenlek is een geheugenlek, ongeacht hoeveel geheugen je hebt. Het zal uiteindelijk je systeem toch laten crashen.

Een golf van interesse in lokale AI staat op het punt om zo hard toe te slaan, precies op tijd voor de M5 ultra. Ik hou van mijn GPU's en ben eeuwig dankbaar voor wat ze me hebben geleerd, ik denk gewoon dat Apple voorbestemd is om te winnen in consumentgerichte AI-hardware. Vreemd genoeg zijn zij nu de goedkope.

Mijn doel voor het jaar: lokale AI gemakkelijk en aangenaam maken om te gebruiken, op je telefoon, laptop, coderingsagenten, discord, browser en zelfs op ESP. Je zult in staat zijn om met een Apple watch te praten, een lokaal model op te roepen, het voor je te laten coderen, enz.. Kimi op 150gb vram GLM-5 op 150gb vram MiniMax-M2.5 op 48gb vram QuantForge stelt je in staat om elk model, op elke hardware te nemen. Selecteer een doelformaat en calibratiedatasets en vervolgens snoeit en kwantificeert het. Werk op mijn macbook, ik ben aan het oogsten en kwantificeren van enkele kleine modellen. Tegen het einde van het jaar zal ik het zo maken dat ik en iedereen elk model op elke hardware kan laten passen. RN gebruikt het lokale hardware, maar ik zal integreren met Prime Intellect. Ik ga enkele functies toevoegen voor het delen van datasets en het bouwen van één uit veel onafhankelijke componenten.