Ingen av kodeeditorene, ytelsesmessig, var laget for å tåle den enorme gjennomstrømningen fra AI-agenter. 1. Zed sliter med et problem ved re-indeksering og sjekk av filer, jeg får et minnekrasj hver tredje dag. 2. VSCode og dets forgreninger har problemer med GPU-akselerasjon, og krasjer omtrent to ganger om dagen 3. CMux, Ghosttty er like stabile som Zed. Jeg har ikke prøvd andre IDE-er, de pleier alle å ha disse problemene. Nå åpner jeg prosjektets rotmappe, kjører 10-20 terminaler døgnet rundt, og jeg vet at det er urimelig. Å skaffe bedre maskinvare løser det ikke, en minnelekkasje er en minnelekkasje uansett hvor mye minne du har. Det vil uansett til slutt krasje systemet.

En bølge av interesse for lokal AI er i ferd med å slå til så hardt, akkurat i tide til M5 ultra. Jeg elsker GPU-ene mine og er evig takknemlig for hvor mye de har lært meg, jeg tror bare Apple er skjebnebestemt til å vinne forbruker-AI-maskinvare. Merkelig nok er de de billige nå

Mitt mål for året: gjøre lokal AI enkel og behagelig å bruke, på telefonen, laptopen, kodeagenter, Discord, nettleser og til og med på ESP. Du vil kunne snakke med en Apple Watch, kjøre en lokal modell på vakt, få den til å kode for deg, osv. Kimi på 150 GB VRAM GLM-5 på 150 GB VRAM MiniMax-M2.5 på 48 GB VRAM QuantForge lar deg ta hvilken som helst modell, på hvilken som helst maskinvare. Velg en målstørrelse og kalibreringsdatasett, og beskåret og kvantiserer det deretter. Jobber på Macbooken min, jeg høster og kvantiserer noen små modeller. Innen utgangen av året vil jeg sørge for at jeg og hvem som helst kan få hvilken som helst modell til å passe hvilken som helst maskinvare. Nå bruker den lokal maskinvare, men jeg vil integrere med Prime Intellect. Jeg skal legge til noen funksjoner for deling av datasett, og bygge ett ut fra mange uavhengige komponenter.