Mitt mål for året: gjøre lokal AI enkel og behagelig å bruke, på telefonen, laptopen, kodeagenter, Discord, nettleser og til og med på ESP. Du vil kunne snakke med en Apple Watch, kjøre en lokal modell på vakt, få den til å kode for deg, osv. Kimi på 150 GB VRAM GLM-5 på 150 GB VRAM MiniMax-M2.5 på 48 GB VRAM QuantForge lar deg ta hvilken som helst modell, på hvilken som helst maskinvare. Velg en målstørrelse og kalibreringsdatasett, og beskåret og kvantiserer det deretter. Jobber på Macbooken min, jeg høster og kvantiserer noen små modeller. Innen utgangen av året vil jeg sørge for at jeg og hvem som helst kan få hvilken som helst modell til å passe hvilken som helst maskinvare. Nå bruker den lokal maskinvare, men jeg vil integrere med Prime Intellect. Jeg skal legge til noen funksjoner for deling av datasett, og bygge ett ut fra mange uavhengige komponenter.