Mój cel na ten rok: uczynić lokalne AI łatwym i przyjemnym w użyciu, na twoim telefonie, laptopie, agentach kodujących, discordzie, przeglądarce, a nawet na ESP. Będziesz mógł rozmawiać z Apple Watch, uruchomić lokalny model na wezwanie, sprawić, by kodował dla ciebie, itd.. Kimi na 150gb vram GLM-5 na 150gb vram MiniMax-M2.5 na 48gb vram QuantForge pozwala na użycie dowolnego modelu, na dowolnym sprzęcie. Wybierz docelowy rozmiar i zestawy danych kalibracyjnych, a następnie przycina i kwantyzuje go. Pracuję na moim macbooku, zbieram i kwantyzuje kilka małych modeli. Do końca roku sprawię, że ja i każdy inny będzie mógł dopasować dowolny model do dowolnego sprzętu. Teraz używa lokalnego sprzętu, ale zintegrować się z Prime Intellect. Zamierzam dodać kilka funkcji do udostępniania zestawów danych i budowania jednego z wielu niezależnych komponentów.