Meu objetivo para o ano: tornar a IA local fácil e agradável de usar, no seu celular, laptop, agentes de programação, Discord, navegador e até mesmo no ESP. Você poderá falar com um Apple Watch, rodar um modelo local de plantão, fazer com que ele code para você, etc. Kimi em 150GB de VRAM GLM-5 em 150GB de VRAM MiniMax-M2.5 em 48GB de VRAM O QuantForge permite que você pegue qualquer modelo, em qualquer hardware. Selecione o tamanho de um alvo, calibre os conjuntos de dados e depois o pode e quantize. Trabalhe no meu MacBook, estou colhendo e quantizando alguns modelos minúsculos. Até o final do ano, vou fazer com que eu e qualquer um possamos comprar qualquer modelo para servir em qualquer hardware. RN usa hardware local, mas vou integrar com o Prime Intellect. Vou adicionar algumas funcionalidades para compartilhar conjuntos de dados e construir um a partir de muitos componentes independentes.