O meu objetivo para o ano: tornar a IA local fácil e agradável de usar, no seu telefone, laptop, agentes de codificação, discord, navegador e até mesmo no ESP. Você poderá conversar com um Apple Watch, executar um modelo local em chamada, fazê-lo codificar para você, etc.. Kimi com 150gb de vram GLM-5 com 150gb de vram MiniMax-M2.5 com 48gb de vram QuantForge permite que você pegue qualquer modelo, em qualquer hardware. Selecione um tamanho alvo e conjuntos de dados de calibração e, em seguida, poda e quantiza-o. Trabalhando no meu macbook, estou colhendo e quantizando alguns modelos pequenos. Até o final do ano, farei com que eu e qualquer pessoa possa fazer qualquer modelo se ajustar a qualquer hardware. Neste momento, utiliza hardware local, mas vou integrar com o Prime Intellect. Vou adicionar alguns recursos para compartilhar conjuntos de dados e construir um a partir de muitos componentes independentes.