Mi objetivo para el año: hacer que la IA local sea fácil y agradable de usar, en tu móvil, portátil, agentes de programación, Discord, navegador e incluso en ESP. Podrás hablar con un Apple Watch, ejecutar un modelo local en llamada, conseguir que se programe para ti, etc. Kimi en 150GB de VRAM GLM-5 en VRAM de 150GB MiniMax-M2.5 con 48GB de VRAM QuantForge te permite tomar cualquier modelo, en cualquier hardware. Selecciona un tamaño objetivo, calibra los conjuntos de datos y luego poda y cuantiza. Trabajo en mi MacBook, estoy cosechando y cuantizando algunos modelos diminutos. Para finales de año haré que tanto yo como cualquiera podamos conseguir cualquier modelo que encaje en cualquier hardware. RN usa hardware local pero lo integraré con Prime Intellect. Voy a añadir algunas funciones para compartir conjuntos de datos y construir uno a partir de muchos componentes independientes.