Mi objetivo para el año: hacer que la IA local sea fácil y agradable de usar, en tu teléfono, portátil, agentes de codificación, discord, navegador e incluso en ESP. Podrás hablar con un Apple Watch, ejecutar un modelo local en llamada, hacer que codifique para ti, etc.. Kimi en 150gb vram GLM-5 en 150gb vram MiniMax-M2.5 en 48gb vram QuantForge te permite tomar cualquier modelo, en cualquier hardware. Selecciona un tamaño objetivo y conjuntos de datos de calibración y luego lo poda y cuantiza. Trabajo en mi macbook, estoy cosechando y cuantizando algunos modelos pequeños. Para finales de año haré que yo y cualquiera pueda hacer que cualquier modelo se ajuste a cualquier hardware. Ahora utiliza hardware local, pero integraré con Prime Intellect. Voy a añadir algunas características para compartir conjuntos de datos y construir uno a partir de muchos componentes independientes.