Nenhum dos editores de código, em termos de desempenho, foi construído para suportar o enorme throughput dos agentes de IA. 1. O Zed enfrenta um problema ao reindexar e verificar arquivos, eu tenho uma falha de memória a cada 3 dias. 2. O VSCode e seus forks têm problemas com aceleração de GPU e travam 2 vezes ou mais por DIA. 3. O CMux e o Ghosttty são tão estáveis quanto o Zed. Não experimentei outros IDEs, todos tendem a ter esses problemas. Agora, é verdade que estou abrindo a pasta raiz do meu projeto, executando de 10 a 20 terminais 24/7 e sei que isso é irrealista. Obter um hardware melhor não resolve, um vazamento de memória é um vazamento de memória, não importa quanta memória você tenha. Eventualmente, isso travará seu sistema de qualquer maneira.

Uma onda de interesse em IA local está prestes a atingir com força, bem a tempo do M5 ultra. Adoro as minhas GPUs e sou eternamente grato pelo quanto elas me ensinaram, só acho que a Apple está destinada a vencer no hardware de IA para consumidores. Estranhamente, agora são as mais baratas.

O meu objetivo para o ano: tornar a IA local fácil e agradável de usar, no seu telefone, laptop, agentes de codificação, discord, navegador e até mesmo no ESP. Você poderá conversar com um Apple Watch, executar um modelo local em chamada, fazê-lo codificar para você, etc.. Kimi com 150gb de vram GLM-5 com 150gb de vram MiniMax-M2.5 com 48gb de vram QuantForge permite que você pegue qualquer modelo, em qualquer hardware. Selecione um tamanho alvo e conjuntos de dados de calibração e, em seguida, poda e quantiza-o. Trabalhando no meu macbook, estou colhendo e quantizando alguns modelos pequenos. Até o final do ano, farei com que eu e qualquer pessoa possa fazer qualquer modelo se ajustar a qualquer hardware. Neste momento, utiliza hardware local, mas vou integrar com o Prime Intellect. Vou adicionar alguns recursos para compartilhar conjuntos de dados e construir um a partir de muitos componentes independentes.