Ни один из редакторов кода не был создан с учетом производительности, чтобы выдерживать огромный поток AI-агентов. 1. Zed сталкивается с проблемой при повторной индексации и проверке файлов, у меня происходит сбой памяти каждые 3 дня. 2. VSCode и его форки имеют проблемы с ускорением GPU и вылетают 2 раза в день. 3. CMux, Ghosttty так же стабильны, как и Zed. Я не пробовал другие IDE, у них у всех есть эти проблемы. Теперь, конечно, я открываю корневую папку своего проекта, запускаю 10-20 терминалов 24/7, и я знаю, что это неразумно. Улучшение аппаратного обеспечения не решает проблему, утечка памяти — это утечка памяти, независимо от того, сколько у вас памяти. В конечном итоге это все равно приведет к сбою вашей системы.

Волна интереса к местному AI вот-вот накроет с головой, как раз к моменту выхода M5 ultra. Я люблю свои GPU и бесконечно благодарен за то, сколько они меня научили, просто думаю, что Apple суждено победить на рынке потребительского AI-оборудования. Странно, но теперь они самые дешевые.

Моя цель на год: сделать локальный ИИ простым и приятным в использовании на вашем телефоне, ноутбуке, кодирующих агентах, Discord, браузере и даже на ESP. Вы сможете общаться с Apple Watch, запускать локальную модель по вызову, заставлять её кодировать для вас и т.д. Kimi на 150 ГБ VRAM GLM-5 на 150 ГБ VRAM MiniMax-M2.5 на 48 ГБ VRAM QuantForge позволяет вам взять любую модель на любом оборудовании. Выберите целевой размер и наборы данных для калибровки, а затем она обрезает и квантизирует её. Работаю на своем MacBook, я собираю и квантизирую несколько маленьких моделей. К концу года я сделаю так, чтобы я и любой другой могли адаптировать любую модель под любое оборудование. В данный момент используется локальное оборудование, но я интегрируюсь с Prime Intellect. Собираюсь добавить несколько функций для обмена наборами данных и создания одного из многих независимых компонентов.