Keiner der Code-Editoren wurde leistungsseitig entwickelt, um den enormen Durchsatz von KI-Agenten standzuhalten. 1. Zed hat Probleme beim Re-Indexieren und Überprüfen von Dateien, ich habe alle 3 Tage einen Speicherabsturz. 2. VSCode und seine Forks haben Probleme mit der GPU-Beschleunigung und stürzen etwa 2 Mal am TAG ab. 3. CMux und Ghosttty sind so stabil wie Zed. Ich habe andere IDEs nicht ausprobiert, sie haben alle diese Probleme. Zugegeben, ich öffne meinen Projektstammordner, betreibe 10-20 Terminals 24/7 und ich weiß, dass das unvernünftig ist. Bessere Hardware löst das Problem nicht, ein Speicherleck ist ein Speicherleck, egal wie viel Speicher man hat. Es wird letztendlich dein System trotzdem zum Absturz bringen.

Eine Welle des Interesses an lokaler KI wird so stark zuschlagen, genau rechtzeitig für das M5 Ultra. Ich liebe meine GPUs und bin ihnen ewig dankbar, wie viel sie mir beigebracht haben. Ich denke nur, dass Apple dazu bestimmt ist, im Bereich der Verbraucher-KI-Hardware zu gewinnen. Seltsamerweise sind sie jetzt die günstigen.

Mein Ziel für das Jahr: lokale KI einfach und angenehm zu nutzen, auf deinem Telefon, Laptop, Coding-Agenten, Discord, Browser und sogar auf ESP. Du wirst in der Lage sein, mit einer Apple Watch zu sprechen, ein lokales Modell bei Anruf auszuführen, es für dich programmieren zu lassen usw. Kimi auf 150 GB VRAM GLM-5 auf 150 GB VRAM MiniMax-M2.5 auf 48 GB VRAM QuantForge ermöglicht es dir, jedes Modell auf jeder Hardware zu verwenden. Wähle eine Zielgröße und Kalibrierungsdatensätze aus und dann wird es beschnitten und quantisiert. Ich arbeite an meinem MacBook, ich ernte und quantisiere einige kleine Modelle. Bis zum Ende des Jahres werde ich es so machen, dass ich und jeder andere jedes Modell an jede Hardware anpassen kann. Momentan verwendet es lokale Hardware, aber ich werde es mit Prime Intellect integrieren. Ich werde einige Funktionen zum Teilen von Datensätzen hinzufügen und einen aus vielen unabhängigen Komponenten erstellen.