Performans açısından hiçbir kod editörünün yapay zeka ajanlarının aşırı verimliliğine dayanacak şekilde tasarlanmamıştı. 1. Zed, dosyaları yeniden indekslerken ve kontrol ederken bir sorunla mücadele ediyor, her 3 günde bir hafıza çöküşü oluyor. 2. VSDode ve çatalları GPU hızlandırma sorunu yaşıyor ve günde yaklaşık 2 kez çöküyor 3. CMux, Ghosttty Zed kadar istikrarlı. Başka IDE'leri denemedim, hepsinde bu sorunlar oluyor. Proje kök klasörümü açıyorum, 7/24 10-20 terminal çalıştırıyorum ve bunun mantıksız olduğunu biliyorum. Daha iyi donanım almak sorunu çözmez, bellek sızıntısı ne kadar hafıza olursa olsun bellek sızıntısıdır. Zaten sonunda sisteminiz çöker.

Yerel yapay zekaya olan ilgi dalgası çok güçlü bir şekilde vurmak üzere, tam zamanında M5 ultra için hazır. GPU'larımı çok seviyorum ve bana öğrettiklerine sonsuza dek minnettarım, sadece Apple'ın tüketici yapay zeka donanımını kazanmaya mahkum olduğunu düşünüyorum. Garip bir şekilde, şimdi ucuz olanlar onlar

Yılki hedefim: Yerel yapay zekayı telefonunuzda, dizüstü bilgisayarınızda, kodlama ajanlarınızda, Discord'da, tarayıcınızda ve hatta ESP'de kullanımı kolay ve keyifli hale getirmek. Apple Watch ile konuşabilir, çağrıda yerel bir model çalıştırabilir, sizin için kodlayabilir vb. Kimi 150gb vram üzerinde 150GB vram üzerinde GLM-5 MiniMax-M2.5 48gb vram üzerinde QuantForge, herhangi bir modeli, herhangi bir donanımda almanızı sağlıyor. Bir hedef boyut ve kalibrasyon veri setleri seçin, ardından budayıp kuantize eder. Macbook'umda çalışıyorum, küçük modelleri biçiyorum ve quant ediyorum. Yıl sonuna kadar benim ve herkesin herhangi bir modeli herhangi bir donanıma uyacak şekilde ayarlayabileceğimi sağlayacağım. RN yerel donanım kullanıyor ama Prime Intellect ile entegre olacağım. Veri setlerini paylaşmak için bazı özellikler ekleyeceğim ve birçok bağımsız bileşenden birini oluşturacağım.