Tidak ada editor kode yang berkinerja dari segi yang dibuat untuk menahan throughput agen AI yang besar. 1. Zed berjuang dengan masalah saat mengindeks ulang dan memeriksa file, saya mengalami crash memori setiap 3 hari. 2. VSCode dan garpunya memiliki masalah dengan akselerasi GPU, dan crash 2 kali atau lebih SEHARI 3. CMux, Ghosttty sestabil Zed. Saya belum mencoba IDE lain, mereka semua cenderung memiliki masalah ini. Sekarang saya membuka folder root proyek saya, menjalankan 10-20 terminal 24/7 dan saya tahu itu tidak masuk akal. Mendapatkan perangkat keras yang lebih baik tidak memperbaikinya, kebocoran memori adalah kebocoran memori tidak peduli berapa banyak memori yang Anda miliki. Pada akhirnya akan merusak sistem Anda.

Gelombang minat pada AI lokal akan menghantam begitu keras, tepat pada waktunya untuk M5 ultra. Saya menyukai GPU saya dan selamanya berterima kasih atas seberapa banyak yang telah mereka ajarkan kepada saya, saya hanya berpikir Apple ditakdirkan untuk memenangkan perangkat keras AI konsumen. Anehnya mereka yang murah sekarang

Tujuan saya untuk tahun ini: membuat AI lokal mudah dan menyenangkan digunakan, di ponsel, laptop, agen pengkodean, perselisihan, browser, dan bahkan di ESP. Anda akan dapat berbicara dengan Apple watch, menjalankan model lokal yang dipanggil, mendapatkan pengkodean untuk Anda, dll. Kimi pada vram 150gb GLM-5 pada vram 150gb MiniMax-M2.5 pada vram 48gb QuantForge memungkinkan Anda mengambil model apa pun, pada perangkat keras apa pun. Pilih ukuran target, dan himpunan data kalibrasi, lalu pangkas dan kuantitas. Bekerja di macbook saya, saya menuai dan mengukur beberapa model kecil. Pada akhir tahun saya akan membuatnya sehingga saya dan siapa pun dapat mendapatkan model apa pun yang sesuai dengan perangkat keras apa pun. RN itu menggunakan perangkat keras lokal tetapi saya akan berintegrasi dengan Prime Intellect. Akan menambahkan beberapa fitur untuk berbagi himpunan data, dan membangunnya dari banyak komponen independen.