لم يتم تصميم أي من محررات الكود من حيث الأداء لتحمل سرعة نقل وكلاء الذكاء الاصطناعي الهائلة.
1. يواجه زيد مشكلة عند إعادة الفهرسة وفحص الملفات، وأتعرض لانهيارا في الذاكرة كل 3 أيام.
2. VSCode وفروعه تعاني من مشاكل في تسريع بطاقة الرسوميات، وتتعطل مرتين تقريبا يوميا
3. CMux، Ghosttty مستقرون مثل Zed.
لم أجرب بيئة تطوير أخرى (IDEs)، جميعها عادة ما تعاني من هذه المشاكل. صحيح أنني أفتح مجلد الجذر الخاص بي في المشروع، وأستخدم 10-20 طرفية على مدار الساعة وأعلم أن هذا غير معقول.
الحصول على عتاد أفضل لا يحل المشكلة، تسرب الذاكرة يبقى تسرب ذاكرة بغض النظر عن كمية الذاكرة التي لديك. في النهاية، سيتسبب ذلك في تعطل نظامك.
موجة من الاهتمام بالذكاء الاصطناعي المحلي على وشك أن تضرب بقوة، تماما في الوقت المناسب لطائرة M5 Ultra.
أنا أحب معالجات الرسوميات الخاصة بي وسأكون ممتنة إلى الأبد لما علموني إياه، فقط أعتقد أن آبل مقدر لها أن تفوز بأجهزة الذكاء الاصطناعي للمستهلكين.
الغريب أنهم الآن هم الرخيصون
Kimi K2.5 على MacBook Pro + 4 x M3 Ultra Mac Studios.
يدعم @exolabs الاستدلال الموزع على شبكة من الأجهزة غير المتجانسة.
عندما تهبط M5 Pro/Max/Ultra، يمكنك إضافتها إلى مجموعتك.
هدفي لهذا العام: جعل الذكاء الاصطناعي المحلي سهلا وممتعا للاستخدام، على هاتفك، أو لابتوبك، أو وكلاء البرمجة، أو ديسكورد، أو المتصفح، وحتى على ESP.
ستتمكن من التحدث إلى ساعة آبل، تشغيل موديل محلي على الطلب، الحصول على برمجة لك، وهكذا.
كيمي على ذاكرة فيديو 150 جيجابايت
GLM-5 على ذاكرة VRAM بسعة 150 جيجابايت
MiniMax-M2.5 على ذاكرة فيديو 48 جيجابايت
QuantForge تتيح لك أخذ أي نموذج وعلى أي جهاز. اختر حجم الهدف، ومعايرة مجموعات البيانات ثم قم بتقليمها وتكميمها.
أعمل على جهاز الماك بوك الخاص بي، أقوم بحصاد وقياس بعض النماذج الصغيرة.
بحلول نهاية العام سأجعل الأمر يمكنني أنا وأي شخص الحصول على أي موديل يناسب أي أجهزة. RN يستخدم أجهزة محلية لكنني سأدمج مع Prime Intellect.
سأضيف بعض الميزات لمشاركة مجموعات البيانات، وبناء واحدة من عدة مكونات مستقلة.