متجر التطبيق اللامركزي | مركز Web3 للأحداث والألعاب

المواضيع الرائجة

Andrej Karpathy

@EurekaLabsAI المباني. سابقا مدير الذكاء الاصطناعي @ Tesla ، الفريق المؤسس @ OpenAI ، CS231n / PhD @ ستانفورد. أحب تدريب الشبكات العصبية العميقة الكبيرة.

كان لدي نفس الفكرة، لذا كنت ألعب بها في nanochat. على سبيل المثال، هنا 8 وكلاء (4 كلود، 4 كودكس)، مع بطاقة رسومات واحدة لكل منها تجري تجارب nanochat (محاولة حذف سجل الدخول بدون انحدار). الخلاصة هي أن الأمر لا يعمل وهو فوضى... لكنها لا تزال جميلة جدا للنظر :) جربت بعض الترتيبات: 8 باحثين مستقلين منفردين، وعالم رئيسي واحد يعطي عملا ل8 باحثين مبتدئين، وهكذا. كل برنامج بحثي هو فرع git، كل عالم يجمعه إلى فرع ميزات، وgit worktrees للعزل، وملفات بسيطة للاتصالات، وتخطي Docker/VMs للبساطة حاليا (أجد أن التعليمات كافية لمنع التداخل). تعمل منظمات البحث في شبكات نوافذ tmux من الجلسات التفاعلية (مثل Teams) بحيث يكون الأمر جميلا للنظر إليه، ورؤية أعمالهم الفردية، و"السيطرة عليه" إذا لزم الأمر، أي بدون -p. لكن حسنا، السبب في أنه لا يعمل حتى الآن هو أن أفكار العملاء سيئة جدا خارج الصندوق، حتى عند أعلى مستوى ذكاء. لا يفكرون جيدا في تصميم التجارب، ويقدمون بعض التنويعات غير المنطقية، ولا يخلقون خطوط أساس قوية ولا يفصلون الأمور بشكل صحيح، ولا يتحكمون بدقة في مدة التشغيل أو الإخفاقات. (كمثال، اكتشف وكيل أمس أن زيادة حجم الشبكة المخفي يحسن فقدان التحقق، وهو نتيجة زائفة تماما نظرا لأن الشبكة الأكبر ستحصل على خسارة تحقق أقل في النظام اللانهائي للبيانات، لكنها أيضا تتدرب لفترة أطول بكثير، وليس واضحا لماذا اضطررت للدخول وأشير إلى ذلك). هم بارعون جدا في تنفيذ أي فكرة محددة النطاق وموصوفة بشكل جيد، لكنهم لا يولدونها بشكل إبداعي. لكن الهدف هو أنك الآن تبرمج منظمة (مثل "منظمة بحثية") ووكلائها الأفراد، لذا فإن "الشيفرة المصدرية" هي مجموعة من الطلبات والمهارات والأدوات وما إلى ذلك والعمليات التي تتكون منها. على سبيل المثال، أصبح الوقوف اليومي في الصباح جزءا من "قانون المنظمة". وتحسين التدريب المسبق على nanochat هو مجرد واحدة من العديد من المهام (يشبه تقريبا التقييم). ثم - إذا أعطيت مهمة عشوائية، كم سرعة تحقيق جهة البحث الخاصة بك تقدما فيها؟

مع اقتراب موجة الطلب على الرموز، هناك فرص كبيرة لتنظيم الذاكرة الأساسية+الحوسبة *بشكل صحيح* لنماذج اللغة الكبيرة (LLMs). القيد الأساسي وغير الواضح هو أنه بسبب عملية تصنيع الشريحة، تحصل على مجموعتين منفصلتين تماما من الذاكرة (بتطبيقات فيزيائية مختلفة أيضا): 1) SRAM على الشريحة التي تقع مباشرة بجانب وحدات الحوسبة وسريعة جدا لكنها ذات سعة منخفضة جدا، و2) DRAM خارج الشريحة ذات سعة عالية جدا، لكن محتوياتها لا يمكنك امتصاصها إلا من خلال شفاطة طويلة. بالإضافة إلى ذلك، هناك العديد من التفاصيل في البنية التحتية (مثل المصفوفات الانقباضية)، والأعداد، وغيرها. تصميم الركيزة الفيزيائية المثلى ثم تنسيق الذاكرة+الحوسبة عبر سير العمل الأعلى حجما لنماذج اللغة الكبيرة (تعبئة/فك ترميز الاستدلال، التدريب/الضبط الدقيق، إلخ) مع أفضل معدل إنتاجية/زمن تأخير/$ هو ربما أكثر الأحجية الفكرية إثارة للاهتمام اليوم مع أعلى المكافآت (\استشهد ب 4.6 طن من NVDA). كل ذلك للحصول على العديد من الرموز، بسرعة ورخيصة. يمكن القول إن سير العمل الذي قد يكون الأكثر أهمية (فك تشفير الاستدلال *و* عبر سياقات الرموز الطويلة في الحلقات الوكالية الضيقة) هو الأصعب في نفس الوقت من قبل ~كلا المعسكرين الحاليين (المجاورة ل NVIDIA أولا من HBM وقريبة من سيربرا ب SRAM أولا). على أي حال، فريق MatX حاصل على درجة A++، لذا من دواعي سروري أن أشارك قليلا وأهنوك على الزيادة!

نحن نبني شريحة LLM تقدم معدل نقل بيانات أعلى بكثير من أي شريحة أخرى مع تحقيق أقل زمن استجابة (latency). نسميه MatX One. تعتمد شريحة MatX One على مصفوفة انقباضية قابلة للتقسيم، والتي تتمتع بكفاءة الطاقة والمنطقة التي تشتهر بها المصفوفات الانقباضية الكبيرة، كما تستخدم بشكل كبير على المصفوفات الصغيرة ذات الأشكال المرنة. تجمع الشريحة بين التأخير المنخفض في تصاميم SRAM أولا ودعم السياق الطويل ل HBM. هذه العناصر، بالإضافة إلى نظرة جديدة على الرقميات، تقدم معدل نقل أعلى على نماذج اللغة الكبيرة مقارنة بأي نظام معلن، مع مطابقة زمن الاستجابة لتصاميم SRAM. معدل النقل الأعلى وأقل تأخير يمنحانك نماذج أذكى وأسرع مقابل اشتراكك. جمعنا سلسلة B بقيمة 500 مليون دولار لإنهاء التطوير وتوسيع التصنيع بسرعة، مع الطباعة بشريط لاصق في أقل من عام. قاد الجولة جين ستريت، إحدى أكثر شركات وول ستريت خبرة في التكنولوجيا، وشركة Situational Awareness LP، التي كتب مؤسسها @leopoldasch المذكرة الحاسمة حول الذكاء الاصطناعي العام. يشمل المشاركون @sparkcapital، @danielgross وصندوق @natfriedman، @patrickc و@collision، @TriatomicCap، @HarpoonVentures، @karpathy، @dwarkesh_sp، وغيرهم. نرحب أيضا بالمستثمرين عبر سلسلة التوريد، بما في ذلك مارفيل وألتشيب. @MikeGunter_ وأنا أسسنا MatX لأننا شعرنا أن أفضل شريحة لنماذج اللغة الكبيرة يجب أن تصمم من مبادئ أولية مع فهم عميق لما تحتاجه النماذج وكيف ستتطور. نحن مستعدون للتخلي عن أداء النماذج الصغيرة، وأعباء العمل منخفضة الحجم، وحتى سهولة البرمجة لتقديم مثل هذه الشريحة. نحن الآن فريق مكون من 100 شخص يضم أشخاصا يفكرون في كل شيء من جداول المعدلات المتعلمة، إلى جدولة Swing Modulo، إلى الحراسة/الدائرة/القطع اللاصقة، إلى الاتصالات العمياء—كلها في نفس المبنى. إذا كنت ترغب في مساعدتنا في تصميم ونشر أجيال عديدة من الشرائح بكميات كبيرة، فكر في الانضمام إلينا.

الأفضل

المُتصدِّرة

التطبيقات المفضلة