🚨 Alibaba'nın Qwen Ekibi, yapay zeka eğitimini 8 kat daha verimli hale getiren bir çerçeve yayınladı. Buna OPUS deniyor Her yapay zeka laboratuvarının sessizce paniklediği sorunu çözüyor: Veri Duvarı. Yüksek kaliteli kamuya açık metin tükeniyor. Tahminler, 2026–2028 yılları arasında bu durumun ortadan kalkacağını söylüyor. OPUS daha fazla veri bulamıyor. Her eğitim aşamasında doğru veriyi seçiyor. İşte nasıl çalışıyor: → Her optimizer adımında, OPUS eğitim örneklerinden oluşan bir aday tampon puanları alır → Her örneğin etkili güncellemesini optimize edicinin gerçek geometrisine yansıtır (AdamW, Muon) → Her örneklemin hedef kıyaslamada performansı ne kadar iyileştireceğini ölçür → Çeşitliliği korumak ve tekrarı önlemek için Boltzmann örneklemesini kullanır → Güncelleme için yalnızca en yüksek fayda sağlayan tokenları seçer İşte en çılgın kısım: GPT-2 XL'i 30B jetonlarla eğitti ve 200B jetonlarla eğitilen modelleri geride bıraktı. Bu yazım hatası değil. 30B, 200B'yi yendi. Qwen3-8B'de OPUS, tam eğitimi sadece 0.5B jeton kullanarak 3B jetonlarla eşleştirdi. 6 kat veri verimliliği artışı. Bilimsel alanlarda devam eden ön eğitimde. Daha da çılgın: OPUS'a kasıtlı olarak daha düşük kaliteli veri verdiler (FineWeb-Edu puanı 3), temel veriler ise yüksek kaliteli bölüm üzerinde eğitim aldı (puanlar 4–5). OPUS yine de kazandı. Daha düşük kaliteli veriler, dinamik olarak seçilmiş, yüksek kaliteli veriyi statik olarak filtreleyen verileri geride bırakmıştır. Tüm bunlar sadece %4,7 ek hesaplama yükü ile sağlanıyor. ...