🚨 Tim Qwen Alibaba merilis kerangka kerja yang membuat pelatihan AI 8x lebih efisien. Ini disebut OPUS Ini memecahkan masalah yang diam-diam panik oleh setiap lab AI: Dinding Data. Teks publik berkualitas tinggi hampir habis. Proyeksi mengatakan itu akan hilang pada tahun 2026–2028. OPUS tidak menemukan lebih banyak data. Ini memilih data yang tepat di setiap langkah pelatihan. Begini cara kerjanya: → Pada setiap langkah pengoptimal, OPUS mencetak buffer kandidat dari sampel pelatihan → Memproyeksikan pembaruan efektif setiap sampel ke dalam geometri aktual pengoptimal (AdamW, Muon) → Mengukur seberapa banyak setiap sampel akan meningkatkan kinerja pada tolok ukur target → Menggunakan pengambilan sampel Boltzmann untuk melestarikan keragaman dan menghindari redundansi → Hanya memilih token utilitas tertinggi untuk pembaruan Inilah bagian terliar: Ini melatih GPT-2 XL pada token 30B dan mengungguli model yang dilatih pada token 200B. Itu bukan kesalahan ketik. 30B mengalahkan 200B. Pada Qwen3-8B, OPUS mencocokkan pelatihan penuh dengan token 3B hanya menggunakan token 0,5B. Peningkatan efisiensi data 6x lipat. Dalam pra-pelatihan berkelanjutan tentang domain ilmiah. Bahkan lebih gila: mereka sengaja memberi OPUS data berkualitas rendah (skor FineWeb-Edu 3) sementara baseline dilatih pada partisi berkualitas tinggi (skor 4–5). OPUS masih menang. Data berkualitas lebih rendah, dipilih secara dinamis, mengalahkan data berkualitas lebih tinggi yang disaring secara statis. Semua ini hanya dengan overhead komputasi tambahan 4,7%. ...