🚨 Das Qwen-Team von Alibaba hat ein Framework veröffentlicht, das das AI-Training um das 8-fache effizienter macht. Es heißt OPUS. Es löst das Problem, über das jedes AI-Labor heimlich in Panik gerät: die Datenwand. Hochwertiger öffentlicher Text geht zur Neige. Prognosen sagen, dass er bis 2026–2028 verschwunden sein wird. OPUS findet keine weiteren Daten. Es wählt die richtigen Daten bei jedem einzelnen Trainingsschritt aus. So funktioniert es: → Bei jedem Optimierungsschritt bewertet OPUS einen Kandidatenpuffer von Trainingsproben → Projektiert die effektive Aktualisierung jeder Probe in die tatsächliche Geometrie des Optimierers (AdamW, Muon) → Misst, wie sehr jede Probe die Leistung bei einem Zielbenchmark verbessern würde → Verwendet Boltzmann-Sampling, um Vielfalt zu bewahren und Redundanz zu vermeiden → Wählt nur die nützlichsten Tokens für die Aktualisierung aus Hier ist der verrückteste Teil: Es hat GPT-2 XL mit 30B Tokens trainiert und Modelle übertroffen, die mit 200B Tokens trainiert wurden. Das ist kein Tippfehler. 30B hat 200B geschlagen. Bei Qwen3-8B hat OPUS das vollständige Training mit 3B Tokens erreicht, indem es nur 0,5B Tokens verwendet hat. Ein Gewinn von 6x in der Dateneffizienz. Bei fortgesetztem Pre-Training in wissenschaftlichen Bereichen. Noch verrückter: Sie haben OPUS absichtlich die Daten von geringerer Qualität (FineWeb-Edu-Score 3) gegeben, während die Baselines auf der hochwertigen Partition (Scores 4–5) trainiert wurden. OPUS hat trotzdem gewonnen. Daten niedrigerer Qualität, dynamisch ausgewählt, haben Daten höherer Qualität, die statisch gefiltert wurden, geschlagen. All dies mit nur 4,7 % zusätzlichem Rechenaufwand. ...