🚨 Zespół Qwen z Alibaba wprowadził framework, który sprawia, że trening AI jest 8 razy bardziej efektywny. Nazywa się OPUS. Rozwiązuje problem, o którym każde laboratorium AI cicho panikuje: Ściana Danych. Wysokiej jakości publiczny tekst się kończy. Prognozy mówią, że zniknie do 2026–2028. OPUS nie znajduje więcej danych. Wybiera odpowiednie dane na każdym kroku treningowym. Oto jak to działa: → Na każdym kroku optymalizatora, OPUS ocenia kandydatów w buforze próbek treningowych → Projektyzuje efektywną aktualizację każdej próbki w rzeczywistej geometrii optymalizatora (AdamW, Muon) → Mierzy, jak bardzo każda próbka poprawiłaby wydajność na docelowym benchmarku → Używa próbkowania Boltzmanna, aby zachować różnorodność i uniknąć redundancji → Wybiera tylko najwyżej użyteczne tokeny do aktualizacji Oto najdziksza część: Wyszkolono GPT-2 XL na 30B tokenach i przewyższył modele trenowane na 200B tokenach. To nie jest literówka. 30B pokonało 200B. Na Qwen3-8B, OPUS osiągnął pełne szkolenie z 3B tokenów, używając tylko 0.5B tokenów. Zysk efektywności danych 6x. W kontynuowanym wstępnym treningu w dziedzinach naukowych. Jeszcze bardziej szalone: celowo dano OPUS dane niższej jakości (FineWeb-Edu score 3), podczas gdy podstawy trenowały na wysokiej jakości podziale (wyniki 4–5). OPUS i tak wygrał. Dane niższej jakości, dynamicznie wybrane, pokonały dane wyższej jakości, statycznie filtrowane. To wszystko z zaledwie 4.7% dodatkowego obciążenia obliczeniowego. ...