🚨 Alibaban Qwen-tiimi julkaisi kehyksen, joka tekee tekoälykoulutuksesta 8 kertaa tehokkaampaa. Sitä kutsutaan OPUS:ksi Se ratkaisee ongelman, josta jokainen tekoälylaboratorio hiljaa panikoi: dataseinän. Laadukas julkinen teksti on loppumassa. Ennusteiden mukaan se on poissa vuosille 2026–2028. OPUS ei löydä enempää tietoa. Se valitsee oikeat tiedot jokaisessa harjoitusvaiheessa. Näin se toimii: → Jokaisessa optimointivaiheessa OPUS pisteyttää koulutusnäytteiden ehdokaspuskurin → Projektoi jokaisen näytteen tehokkaan päivityksen optimoijan todelliseen geometriaan (AdamW, Muon) → Mittaa, kuinka paljon kukin otos parantaisi suorituskykyä tavoitevertailussa → Käyttää Boltzmannin otantaa monimuotoisuuden säilyttämiseksi ja redundanssin välttämiseksi → Valitsee päivitykseen vain hyötysin tokenit Tässä on villein osa: Se koulutti GPT-2 XL:ää 30B-tokeneilla ja päihitti mallit, jotka oli koulutettu 200B-tokeneilla. Se ei ole kirjoitusvirhe. 30B voitti 200B:n. Qwen3-8B:llä OPUS yhdisti täyden koulutuksen 3B-tokeneilla käyttäen vain 0,5B tokeneita. 6-kertainen datatehokkuuden parannus. Jatkaen esikoulutusta tieteellisillä aloilla. Vielä hullumpaa: he antoivat tarkoituksella OPUS:lle heikomman laadun datan (FineWeb-Edu pisteet 3), kun taas lähtötasot koulutettiin korkealaatuisella osiolla (pisteet 4–5). OPUS voitti silti. Matalalaatuinen data, dynaamisesti valittu, voitti korkealaatuisen datan staattisesti suodatettuna. Kaikki tämä vain 4,7 % lisälaskentakuormalla. ...