🚨 Alibabas Qwen-team lanserte et rammeverk som gjør AI-trening 8 ganger mer effektivt. Det kalles OPUS Det løser problemet alle AI-laboratorier i det stille panikker over: Dataveggen. Offentlig tekst av høy kvalitet er i ferd med å gå tom. Prognosene sier at den er borte innen 2026–2028. OPUS finner ikke mer data. Den plukker ut riktig data ved hvert eneste treningssteg. Slik fungerer det: → Ved hvert optimaliseringssteg scorer OPUS en kandidatbuffer med treningsprøver → Projiserer hver prøves effektive oppdatering inn i optimaliserens faktiske geometri (AdamW, Muon) → Måler hvor mye hvert utvalg vil forbedre ytelsen på en målreferanse → Bruker Boltzmann-prøvetaking for å bevare mangfold og unngå redundans → Velger kun de mest nyttige tokenene for oppdateringen Her er den villeste delen: Den trente GPT-2 XL på 30 milliarder tokens og overgikk modeller trent på 200 milliarder tokens. Det er ikke en skrivefeil. 30B slo 200B. På Qwen3-8B matchet OPUS full trening med 3B-tokens ved kun bruk av 0,5B-tokens. En 6x økning i dataeffektivitet. I fortsatt foropplæring innen vitenskapelige områder. Enda villere: de ga bevisst OPUS data av lavere kvalitet (FineWeb-Edu-score 3) mens baselines ble trent på høykvalitetspartisjonen (score 4–5). OPUS vant likevel. Data av lavere kvalitet, dynamisk utvalgt, slår data av høyere kvalitet som er statisk filtrert. Alt dette med bare 4,7 % ekstra beregningsoverhead. ...