🚨 Alibabas Qwen-team släppte ett ramverk som gör AI-träning åtta gånger mer effektiv. Det kallas OPUS Den löser problemet som varje AI-labb tyst panikar över: Dataväggen. Högkvalitativ offentlig text håller på att ta slut. Prognoser säger att den är borta 2026–2028. OPUS hittar inte mer data. Den väljer rätt data vid varje träningssteg. Så här fungerar det: → Vid varje optimeringssteg poängsätter OPUS en kandidatbuffert av träningsurval → Projicerar varje provs effektiva uppdatering till optimerarens faktiska geometri (AdamW, Muon) → Mäter hur mycket varje urval skulle förbättra prestationen på ett målriktmärke → Använder Boltzmann-provtagning för att bevara mångfald och undvika redundans → Väljer endast de tokens med högst nytta för uppdateringen Här är den vildaste delen: Den tränade GPT-2 XL på 30 miljarder tokens och överträffade modeller som tränades på 200 miljarder tokens. Det är inget stavfel. 30B slog 200B. På Qwen3-8B matchade OPUS full träning med 3B tokens med endast 0,5 miljarder tokens. En 6x dataeffektivitetsökning. I fortsatt förutbildning inom vetenskapliga områden. Ännu galnare: de gav medvetet OPUS data av lägre kvalitet (FineWeb-Edu-poäng 3) medan baslinjer tränades på högkvalitativa partitionen (poäng 4–5). OPUS vann ändå. Data av lägre kvalitet, dynamiskt vald, slår data av högre kvalitet som är statiskt filtrerad. Allt detta med endast 4,7 % extra beräkningsöverhead. ...