🚨 L'équipe Qwen d'Alibaba a lancé un cadre qui rend l'entraînement de l'IA 8 fois plus efficace. Il s'appelle OPUS. Il résout le problème dont chaque laboratoire d'IA panique discrètement : le Mur des Données. Le texte public de haute qualité s'épuise. Les projections disent qu'il sera épuisé d'ici 2026–2028. OPUS ne trouve pas plus de données. Il choisit les bonnes données à chaque étape d'entraînement. Voici comment cela fonctionne : → À chaque étape de l'optimiseur, OPUS évalue un tampon de candidats d'échantillons d'entraînement → Projette la mise à jour effective de chaque échantillon dans la géométrie réelle de l'optimiseur (AdamW, Muon) → Mesure combien chaque échantillon améliorerait les performances sur un benchmark cible → Utilise l'échantillonnage de Boltzmann pour préserver la diversité et éviter la redondance → Sélectionne uniquement les tokens à plus haute utilité pour la mise à jour Voici la partie la plus folle : Il a entraîné GPT-2 XL sur 30 milliards de tokens et a surpassé des modèles entraînés sur 200 milliards de tokens. Ce n'est pas une erreur. 30 milliards a battu 200 milliards. Sur Qwen3-8B, OPUS a égalé un entraînement complet avec 3 milliards de tokens en utilisant seulement 0,5 milliard de tokens. Un gain d'efficacité des données de 6x. Dans la pré-formation continue sur des domaines scientifiques. Encore plus fou : ils ont délibérément donné à OPUS des données de moindre qualité (score FineWeb-Edu 3) tandis que les références étaient entraînées sur la partition de haute qualité (scores 4–5). OPUS a quand même gagné. Des données de moindre qualité, sélectionnées dynamiquement, ont battu des données de haute qualité filtrées statiquement. Tout cela avec seulement 4,7 % de surcharge de calcul supplémentaire. ...