🚨 A equipe Qwen da Alibaba lançou um framework que torna o treinamento de IA 8 vezes mais eficiente. Chama-se OPUS Resolve o problema que todo laboratório de IA está silenciosamente em pânico: o Data Wall. Texto público de alta qualidade está acabando. As projeções dizem que isso acabará até 2026–2028. A OPUS não encontra mais dados. Ele seleciona os dados certos em cada etapa de treinamento. Veja como funciona: → A cada etapa do otimizador, o OPUS pontua um buffer candidato de amostras de treinamento → Projeta a atualização efetiva de cada amostra na geometria real do otimizador (AdamW, Muon) → Mede o quanto cada amostra melhoraria o desempenho em um benchmark alvo → Utiliza amostragem de Boltzmann para preservar a diversidade e evitar redundância → Seleciona apenas os tokens de maior utilidade para a atualização Aqui está a parte mais louca: Ele treinou o GPT-2 XL em tokens 30B e superou modelos treinados com tokens 200B. Isso não é um erro de digitação. 30B venceu 200B. Em Qwen3-8B, a OPUS combinou treinamento completo com tokens 3B usando apenas tokens 0,5B. Um ganho de eficiência de dados de 6x. Em pré-treinamento contínuo em áreas científicas. Ainda mais louco: eles deliberadamente deram ao OPUS os dados de menor qualidade (pontuação FineWeb-Edu 3) enquanto as bases treinavam na partição de alta qualidade (pontuações 4–5). A OPUS ainda venceu. Dados de menor qualidade, selecionados dinamicamente, superam dados de maior qualidade filtrados estaticamente. Tudo isso com apenas 4,7% de overhead adicional de computação. ...