🚨 Команда Qwen Alibaba представила фреймворк, который делает обучение ИИ в 8 раз более эффективным. Он называется OPUS Он решает проблему, о которой каждая лаборатория ИИ тихо панически беспокоится: Стена Данных. Качественный публичный текст заканчивается. Прогнозы говорят, что он исчезнет к 2026–2028 годам. OPUS не находит больше данных. Он выбирает правильные данные на каждом этапе обучения. Вот как это работает: → На каждом шаге оптимизации OPUS оценивает кандидатный буфер обучающих образцов → Проецирует эффективное обновление каждого образца в фактическую геометрию оптимизатора (AdamW, Muon) → Измеряет, насколько каждый образец улучшит производительность по целевому эталону → Использует выборку по Больцману для сохранения разнообразия и избежания избыточности → Выбирает только самые полезные токены для обновления Вот самая дикая часть: Он обучил GPT-2 XL на 30B токенах и превзошел модели, обученные на 200B токенах. Это не опечатка. 30B обошли 200B. На Qwen3-8B OPUS сопоставил полное обучение с 3B токенами, используя только 0.5B токенов. Увеличение эффективности данных в 6 раз. В продолжении предобучения в научных областях. Еще более безумно: они намеренно дали OPUS данные низкого качества (оценка FineWeb-Edu 3), в то время как базовые модели обучались на высококачественной выборке (оценки 4–5). OPUS все равно победил. Данные низкого качества, динамически отобранные, обошли данные высокого качества, статически отфильтрованные. Все это с дополнительными затратами вычислений всего 4.7%. ...