🚨 Qwen Team від Alibaba відмовилася від фреймворку, який робить навчання ШІ у 8 разів ефективнішим. Це називається OPUS Це вирішує проблему, через яку тихо панікує кожна лабораторія ШІ: Стіну даних. Високоякісний публічний текст закінчується. Прогнози свідчать, що він зникне до 2026–2028 років. OPUS не знаходить більше даних. Він вибирає правильні дані на кожному етапі тренування. Ось як це працює: → На кожному кроці оптимізатора OPUS оцінює кандидатний буфер навчальних зразків → Проектує ефективне оновлення кожного зразка у фактичну геометрію оптимізатора (AdamW, Muon) → Вимірює, наскільки кожна вибірка покращить продуктивність на цільовому бенчмарку → Використовує вибірку Больцмана для збереження різноманітності та уникнення надмірності → Вибирає лише токени з найвищою утилітарністю для оновлення Ось найдивовижніше: Він навчав GPT-2 XL на 30B токенах і перевершував моделі, навчені на токенах 200B. Це не помилка. 30B переміг 200B. На Qwen3-8B OPUS підібрав повне навчання з 3B токенами, використовуючи лише 0.5B токенів. Збільшення ефективності даних у 6 разів. У продовженні попереднього навчання з наукових напрямків. Ще більш дивовижно: вони навмисно надали OPUS дані нижчої якості (бал FineWeb-Edu 3), тоді як базові показники тренувалися на високоякісному розділі (бали 4–5). OPUS все одно переміг. Дані нижчої якості, динамічно вибрані, перевершують дані вищої якості, які статично відфільтровані. І все це з додатковими обчислювальними витратами лише на 4,7%. ...