🚨 Nhóm Qwen của Alibaba đã phát hành một khung làm cho việc đào tạo AI hiệu quả gấp 8 lần. Nó được gọi là OPUS Nó giải quyết vấn đề mà mọi phòng thí nghiệm AI đang âm thầm hoảng loạn: Bức tường Dữ liệu. Văn bản công khai chất lượng cao đang cạn kiệt. Dự đoán cho biết nó sẽ hết vào năm 2026–2028. OPUS không tìm thêm dữ liệu. Nó chọn dữ liệu đúng ở mỗi bước đào tạo. Dưới đây là cách nó hoạt động: → Ở mỗi bước tối ưu hóa, OPUS đánh giá một bộ đệm ứng viên của các mẫu đào tạo → Dự đoán cập nhật hiệu quả của mỗi mẫu vào hình học thực tế của bộ tối ưu hóa (AdamW, Muon) → Đo lường mức độ cải thiện hiệu suất của mỗi mẫu trên một tiêu chuẩn mục tiêu → Sử dụng lấy mẫu Boltzmann để bảo tồn sự đa dạng và tránh sự dư thừa → Chọn chỉ các token có tính hữu ích cao nhất cho việc cập nhật Đây là phần điên rồ nhất: Nó đã đào tạo GPT-2 XL trên 30B token và vượt trội hơn các mô hình được đào tạo trên 200B token. Đó không phải là lỗi chính tả. 30B đã đánh bại 200B. Trên Qwen3-8B, OPUS đã đạt được việc đào tạo đầy đủ với 3B token chỉ bằng 0.5B token. Một sự gia tăng hiệu quả dữ liệu 6x. Trong việc tiếp tục đào tạo trước trên các lĩnh vực khoa học. Còn điên rồ hơn: họ cố tình cung cấp cho OPUS dữ liệu chất lượng thấp hơn (Điểm FineWeb-Edu 3) trong khi các cơ sở được đào tạo trên phân vùng chất lượng cao (điểm 4–5). OPUS vẫn thắng. Dữ liệu chất lượng thấp, được chọn một cách động, đã đánh bại dữ liệu chất lượng cao được lọc tĩnh. Tất cả điều này với chỉ 4.7% chi phí tính toán bổ sung. ...