Elon Musk xác nhận xAI sử dụng mô hình của OpenAI để huấn luyện Grok thông qua distillation.

Elon Musk xác nhận xAI sử dụng mô hình của OpenAI để huấn luyện Grok thông qua distillation.

Đây thực ra là một kỹ thuật đang rất “nhạy cảm” trong giới AI: model distillation. Về cơ bản, distillation là cách dùng một mô hình lớn, mạnh làm “thầy giáo” để huấn luyện một mô hình nhỏ hơn, rẻ hơn. Mô hình lớn sẽ trả lời hàng loạt câu hỏi, còn mô hình nhỏ học cách bắt chước phong cách và chất lượng trả lời đó, giống như sinh viên chép lại cách giải của một giáo sư nhưng cố gắng hiểu để sau này tự làm được. Đây là kỹ thuật hoàn toàn hợp lệ khi bạn dùng chính mô hình của mình để “chưng cất” ra phiên bản nhỏ hơn, ví dụ bản chạy on-device.

Vấn đề bắt đầu khi “thầy giáo” không phải của bạn, mà là mô hình của đối thủ. Trong phiên điều trần tại tòa, khi được hỏi về distillation, Musk giải thích đúng bản chất: dùng một AI để huấn luyện AI khác. Khi bị hỏi thẳng xAI có dùng mô hình của OpenAI để distill hay không, ông ban đầu trả lời vòng vèo kiểu “hầu như công ty AI nào cũng làm thế”, rồi sau đó thừa nhận ở mức “một phần”. Tiếp đó, ông chuyển sang lập luận rằng việc dùng AI khác để “kiểm tra, đối chiếu” AI của mình là thực hành tiêu chuẩn trong ngành. Nói cách khác, ông không phủ nhận hoàn toàn, mà thừa nhận mơ hồ: có dùng tới, nhưng xem đó là chuyện bình thường.

Ở tầng rộng hơn, distillation những năm gần đây trở thành điểm nóng vì nó nằm đúng vùng xám pháp lý và đạo đức. Các hãng lớn vẫn thường tự distill mô hình của mình để tạo bản nhỏ, rẻ, bán cho khách, đó là mặt “sạch”. Nhưng cùng kỹ thuật đó cũng có thể bị dùng để “rút ruột” năng lực của mô hình đối thủ: gọi API của model mạnh, cho nó trả lời hàng loạt prompt, rồi huấn luyện model riêng để bắt chước, rút ngắn thời gian R&D và tiết kiệm chi phí khổng lồ. Đây là lý do OpenAI, Anthropic, Google nhiều lần lên tiếng về “distillation attacks”, coi đó là hình thức xâm phạm tài sản trí tuệ và vi phạm điều khoản sử dụng. Vì vậy, việc Musk thừa nhận xAI “phần nào” đã dùng model OpenAI để cải thiện Grok không chỉ là chi tiết kỹ thuật, mà còn chạm vào cuộc tranh luận lớn hơn: đâu là ranh giới giữa “học hỏi từ output công khai” và “sao chép trí tuệ” trong thời đại AI.

Nguồn: The Verge