The Bitter Lesson: vì sao compute luôn thắng kiến thức viết tay

Năm 2019, Richard Sutton, một trong những người đặt nền móng cho học tăng cường, viết một bài luận chỉ khoảng một trang tên "The Bitter Lesson" (Bài học cay đắng). Nó trở thành một trong những văn bản được trích dẫn nhiều nhất trong AI hiện đại, và giải thích khá tốt vì sao LLM thắng thế. Bài này tóm tắt luận điểm và rút ra ý nghĩa cho người làm sản phẩm AI hôm nay.

Luận điểm chính

Nhìn lại 70 năm nghiên cứu AI, Sutton cho rằng bài học lớn nhất là: các phương pháp tổng quát tận dụng được sức mạnh tính toán cuối cùng luôn thắng, và thắng với cách biệt lớn. Lý do là chi phí tính toán liên tục giảm theo cấp số nhân (định luật Moore). Ngược lại, các nhà nghiên cứu thường đưa kiến thức của con người vào hệ thống; cách đó cho kết quả nhanh trong ngắn hạn, thoả mãn về mặt trí tuệ, nhưng về lâu dài chững lại và cản trở tiến bộ.

Bốn ví dụ trong bài

Hai phương pháp mà Sutton cho là mở rộng mãi theo compute: tìm kiếm và học.

Vì sao gọi là "cay đắng"?

Vì nó trái với mong muốn của nhà nghiên cứu: kiến thức chuyên môn tỉ mỉ của họ hoá ra ít giá trị hơn việc để máy tự học với nhiều compute hơn. Sutton kết luận: nên xây các "meta-method" có khả năng tự tìm ra sự phức tạp của thế giới, thay vì nhồi vào đó những gì ta nghĩ mình biết.

Liên hệ với LLM hôm nay

• LLM là minh chứng rõ: một kiến trúc tổng quát, học từ lượng dữ liệu và compute khổng lồ, vượt các hệ NLP chuyên biệt viết tay.
• Scaling laws (Kaplan, Chinchilla) là phiên bản định lượng của bài học này.
• Reasoning model tận dụng compute lúc suy luận: một dạng "tìm kiếm" mới.

Ý nghĩa cho người làm sản phẩm

• Đừng xây "giàn giáo" quá chặt quanh model: chuỗi rule, prompt chằng chịt để bù điểm yếu của model hiện tại có thể trở nên thừa, thậm chí cản trở, khi model mới ra.
• Thiết kế để thay model dễ dàng: giá trị lâu dài nằm ở dữ liệu, eval, quy trình và trải nghiệm, không nằm ở mẹo khai thác một model cụ thể.
• Thử lại ý tưởng từng thất bại: việc model năm ngoái không làm được, model năm nay có thể làm tốt.

Lưu ý khi áp dụng

• Không có nghĩa kiến thức chuyên môn vô dụng: trong sản phẩm, hiểu biết lĩnh vực vẫn quyết định dữ liệu, tiêu chí đánh giá và trải nghiệm người dùng.
• Compute không miễn phí với bạn: bài học nói về xu hướng dài hạn của cả ngành; ngân sách dự án của bạn vẫn có giới hạn.
• Đây là quan điểm, không phải định luật: có những phản biện đáng đọc về vai trò của cấu trúc và dữ liệu chất lượng.

Áp dụng thế nào?

• Dev: Khi thấy mình viết workaround phức tạp cho điểm yếu của model, đánh dấu nó để xoá khi đổi model.
• Tech Lead: Đầu tư vào bộ eval và dữ liệu thật; đó là tài sản sống sót qua mọi thế hệ model.
• PM: Mỗi khi có model mới, chạy lại các ý tưởng từng bị loại vì "AI chưa đủ giỏi".