Rules of ML của Google áp vào tính năng LLM: đo trước, AI sau
Tóm tắt
Rules of ML của Google viết cho ML cổ điển nhưng áp rất chuẩn cho LLM: đo mốc trước, ra mắt bản đơn giản (kể cả không AI), làm đúng hạ tầng, chạy shadow rồi mới mở rộng. LLM làm demo quá dễ nên càng phải giữ kỷ luật này.
Team hào hứng: "làm tính năng AI đi!". Ba tháng sau có demo đẹp, nhưng không ai biết nó có tốt hơn cách cũ không, và hệ thống đo lường thì chưa có. Tài liệu Rules of Machine Learning của Google (Martin Zinkevich) viết từ thời ML truyền thống, nhưng các nguyên tắc đầu tiên của nó áp vào tính năng LLM hôm nay chính xác đến bất ngờ. Bài này chọn những quy tắc đáng dùng nhất và "dịch" sang bối cảnh LLM.
Các quy tắc then chốt
| Quy tắc gốc | Phiên bản cho tính năng LLM |
|---|---|
| #1 Đừng ngại ra mắt sản phẩm không có ML | Nếu rule, template hay tìm kiếm thường giải quyết được 80%, ra mắt cái đó trước. LLM là bước sau. |
| #2 Thiết kế và triển khai metric trước | Đo hành vi hiện tại (tỷ lệ giải quyết ticket, thời gian xử lý) trước khi thêm AI, để có mốc so sánh. |
| #3 Chọn ML thay vì heuristic phức tạp | Khi bộ rule phình ra hàng trăm nhánh khó bảo trì, đó là lúc LLM thật sự đáng giá. |
| #4 Model đầu tiên đơn giản, làm đúng hạ tầng | Prompt đơn giản + log đầy đủ + eval + rollback quan trọng hơn prompt "thông minh". |
| #5 Kiểm thử hạ tầng tách khỏi ML | Test pipeline (lấy dữ liệu, gọi API, parse output, retry) bằng output giả lập, độc lập với chất lượng model. |
| #16 Lên kế hoạch ra mắt và lặp lại | Prompt và model sẽ đổi liên tục; thiết kế để đổi dễ và an toàn ngay từ đầu. |
Lộ trình bốn bước cho tính năng LLM
- Đo mốc: quy trình hiện tại cho kết quả gì, mất bao lâu, tốn bao nhiêu.
- Phiên bản không-AI hoặc AI tối thiểu: rule đơn giản, hoặc một prompt cơ bản; dựng log, eval, cờ bật/tắt.
- Chạy song song (shadow): AI chạy nhưng chưa hiển thị cho người dùng; so sánh output với kết quả thật.
- Ra mắt từng phần: bật cho một nhóm nhỏ, theo dõi metric đã định nghĩa ở bước 1, rồi mở rộng.
Vì sao các quy tắc cũ vẫn đúng?
- Vấn đề cốt lõi không đổi: hệ thống xác suất cần đo lường, không thể kiểm chứng bằng cách đọc code.
- LLM làm demo quá dễ: chính vì vậy càng dễ bỏ qua bước đo mốc và hạ tầng, đúng cái bẫy mà Rules of ML cảnh báo.
- Chi phí vận hành thật: với LLM còn có chi phí token và độ trễ; metric phải bao gồm cả hai.
Rủi ro và lưu ý
- Metric dễ đo nhưng sai mục tiêu: "số câu chatbot trả lời" tăng không có nghĩa khách hài lòng hơn. Chọn metric gần mục tiêu kinh doanh.
- Bỏ qua phương án không-AI: đôi khi một ô tìm kiếm tốt hơn là đủ, rẻ và đáng tin hơn.
- Không có đường lui: thiếu cờ tắt nhanh, một prompt hỏng có thể ảnh hưởng toàn bộ người dùng.
Áp dụng thế nào?
- Dev: Dựng log, eval và feature flag trước khi tinh chỉnh prompt; thay model bằng stub để test pipeline.
- Tech Lead: Yêu cầu mỗi đề xuất tính năng AI có metric mốc và kế hoạch shadow trước khi bắt đầu.
- PM: Hỏi "nếu không dùng AI thì giải quyết thế nào?" trong mọi buổi review ý tưởng.
Nguồn & tham khảo
- Rules of Machine Learning — Martin Zinkevich, Google for Developers