RLHF và Constitutional AI: model thô trở thành trợ lý hữu ích thế nào

Một model chỉ được tiền huấn luyện để đoán từ tiếp theo thì giỏi bắt chước Internet, nhưng không giỏi làm theo yêu cầu. Hỏi "viết email xin nghỉ phép", nó có thể viết tiếp thành một danh sách câu hỏi tương tự. Bước biến model thô thành trợ lý hữu ích gọi là alignment, với hai cột mốc lớn: RLHF trong InstructGPT (OpenAI, 2022) và Constitutional AI (Anthropic, 2022).

RLHF: ba bước của InstructGPT

1. Supervised fine-tuning (SFT): người gán nhãn viết câu trả lời mẫu cho các prompt; model được fine-tune trên dữ liệu này.
2. Reward model: model sinh nhiều câu trả lời cho cùng prompt, người gán nhãn xếp hạng chúng; một reward model học dự đoán xếp hạng đó.
3. Tối ưu bằng RL (PPO): model được tối ưu để đạt điểm reward cao, kèm ràng buộc không đi quá xa model SFT.

Kết quả gây chú ý: người đánh giá thích câu trả lời của InstructGPT 1,3 tỷ tham số hơn GPT-3 175 tỷ. Alignment tốt có thể quan trọng hơn kích thước.

Constitutional AI: dùng nguyên tắc thay cho nhãn người

Gán nhãn hàng loạt nội dung độc hại vừa tốn kém vừa gây hại cho người làm. Anthropic đề xuất dùng một bộ nguyên tắc ("hiến pháp") để model tự giám sát:

Mục tiêu được nêu trong bài báo là một trợ lý vô hại nhưng không né tránh: khi từ chối thì giải thích lý do, thay vì trả lời chung chung cho qua.

So sánh nhanh

Ngày nay còn có các phương pháp đơn giản hơn PPO như DPO, tối ưu trực tiếp trên cặp ưu tiên mà không cần reward model riêng.

Hệ quả mà người dùng thấy được

• Nịnh (sycophancy): model học làm hài lòng người chấm, nên đôi khi đồng ý với giả định sai của bạn.
• Dài dòng: câu trả lời dài, đủ ý thường được chấm cao, nên model có xu hướng viết dài.
• Từ chối quá đà hoặc quá dễ dãi: phụ thuộc cách cân bằng hữu ích và vô hại.

Rủi ro và lưu ý

• Reward hacking: model có thể tối ưu điểm reward theo cách không mong muốn; đây là lý do cần ràng buộc và eval độc lập.
• Nguyên tắc chỉ tốt bằng người viết ra nó: hiến pháp phản ánh giá trị của người soạn.

Áp dụng thế nào?

• Dev: Khi cần phản biện thật, hỏi trung lập ("đánh giá ưu nhược của cách này") thay vì "cách này đúng không?", để giảm xu hướng nịnh.
• Tech Lead: Áp dụng ý tưởng Constitutional AI cho sản phẩm: viết bộ nguyên tắc rõ ràng rồi dùng model chấm output theo đó.
• PM: Khi người dùng phàn nàn model "từ chối vô lý", hãy xem lại system prompt trước; hành vi alignment có thể điều chỉnh bằng ngữ cảnh rõ ràng.