Kiến trúc nền tảng GenAI theo Chip Huyen: 5 bước mở rộng
Tóm tắt
Chip Huyen vẽ lộ trình nền tảng GenAI lớn dần: tăng cường ngữ cảnh, guardrail, router và gateway, cache, rồi agent có hành động ghi, với observability xuyên suốt. Chỉ thêm thành phần khi có vấn đề cụ thể, và để hành động ghi ở cuối.
Ứng dụng AI đầu tiên của bạn thường rất đơn giản: nhận câu hỏi, gọi API model, trả kết quả. Rồi yêu cầu đến dồn dập: cần dữ liệu nội bộ, cần chặn nội dung xấu, cần giảm chi phí, cần cho AI thực hiện hành động. Bài viết "Building A Generative AI Platform" của Chip Huyen (tác giả cuốn "AI Engineering") vẽ ra lộ trình thêm từng thành phần theo thứ tự hợp lý. Đây là bản đồ kiến trúc tốt nhất để biết mình đang ở đâu và nên làm gì tiếp.
Năm bước mở rộng
| Bước | Thành phần | Giải quyết |
|---|---|---|
| 1 | Tăng cường ngữ cảnh (RAG, tìm kiếm, tool đọc dữ liệu) | Model thiếu thông tin riêng của bạn |
| 2 | Guardrails cho input và output | Lộ dữ liệu nhạy cảm, prompt độc hại, output sai định dạng hoặc không phù hợp |
| 3 | Router và gateway | Chọn model phù hợp cho từng loại truy vấn; quản lý key, fallback, chi phí tập trung |
| 4 | Cache (prompt cache, exact cache, semantic cache) | Độ trễ và chi phí cho truy vấn lặp lại |
| 5 | Logic phức tạp và hành động ghi (agent) | Cho AI vòng lặp, rẽ nhánh và thao tác thật lên hệ thống |
Xuyên suốt mọi bước là hai thành phần nền tảng: observability (log, trace, metric để biết chuyện gì đang xảy ra) và orchestration (gắn các thành phần thành luồng xử lý).
Những điểm đáng chú ý trong bài
- Thêm theo nhu cầu, không theo trào lưu: mỗi thành phần thêm độ phức tạp và điểm lỗi mới; chỉ thêm khi có vấn đề cụ thể cần giải quyết.
- Hành động ghi là bước rủi ro nhất: cho AI gửi email, sửa dữ liệu làm tăng mạnh hậu quả của prompt injection. Đây là lý do nó đứng cuối lộ trình.
- Semantic cache có cái giá: trả nhầm kết quả cho câu hỏi "na ná nhưng khác" là rủi ro thật; cần đo tỷ lệ trúng và tỷ lệ sai.
- Router tiết kiệm lớn: câu hỏi đơn giản đi model rẻ, câu khó đi model mạnh.
Đối chiếu với hệ sinh thái Claude
- Bước 1: Contextual Retrieval, citations, MCP để kết nối dữ liệu.
- Bước 3: gateway như LiteLLM; định tuyến model cho subagent.
- Bước 4: prompt caching phía API, cộng exact cache phía bạn.
- Bước 5: tool use, Agent SDK, kèm phân quyền và người duyệt.
Rủi ro và lưu ý
- Xây nền tảng quá sớm: với một ứng dụng nhỏ, nền tảng đầy đủ là lãng phí; bắt đầu từ bước bạn thực sự cần.
- Thiếu observability từ đầu: thêm các bước sau mà không có log và trace thì không biết thành phần nào gây lỗi.
- Guardrail thêm độ trễ: mỗi lớp kiểm tra là một lần gọi; cân nhắc chạy song song hoặc chỉ áp lên luồng rủi ro.
Áp dụng thế nào?
- Dev: Đặt observability (log prompt, response, độ trễ, chi phí) ngay từ phiên bản đầu, trước mọi thành phần khác.
- Tech Lead: Vẽ kiến trúc hiện tại lên năm bước này để thấy khoảng trống, và ưu tiên theo vấn đề đang gặp.
- PM: Dùng lộ trình làm ngôn ngữ chung khi thảo luận ưu tiên với team kỹ thuật: "chúng ta đang ở bước 2, bước 3 cần cho mục tiêu giảm chi phí".
Nguồn & tham khảo
- Building A Generative AI Platform — Chip Huyen