Scaling laws và Chinchilla: vì sao model nhỏ ngày càng mạnh
Từ luật luỹ thừa của Kaplan 2020 tới phát hiện Chinchilla 2022 (khoảng 20 token mỗi tham số) và vì sao model nay được train vượt tỷ lệ đó để chạy rẻ.
LLM & NLP
Hiểu cách mô hình ngôn ngữ hoạt động: token, attention, sampling, embedding, RAG, ảo giác. · 11 bài
Tất cả
Claude Code
Claude API
LLM & NLP
AI Agents & Skills
Tips
AI Automation
Tools
System Design
Reading
RLHF và Constitutional AI: model thô trở thành trợ lý hữu ích thế nào
Ba bước RLHF của InstructGPT, cách Constitutional AI dùng nguyên tắc và phản hồi từ AI, so sánh hai cách và các tác dụng phụ như nịnh, dài dòng.
Chain-of-thought tới reasoning model: cho LLM giấy nháp
Ba nghiên cứu nền (CoT, Let's think step by step, self-consistency), vì sao suy luận từng bước hiệu quả và cách dùng đúng với thinking của Claude hiện tại.
Mixture of Experts (MoE): model khổng lồ mà mỗi token chỉ dùng một phần
Cơ chế router và expert, ba cột mốc (Sparsely-Gated MoE, Switch Transformer, Mixtral) và hiểu đúng tham số tổng và tham số hoạt động khi tự host.
Token là gì? BPE và vì sao tiếng Việt tốn token hơn
Giải thích tokenization và Byte Pair Encoding: vì sao model đếm chữ sai, tiếng Việt tốn token, và cách đếm token đúng với Claude API.
Transformer và self-attention: hiểu nền móng của mọi LLM
Giải thích self-attention, Query/Key/Value, multi-head và vì sao kiến trúc Transformer khiến context dài đắt, caching hiệu quả.
Temperature, top-p, top-k: LLM chọn từ tiếp theo thế nào
Cách sampling hoạt động trong LLM, ý nghĩa temperature, top-p, top-k, cách đặt trên Claude API theo từng loại việc và các hiểu lầm phổ biến.
Embedding và tìm kiếm ngữ nghĩa: từ word2vec tới Voyage
Embedding là gì, vì sao tìm theo nghĩa thắng tìm theo từ khoá, cách dùng với Claude (qua Voyage AI), input_type, lượng tử hoá và các bẫy thường gặp.
Contextual Retrieval: sửa lỗi gốc rễ của RAG
Kỹ thuật Contextual Retrieval của Anthropic: gắn ngữ cảnh vào từng chunk, kết hợp embedding, BM25 và rerank để giảm 67% lỗi truy xuất.
Vì sao LLM ảo giác và 7 cách giảm thiểu
Nguyên nhân ảo giác theo nghiên cứu 2025 (huấn luyện và cách chấm điểm thưởng cho việc đoán), các kiểu ảo giác và bộ kỹ thuật giảm thiểu của Anthropic.
Context rot và "lost in the middle": context dài không phải lúc nào cũng tốt
Hai nghiên cứu cho thấy LLM dùng context không đều: thông tin ở giữa bị bỏ sót và chất lượng giảm khi input dài. Kèm 6 chiến thuật khắc phục.
Không tìm thấy bài phù hợp
Thử từ khoá khác hoặc bỏ bộ lọc chủ đề.
Không bỏ lỡ bài mới
Theo dõi binhAI qua RSS (Feedly, Inoreader, Slack…) để nhận bài mới ngay khi đăng.