Ollama: chạy LLM mã nguồn mở ngay trên laptop
Tóm tắt
Ollama cho chạy LLM mở trên máy bằng một lệnh, kèm API ở cổng 11434 và endpoint tương thích OpenAI. Hợp cho dữ liệu nhạy cảm, việc đơn giản và thử nghiệm; chọn model vừa phần cứng và giữ server ở localhost.
Có những lúc bạn không muốn, hoặc không được phép, gửi dữ liệu lên API đám mây: tài liệu nội bộ nhạy cảm, môi trường không có Internet, hay đơn giản là muốn thử model mở miễn phí. Ollama là cách nhanh nhất để chạy LLM mã nguồn mở ngay trên laptop: một lệnh cài, một lệnh chạy, có sẵn REST API để tích hợp vào ứng dụng.
Bắt đầu trong 2 phút
# macOS/Linux
curl -fsSL https://ollama.com/install.sh | sh
ollama run <tên-model> # tải về (lần đầu) và mở chat
ollama pull <tên-model> # chỉ tải
ollama list # model đã có
ollama ps # model đang nạp trong bộ nhớThư viện model trên ollama.com có nhiều họ model mở với các kích cỡ và mức lượng tử hoá khác nhau. Chọn kích cỡ vừa với RAM/VRAM của máy.
Gọi qua API
curl http://localhost:11434/api/chat -d '{
"model": "<tên-model>",
"messages": [{"role": "user", "content": "Tóm tắt đoạn văn sau…"}],
"stream": false
}'Ollama chạy server ở cổng 11434, có thư viện chính thức cho Python và JavaScript, và có endpoint tương thích định dạng OpenAI nên nhiều công cụ có sẵn chỉ cần đổi base URL.
Tuỳ biến bằng Modelfile
FROM <tên-model>
PARAMETER temperature 0.2
SYSTEM """Bạn là trợ lý phân loại ticket. Chỉ trả về một nhãn:
billing, bug, feature, other."""ollama create ticket-classifier -f Modelfile
ollama run ticket-classifierKhi nào chạy local, khi nào dùng API?
| Chạy local (Ollama) | API đám mây (Claude…) |
|---|---|
| Dữ liệu không được rời máy | Cần chất lượng suy luận cao nhất |
| Việc đơn giản: phân loại, trích xuất, embedding | Agent nhiều bước, code phức tạp |
| Thử nghiệm, học, prototype offline | Lưu lượng lớn, cần scale và SLA |
| Chi phí theo phần cứng, không theo token | Không muốn quản lý phần cứng |
Rủi ro và lưu ý
- Phần cứng quyết định trải nghiệm: model vượt bộ nhớ sẽ chạy rất chậm hoặc không chạy. Bắt đầu với model nhỏ, bản lượng tử hoá.
- Model nhỏ yếu hơn rõ rệt: đừng kỳ vọng model 7–8 tỷ tham số chạy laptop làm được agent phức tạp như model lớn trên đám mây.
- Mở cổng ra mạng: server mặc định nghe trên localhost; nếu cấu hình mở ra mạng, phải có xác thực hoặc tường lửa, nếu không ai cũng gọi được.
- Giấy phép model: mỗi model mở có giấy phép riêng; kiểm tra trước khi dùng thương mại.
- "Local" chưa chắc đã kín: tích hợp hay plugin bên thứ ba vẫn có thể gửi dữ liệu ra ngoài; kiểm tra toàn bộ chuỗi công cụ.
Áp dụng thế nào?
- Dev: Dùng Ollama làm backend giả lập khi phát triển offline; viết code theo chuẩn tương thích OpenAI để dễ đổi sang API thật.
- Tech Lead: Thử model local cho các tác vụ đơn giản, khối lượng lớn (gắn nhãn, phân loại) để giảm chi phí API; đo chất lượng bằng cùng bộ eval.
- PM: Với khách hàng yêu cầu dữ liệu không ra ngoài, Ollama là cách nhanh để làm proof-of-concept tại chỗ.