Computer use trong Claude Code CLI: để agent click, gõ và nhìn màn hình macOS

Claude Code viết xong một app macOS, build thành công, rồi… bạn phải tự mở app, click từng nút, chụp màn hình lỗi gửi lại. Với ứng dụng native, simulator hay phần mềm không có CLI/API, agent "mù" ở bước kiểm tra. Computer use trong CLI cho Claude mở app, click, gõ và nhìn màn hình như bạn, ngay trong hội thoại vừa viết code. Hiện là research preview trên macOS, cho gói Pro và Max.

Làm được gì?

• Build và kiểm tra app native: viết Swift, compile, mở app, click qua mọi control trước khi bạn mở.
• Test UI đầu-cuối: "test luồng onboarding" của app Electron mà không cần cấu hình Playwright.
• Debug lỗi hiển thị: thu nhỏ cửa sổ đến khi tái hiện lỗi, chụp lại, sửa CSS, kiểm tra lại.
• Điều khiển công cụ chỉ có GUI: iOS Simulator, bảng điều khiển phần cứng, phần mềm thiết kế.

Computer use là lựa chọn cuối cùng

Đây là cách rộng nhất nhưng chậm nhất, nên Claude ưu tiên công cụ chính xác hơn trước:

1. Có MCP server cho dịch vụ → dùng MCP.
2. Việc làm được bằng lệnh shell → dùng Bash.
3. Việc trên trình duyệt và đã cài Claude in Chrome → dùng Chrome.
4. Không cách nào ở trên áp dụng được → mới dùng computer use.

Bật trong 3 bước

1. Trong phiên tương tác, gõ /mcp, tìm server computer-use (mặc định tắt).
2. Chọn Enable; cài đặt lưu theo từng dự án.
3. Lần đầu dùng, cấp hai quyền macOS: Accessibility (click, gõ, cuộn) và Screen Recording (nhìn màn hình). Có thể phải khởi động lại Claude Code.

Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.

Cơ chế an toàn

Ảnh chụp tự thu nhỏ trước khi gửi model (ví dụ 3456×2234 xuống khoảng 1372×887). Chữ quá nhỏ thì phóng to trong app, không cần đổi độ phân giải màn hình.

Rủi ro cần hiểu

• Khác sandbox Bash: computer use chạy trên desktop thật với các app bạn duyệt. Nội dung trên màn hình (email, trang web) có thể chứa prompt injection.
• Đừng duyệt Terminal hay Finder cho tiện: chúng mở rộng quyền gần như toàn máy.
• Máy bận trong lúc Claude làm: app khác bị ẩn; tránh dùng song song cho việc nhạy cảm.
• Không có trên Team/Enterprise, không dùng được với -p, chưa có trên Linux/Windows trong CLI (Windows dùng bản Desktop).

Áp dụng thế nào?

• Dev iOS/macOS: Thêm "build, mở app, click qua các màn hình, chụp lỗi" vào cuối mọi task UI để Claude tự kiểm chứng.
• Tech Lead: Dùng cho kiểm tra khói (smoke test) các app desktop chưa có bộ test UI; không thay test tự động lâu dài.
• PM/QA: Mô tả lỗi hiển thị bằng lời ("modal bị cắt khi cửa sổ hẹp") và để Claude tái hiện, chụp lại làm bằng chứng.