Computer Use Là Gì? Vì Sao AI Giờ Có Thể Tự Nhìn Màn Hình Và Bấm Chuột Thay Bạn

Computer Use Là Gì? Vì Sao AI Giờ Có Thể Tự Nhìn Màn Hình Và Bấm Chuột Thay Bạn

Computer use (tạm dịch: "AI dùng máy tính") là khả năng một AI tự chụp màn hình để xem máy tính đang hiện gì, rồi tự di chuyển chuột, bấm nút, gõ chữ giống hệt một người đang ngồi trước máy. Thay vì bạn phải mở từng ứng dụng và làm từng thao tác, bạn chỉ cần nói AI muốn gì, còn việc bấm chuột và gõ phím AI tự lo.

Hiểu nhanh bằng ví dụ đời thường

Hãy tưởng tượng bạn thuê một trợ lý mới. Nếu trợ lý đó chỉ biết nghe bạn mô tả rồi tự đoán, bạn sẽ phải giải thích rất kỹ và vẫn có thể bị hiểu sai. Nhưng nếu trợ lý đó ngồi cạnh bạn, nhìn thẳng vào màn hình, thấy chính xác nút nào đang ở đâu, ô nào cần điền gì, thì họ có thể tự làm thay bạn mà không cần hỏi lại nhiều.

Computer use chính là cho AI "đôi mắt" đó. AI không còn phải đoán bố cục phần mềm qua mô tả bằng chữ, mà nhìn trực tiếp ảnh chụp màn hình, nhận ra nút "Lưu" nằm ở góc nào, ô nhập liệu nào đang trống, rồi tự điều khiển chuột và bàn phím để hoàn thành việc, đúng như một người thật đang thao tác trên máy.

Nó hoạt động thế nào

Cơ chế của computer use gồm mấy bước lặp đi lặp lại rất nhanh:

1. Chụp màn hình: AI chụp lại đúng những gì đang hiện trên màn hình tại thời điểm đó, giống như bạn chụp ảnh màn hình điện thoại.
2. Nhìn và hiểu ảnh: AI phân tích tấm ảnh đó để nhận ra các nút bấm, ô nhập liệu, thanh cuộn, chữ trên màn hình đang ở toạ độ nào.
3. Quyết định hành động: dựa trên việc bạn muốn làm gì (ví dụ "điền form này bằng số liệu trong bảng tính"), AI tính ra bước tiếp theo cần làm, ví dụ di chuyển chuột đến toạ độ nào, bấm chuột trái hay gõ một đoạn chữ.
4. Thực thi: lệnh đó được gửi xuống máy tính thật, chuột di chuyển, phím được gõ, giống hệt thao tác của con người.
5. Chụp lại và lặp lại: sau mỗi hành động, AI chụp màn hình lần nữa để xem kết quả, rồi tiếp tục cho đến khi xong việc hoặc gặp bước cần bạn xác nhận.

Vì mỗi vòng lặp đều phải chụp ảnh, phân tích ảnh rồi mới hành động, computer use thường chậm hơn so với việc nối thẳng AI vào một phần mềm qua API. Đổi lại, AI có thể dùng gần như bất kỳ phần mềm nào đã có sẵn trên máy, kể cả những phần mềm không hề được thiết kế để AI can thiệp vào.

Các công ty AI lớn đều đã thử hướng này. Anthropic giới thiệu computer use cho Claude từ cuối 2024, cho phép Claude nhìn ảnh chụp màn hình và tự điều khiển chuột, bàn phím trên trình duyệt, IDE lập trình hay bảng tính. OpenAI cũng từng ra mắt "Operator", một tác nhân AI dùng mô hình chuyên biệt kết hợp khả năng nhìn ảnh và suy luận để tự thao tác trên các trang web thay người dùng, sau này được gộp vào tính năng tác nhân (agent) rộng hơn của ChatGPT. Dù mỗi công ty có cách xây riêng, nguyên lý cốt lõi giống nhau: biến màn hình thành thứ AI có thể "đọc", rồi hành động dựa trên những gì nhìn thấy.

Vì AI thao tác trên chính giao diện mà người dùng vẫn thấy, computer use khác với tool use, nơi AI gọi thẳng một công cụ qua một "cổng" lập trình sẵn (ví dụ gọi API thời tiết). Computer use không cần phần mềm đó có cổng riêng cho AI, AI chỉ cần nhìn và bấm giống người, nên dùng được với cả những ứng dụng cũ không hề có API.

Điều này có ý nghĩa gì với bạn

Với người dùng bình thường, computer use mở ra vài cách làm việc mới:

• Giao việc nhiều bước cho AI agent: thay vì tự mở từng trang web để đặt lịch, so sánh giá hay điền một biểu mẫu dài, bạn có thể mô tả kết quả muốn có, để AI agent tự thao tác qua nhiều bước trên màn hình.
• Tự động hoá việc lặp lại trên phần mềm cũ: nhiều công ty vẫn dùng phần mềm nội bộ không có API hiện đại. Computer use cho phép AI "học" cách dùng những phần mềm đó y như một nhân viên mới, không cần viết tích hợp riêng.
• Luôn có bước xác nhận cho việc quan trọng: khi AI sắp làm một hành động nhạy cảm như đăng nhập, thanh toán hay xoá dữ liệu, các hệ thống tử tế sẽ dừng lại hỏi bạn trước, chứ không tự ý bấm "Xác nhận".

Khi thử một công cụ có computer use, bạn nên bắt đầu với việc nhỏ, ít rủi ro (ví dụ tìm và tổng hợp thông tin từ vài trang web) trước khi giao việc có liên quan đến tiền bạc hay dữ liệu quan trọng.

Hiểu lầm thường gặp

"AI nhìn màn hình là có thể làm được mọi thứ không cần giám sát." Sai. Computer use vẫn có thể bấm nhầm nút, hiểu sai bố cục hoặc bị kẹt ở một bước nếu giao diện thay đổi bất ngờ. Việc quan trọng vẫn cần bạn kiểm tra lại kết quả, giống như kiểm tra việc của một nhân viên mới.

"Computer use giống hệt tool use, chỉ khác tên gọi." Không hẳn. Tool use là AI gọi thẳng một cổng lập trình đã được chuẩn bị sẵn, nhanh và chính xác hơn. Computer use là AI nhìn và bấm y như người, chậm hơn nhưng dùng được với phần mềm không có cổng đó.

"Cho AI quyền điều khiển máy tính là luôn nguy hiểm." Rủi ro là có thật, đặc biệt khi AI duyệt web và có thể gặp nội dung được cài cắm để đánh lừa nó (xem thêm bài về prompt injection). Nhưng rủi ro này được giảm bớt bằng cách chạy AI trong môi trường tách biệt, giống nguyên lý của hộp cát (sandbox), cộng với việc bắt AI dừng lại hỏi bạn trước các hành động nhạy cảm.

Câu hỏi thường gặp

Computer use có cần cài phần mềm đặc biệt không? Có. Đây là tính năng do công ty AI (như Anthropic, OpenAI) cung cấp qua API hoặc ứng dụng riêng, không phải thứ tự nhiên có sẵn trong mọi chatbot bạn đang dùng.

AI có thấy được mật khẩu hay thông tin nhạy cảm trên màn hình không? Có thể, vì AI nhìn toàn bộ những gì hiển thị. Vì vậy không nên để AI tự thao tác trên màn hình đang mở thông tin riêng tư quan trọng nếu bạn không kiểm soát được việc đó.

Computer use có nhanh hơn việc tôi tự làm không? Với việc đơn giản, bạn tự làm có khi còn nhanh hơn vì AI phải chụp và phân tích ảnh ở từng bước. Computer use có lợi nhất ở việc nhiều bước, lặp đi lặp lại hoặc cần làm trên phần mềm không có cách tích hợp nào khác.

Computer use khác gì AI agent nói chung? AI agent là khái niệm rộng hơn, chỉ việc AI tự lên kế hoạch và thực hiện nhiều bước để đạt mục tiêu. Computer use là một cách cụ thể để AI agent đó hành động, bằng cách nhìn màn hình và điều khiển chuột, bàn phím.

Người dùng bình thường đã dùng được computer use chưa? Một số sản phẩm dành cho nhà phát triển hoặc gói trả phí cao cấp đã có tính năng này ở mức thử nghiệm, thường đi kèm cảnh báo rõ ràng và yêu cầu xác nhận cho hành động quan trọng. Trước khi bật, bạn nên đọc kỹ phần mô tả quyền hạn AI được cấp.

#AI #ComputerUse #AIagent #ClaudeAI #vibeaicoder