Cơ chế attention là gì? Vì sao AI biết chú ý đúng chỗ trong một câu dài

Cơ chế attention là gì? Vì sao AI biết chú ý đúng chỗ trong một câu dài

Attention (cơ chế "chú ý") là cách một mô hình ngôn ngữ lớn quyết định, với mỗi từ nó đang đọc, nên "nhìn kỹ" vào những từ nào khác trong câu để hiểu đúng nghĩa. Nhờ attention, AI không đọc câu theo kiểu từng từ tách rời, mà biết liên hệ một từ với đúng những từ liên quan, dù chúng đứng cách nhau rất xa. Đây chính là bộ phận lõi làm nên các mô hình kiểu Transformer, nền tảng của Claude, GPT và hầu hết AI tạo văn bản ngày nay.

Hiểu nhanh bằng ví dụ đời thường

Đọc câu này: "Con robot nhấc cái hộp lên vì nó quá nặng." Từ "nó" ám chỉ cái gì, con robot hay cái hộp? Bạn hiểu ngay là "cái hộp", vì não bạn tự động lật lại các từ phía trước và chọn ra từ liên quan nhất với "nó". Đó chính là attention: với mỗi từ đang đọc, não (hoặc AI) tự hỏi "từ nào trước đó giải thích cho từ này" rồi tập trung vào đúng từ đó, bỏ qua phần còn lại.

Một ví dụ khác: khi phiên dịch viên dịch câu "Cô ấy đưa cho em trai mình quyển sách mà cô ấy vừa mua", họ phải nhớ "cô ấy" ở đầu và cuối câu là cùng một người, dù cách nhau cả chục từ. Người dịch giỏi không đọc tuần tự như máy đọc chính tả, mà luôn giữ sự chú ý linh hoạt, lúc thì nhìn về đầu câu, lúc thì nhìn về giữa câu, tùy từ đang xử lý. AI làm điều tương tự với mọi từ trong câu, cùng lúc, cho hàng nghìn câu mỗi giây.

Trước khi có attention, các mô hình AI xử lý câu kiểu cũ (gọi là mạng hồi quy, RNN) phải đọc từ trái qua phải, từng từ một, giống đọc một cuộn băng cát xét. Vấn đề là khi câu dài, thông tin ở đầu câu bị "phai" dần trước khi đọc tới cuối câu, giống bạn quên mất chi tiết đầu một đoạn văn dài. Attention giải quyết đúng vấn đề này: nó cho phép AI "quay lại" bất kỳ từ nào, bất kể xa gần, chỉ trong một bước.

Nó hoạt động thế nào

Về bản chất, attention là một phép so khớp. Với mỗi từ, AI tạo ra ba thứ:

1. Một "câu hỏi" (AI gọi là Query): đại diện cho việc "tôi đang cần thông tin gì để hiểu rõ từ này".
2. Một "nhãn giới thiệu" (Key) cho mỗi từ khác trong câu: đại diện cho "tôi có thể cung cấp loại thông tin gì".
3. Một "nội dung thật" (Value) đi kèm mỗi từ: đại diện cho thông tin sẽ được lấy ra nếu từ đó được chọn.

AI đem "câu hỏi" của từ đang xét so với "nhãn giới thiệu" của mọi từ khác trong câu, tính ra một điểm số cho biết mức độ liên quan. Từ nào có điểm cao thì "nội dung thật" của nó được lấy ra nhiều hơn để góp vào việc hiểu từ đang xét; từ nào điểm thấp thì gần như bị bỏ qua. Quá trình này diễn ra cho từng từ, với tất cả từ còn lại, cùng một lúc, nên AI đọc cả câu như một bức tranh tổng thể thay vì đọc tuần tự.

Vài điểm đáng chú ý thêm:

• Một mô hình thường chạy nhiều phép attention song song (gọi là multi-head attention), mỗi "đầu" tập trung vào một kiểu quan hệ khác nhau: đầu này bắt cặp đại từ với danh từ, đầu kia bắt cặp động từ với chủ ngữ, đầu khác lại chú ý tới dấu câu hay cấu trúc ngữ pháp. Kết quả cuối cùng là tổng hợp từ nhiều góc nhìn này.
• Attention là lý do cửa sổ ngữ cảnh (context window) có giới hạn: mỗi từ phải so khớp với mọi từ khác trong đoạn hội thoại, nên càng nhiều token thì lượng phép tính cần làm càng tăng rất nhanh. Đây cũng là lý do các mô hình có cửa sổ ngữ cảnh lớn hơn thường tốn nhiều tài nguyên tính toán hơn.
• Kiến trúc dùng attention làm thành phần chính gọi là Transformer, giới thiệu lần đầu trong một bài nghiên cứu năm 2017 của nhóm nghiên cứu tại Google. Gần như mọi mô hình ngôn ngữ lớn hiện nay, kể cả Claude, đều xây trên nền tảng này.

Điều này có ý nghĩa gì với bạn

Bạn không cần tính toán attention, nhưng hiểu nó giúp bạn đoán được AI sẽ "bắt" đúng ý bạn ở đâu và dễ "lạc" ở đâu.

• Viết câu rõ ràng, tránh đại từ mơ hồ. Nếu bạn viết "sửa file A theo file B rồi xóa nó đi", AI phải tự đoán "nó" là file A hay file B. Việc attention có khớp đúng hay không phụ thuộc vào việc câu bạn viết có đủ gợi ý rõ ràng, nên thay "nó" bằng tên cụ thể sẽ giảm rủi ro AI hiểu nhầm.
• Đưa thông tin quan trọng gần chỗ cần dùng. Trong một đoạn prompt dài, nếu một yêu cầu đặc biệt nằm tách biệt quá xa phần nội dung liên quan, attention vẫn có thể bắt được, nhưng xác suất "bắt trượt" tăng lên khi đoạn văn quá dài và nhiều chi tiết gây nhiễu. Nhắc lại yêu cầu quan trọng ngay trước đoạn liên quan là một mẹo thực tế.
• Hiểu vì sao prompt dài, nhiều tài liệu đính kèm lại tốn kém và chậm hơn. Vì attention phải so khớp mọi token với nhau, dán cả một tài liệu 50 trang vào khung chat sẽ khiến AI xử lý chậm hơn và tốn nhiều token hơn so với việc bạn tóm tắt trước phần cần thiết.

Hiểu lầm thường gặp

• "Attention giống như AI biết suy nghĩ." Không đúng. Attention chỉ là một phép tính thống kê về mức độ liên quan giữa các từ, dựa trên con số học được trong lúc huấn luyện, không phải sự "hiểu" theo nghĩa con người.
• "Mô hình càng nhiều attention head thì càng thông minh." Số lượng "đầu" attention là một lựa chọn kiến trúc, không tự nó quyết định chất lượng mô hình. Dữ liệu huấn luyện, cách tinh chỉnh và quy mô tổng thể mới là những yếu tố ảnh hưởng nhiều hơn.
• "Chỉ mô hình xử lý văn bản mới dùng attention." Attention cũng là thành phần cốt lõi trong các mô hình xử lý ảnh, âm thanh và các hệ thống đa phương thức hiểu cùng lúc nhiều loại dữ liệu.

Câu hỏi thường gặp

Attention có phải là thứ khiến AI "nhớ" cuộc trò chuyện trước đó không? Không hẳn. Attention giúp AI liên hệ các từ trong phạm vi một lần xử lý (một cửa sổ ngữ cảnh), nhưng nó không lưu trữ gì lâu dài giữa các phiên trò chuyện khác nhau.

Vì sao gọi là "chú ý" thay vì tên khác? Vì cơ chế này mô phỏng đúng việc con người chú ý: khi đọc hay nghe, ta không coi mọi thông tin quan trọng như nhau, mà luôn tự động nhấn mạnh vào phần liên quan nhất với điều mình đang cần hiểu.

Attention có phải lý do AI thỉnh thoảng trả lời sai không? Một phần có thể do vậy. Nếu câu hỏi quá dài, mơ hồ hoặc chứa nhiều chi tiết gây nhiễu, attention có thể "bắt" nhầm từ ít liên quan hơn, dẫn tới câu trả lời lạc đề. Viết rõ ràng và ngắn gọn giúp giảm rủi ro này.

Tôi có cần học công thức toán của attention để dùng AI tốt hơn không? Không cần. Biết công thức không giúp bạn viết prompt tốt hơn bằng việc hiểu nguyên lý: AI tìm từ liên quan dựa trên ngữ cảnh, nên ngữ cảnh càng rõ ràng, càng ít mơ hồ, kết quả càng chính xác.

Mô hình nào cũng dùng kiểu attention giống hệt nhau? Không. Có nhiều biến thể (attention đầy đủ, attention rút gọn để tiết kiệm tài nguyên, attention theo cửa sổ trượt...), nhưng nguyên lý cốt lõi, so khớp từ đang xét với các từ liên quan, vẫn giữ nguyên ở hầu hết các mô hình hiện nay.

Muốn hiểu toàn cảnh AI là gì trước khi đào sâu vào từng cơ chế, bạn có thể bắt đầu từ bài AI là gì, nơi giải thích những khái niệm nền tảng nhất theo cách dễ hiểu nhất.

#AI #Attention #Transformer #HocAI #VibeAICoder