Agent AI thất bại sau 48 giờ nếu thiếu thứ này trong hệ thống

Raw LLM deploy lên production mà không có gì bao quanh? 48 giờ sau nó sẽ phê duyệt những gì cần từ chối, lặp vô hạn trên tool calls, rồi timeout. Không phải model kém, mà là thiếu Harness.

Agent không chỉ là Model

Agent = Model + Harness. Model là phần LLM bạn gọi API. Harness là toàn bộ hạ tầng bao quanh: system prompts, tools, APIs, middleware, testing infrastructure. Nhiều người build agent chỉ lo fine-tune model hay prompt engineering, bỏ qua Harness hoàn toàn. Agent chạy tốt trên demo rồi sụp ngay khi gặp dữ liệu thực tế vì phần bao quanh nó không tồn tại.

Agent Loop hoạt động thế nào

Vòng thực thi của một agent production gồm 6 bước. Model nhận context gồm task details và domain knowledge từ file AGENTS.md. Model reasoning và gọi tools. Middleware chặn response lại để validate trước khi thực thi. Nếu output hợp lệ theo domain rules, kết quả được persist để duy trì context cho vòng tiếp theo. Vòng lặp tiếp tục cho đến khi task xong hoặc cần human intervention. Middleware nằm giữa model và hành động thực tế, model không tự quyết định được gì nếu không qua lớp này.

4 lớp Middleware không thể thiếu

ObservabilityMiddleware log JSON mọi model call với latency_ms, token count, và tên tools được gọi. CallBudgetMiddleware đặt hard ceiling: tối đa 40 calls và 120k tokens mỗi task, ngăn agent chạy không kiểm soát. LoopDetectionMiddleware phát hiện khi agent lặp đi lặp lại cùng một tool call và dừng trước khi hệ thống treo. ClaimsVerificationMiddleware enforce business rules cứng: policy hết hạn thì deny, fraud score từ 0.7 trở lên thì suspend. Bốn lớp này là ràng buộc deterministic, không để model tự xử lý theo reasoning.

Eval và Tracing đúng cách

Eval agent production không phải chấm điểm model trả lời đúng bao nhiêu phần trăm. Mục tiêu là làm cho sai trở thành không thể về mặt kiến trúc. Linters, type checkers, unit tests block task completion ngay khi output vi phạm rule. Domain rules không có đường bypass. Mọi quyết định được log JSON có cấu trúc với event type, latency_ms, tool names, token counts. Ship log lên LangSmith hoặc Datadog để quan sát toàn bộ luồng thực thi.

RAG với AGENTS.md Pattern

Pattern AGENTS.md dùng progressive disclosure thay vì dump toàn bộ knowledge base vào context. Agent nhận một "bản đồ" tổng quan về domain knowledge gồm rules, coverage types, fraud indicators. Khi cần chi tiết, agent tự retrieve thêm. Context nhỏ hơn, agent tập trung hơn vào task hiện tại.

Kết quả thực tế

Trong một insurance POC, agent có Harness đạt 16/16 claims đúng (100%). Agent không có Harness: 8/16 (50%). Cùng một model. Khác nhau hoàn toàn ở phần bao quanh nó. Câu hỏi không phải là "làm thế nào để model làm đúng" mà là "làm thế nào để xây hệ thống mà làm sai là không thể về mặt kiến trúc".

Bạn đang build agent mà chưa có Harness? Kể cho mình nghe bạn đang gặp vấn đề gì nhé!

#AIAgent #LLMOps #AgentEngineering #VibeAICoder #ProductionAI