AI Agent khác Chatbot ở điểm nào? Khi AI bắt đầu có Tool, Memory và quyền hành động

Trả lời nhanh: AI Agent khác chatbot ở quyền hành động, không ở giao diện chat. Chatbot nhận văn bản và trả văn bản, mỗi lượt gần như độc lập. Agent nhận một mục tiêu, tự chọn bước, gọi tool, giữ state, quan sát kết quả thật, rồi tiếp tục hoặc dừng khi đạt mục tiêu hay chạm giới hạn đã đặt.

Khi mình nhìn một ô chat, mình không hỏi trước “cái này có AI không”. Mình hỏi hệ thống sau ô đó có tự đi làm nốt việc không, hay chỉ trả lời rồi dừng. Nhìn ô nhập liệu thì hai hệ thống giống nhau đến mức gọi cả hai là AI Agent cũng nghe xuôi.

Khác nhau hiện ra khi có việc thật. Một bên gõ “em đã ghi nhận yêu cầu hoàn tiền”. Bên kia đã gọi cổng thanh toán. Tưởng nhầm thì bạn hoặc ngồi chờ máy tự xong, hoặc không thấy nó đã đụng đơn hàng, kho, hay tiền.

Mình tách đúng chỗ khác nhau ngay dưới đây: hệ thống được phép làm gì, không phải khung chat trông ra sao.

Chatbot, workflow và agent nằm trên một phổ, không phải hai hộp tách biệt

Chưa phải mọi cửa sổ chat dùng LLM (Large Language Model) đều là agent. Thực tế có một phổ, và nhiều sản phẩm đang nằm ở giữa phổ đó.

IBM định nghĩa AI agent là hệ thống tự động thực hiện tác vụ bằng cách tự thiết kế workflow với các tool sẵn có. Cũng theo IBM, chatbot không agentic thường không có tool, memory hay suy luận: chúng phục vụ mục tiêu ngắn, không lập kế hoạch trước và cần người dùng nhập tiếp ở từng lượt. AWS mô tả theo cùng hướng: con người đặt mục tiêu, còn agent tự chọn những hành động cần làm để đạt mục tiêu đó.

• Chatbot rule-based: Hệ thống đi theo kịch bản và từ khóa đã định sẵn, không sinh nội dung mới.
• Chatbot dùng LLM: Hệ thống nhận văn bản và trả văn bản, có thể rất giỏi diễn đạt nhưng không chạm vào hệ thống nào khác.
• Assistant hoặc workflow có tool: Model được gắn tool nhưng đi theo đường dẫn do code định sẵn, ví dụ luôn tìm kiếm rồi mới tóm tắt.
• Agent: Model tự quyết định bước tiếp theo và tool cần dùng trong một vòng lặp, dựa trên kết quả nhận được từ môi trường.

Anthropic tách workflow và agent đúng ở ranh giới này trong tài liệu kỹ thuật công bố tháng 12/2024: workflow là LLM và tool được điều phối qua các đường code định trước, còn agent là LLM tự điều khiển quá trình của mình và cách sử dụng tool.

Microsoft xếp cùng ý tưởng thành một thang độ phức tạp trong hướng dẫn kiến trúc cập nhật năm 2026: gọi model trực tiếp mà không có logic agent và không có tool; một agent có tool, chạy lặp qua các lần gọi model và gọi tool với giới hạn số vòng; nhiều agent chỉ khi một agent không còn xử lý đáng tin cậy. Microsoft nêu rõ nguyên tắc chọn mức thấp nhất: nếu prompt engineering đã giải quyết được bài toán thì bạn chưa cần agent.

Hệ quả thực tế là nhiều sản phẩm đang được gọi là AI Agent thực ra nằm ở hai nấc giữa. Đó không phải điều xấu. Vấn đề chỉ xuất hiện khi kỳ vọng được đặt theo nấc cuối cùng.

Tool: từ nói về việc cần làm sang gọi được hệ thống thật

Ba mục tiếp theo tách riêng ba trục tạo nên ranh giới: tool, memory và quyền hành động. Thiếu một trục, hệ thống vẫn có thể hữu ích, nhưng chưa hoàn chỉnh theo nghĩa agent.

Tool cho phép model yêu cầu ứng dụng đọc dữ liệu hoặc thực hiện một việc nằm ngoài trọng số đã huấn luyện. Điểm hay bị hiểu sai: model không tự gọi API (Application Programming Interface). Ứng dụng của bạn mới là bên thực thi.

Tài liệu function calling của OpenAI mô tả vòng trao đổi này theo năm bước, với tool được khai báo bằng JSON schema:

1. Ứng dụng gửi request kèm danh sách tool khả dụng.
2. Model có thể trả về một tool call thay vì câu trả lời cuối.
3. Ứng dụng thực thi tool đó ở phía mình.
4. Ứng dụng gửi kết quả tool ngược lại cho model.
5. Model trả lời cuối cùng hoặc yêu cầu thêm tool call.

Vòng này có thể lặp bao nhiêu lần tùy tác vụ. Đây chính là nơi một chatbot bắt đầu chạm vào hệ thống thật, và cũng là nơi trách nhiệm chuyển từ câu chữ sang phần mềm: ai kiểm tra tham số, ai kiểm tra quyền, ai chặn lệnh sai.

Nhưng có tool chưa đủ để gọi là agent. IBM nói thẳng trong bài so sánh agent và assistant rằng chỉ riêng khả năng gọi tool không biến một LLM thành agent; agent còn phải tự quyết định dùng tool nào, dùng khi nào và kết hợp chúng ra sao để đạt mục tiêu. Cùng bài đó phân biệt assistant mang tính phản ứng, làm việc khi được yêu cầu, với agent mang tính chủ động, tự lập kế hoạch và hành động hướng tới một mục tiêu bằng tool và quyền được cấp.

Memory: context window không đồng nghĩa với trí nhớ

Chatbot nhớ được nội dung hội thoại thì chưa phải agent. Context window (cửa sổ ngữ cảnh) là lượng token được gửi vào một lần gọi model. Memory là cơ chế quyết định thông tin nào được lưu, lấy lại lúc nào, trong phạm vi của ai và sống bao lâu. Nhét toàn bộ lịch sử vào prompt là một cách dùng context window, không phải một thiết kế memory.

Một hệ thống vận hành thật thường phải tách ít nhất ba lớp:

• State của run: Tiến độ hiện tại của tác vụ, ví dụ đã xác minh đơn hàng, đang chờ duyệt.
• Lịch sử session: Những gì người dùng đã nói trong phiên làm việc này.
• Memory dài hạn: Thông tin cần giữ qua nhiều phiên, kèm phạm vi truy cập và thời hạn lưu.

Với tác vụ chạy dài, Microsoft khuyến nghị lưu tiến độ, kết quả trung gian và lịch sử hội thoại vào một kho bền vững bên ngoài thay vì chỉ dựa vào context trong bộ nhớ tiến trình, đồng thời giới hạn phần state được lưu ở mức tối thiểu cần thiết. Microsoft nêu điều này trong cùng hướng dẫn kiến trúc đã dẫn ở trên.

Anthropic mô tả khối xây dựng cơ bản là một LLM được tăng cường bằng retrieval, tool và memory, trong đó model có thể tự sinh truy vấn tìm kiếm, chọn tool và quyết định giữ lại thông tin nào.

Cần tránh một ngộ nhận phổ biến: memory không phải là học lại. IBM lưu ý agent có thể nhớ và điều chỉnh dựa trên tương tác trước đó, nhưng model nền bên dưới không vì thế mà được huấn luyện lại liên tục. Hệ thống nhớ hơn không có nghĩa model đã giỏi hơn.

Quyền hành động: vòng lặp, side effect và điểm dừng

Quyền hành động là khả năng tạo ra thay đổi thật, ví dụ ghi dữ liệu, gửi tin nhắn, tạo phiếu hoàn tiền, chạy một lệnh, cộng với một vòng lặp quan sát rồi suy luận rồi hành động rồi quan sát tiếp cho tới khi đạt mục tiêu hoặc chạm giới hạn. Thiếu vòng lặp, một lần gọi tool chỉ là một hàm được kích hoạt bởi văn bản. Thiếu giới hạn, vòng lặp đó là rủi ro vận hành.

Mô thức đặt tên cho cách đan xen suy luận và hành động là ReAct (Reasoning and Acting), công bố năm 2022. ReAct là một pattern phổ biến, không phải kiến trúc duy nhất. IBM mô tả cách áp dụng nó theo nhịp nghĩ, hành động, quan sát lặp lại sau mỗi phản hồi từ tool.

Anthropic mô tả agent trong thực tế là LLM dùng tool theo phản hồi từ môi trường trong một vòng lặp, cần dữ liệu đối chiếu thật ở mỗi bước, và cần điều kiện dừng chẳng hạn số vòng lặp tối đa. Tài liệu này cũng cảnh báo chi phí cao hơn và sai số tích lũy qua nhiều bước, nên khuyến nghị chạy thử trong sandbox và đặt guardrail (hàng rào an toàn).

Đây là chỗ khác biệt trở nên nghiêm túc. Một chatbot trả lời sai thì sai trong một đoạn văn, người đọc có thể bỏ qua. Một agent hành động sai sẽ ghi vào database, gửi tin cho khách hàng thật, hoặc kích hoạt một giao dịch. Phạm vi thiệt hại rộng hơn hẳn, và không phải hành động nào cũng hoàn tác được. Vì vậy hành động ghi thường cần idempotency (chạy lại không tạo thêm một hành động). Thao tác nhạy cảm cần cổng phê duyệt và checkpoint để có thể tiếp tục sau khi dừng. Microsoft nêu hai điểm đó trong cùng hướng dẫn kiến trúc đã dẫn ở trên.

Bảng so sánh theo tiêu chí quyết định

Bảng này là công cụ phân loại, không phải bảng xếp hạng. Một chatbot tốt không kém giá trị hơn một agent. Workflow có tool hoặc có ghi theo đường code cố định nằm giữa hai cột: chưa phải chatbot thuần, cũng chưa phải agent. Điều cần đọc từ bảng là mức trách nhiệm: càng đi sang cột phải, bạn càng phải trả lời được các câu hỏi về quyền, giới hạn, khả năng hoàn tác và người chịu trách nhiệm cuối.

Khi nào chatbot vẫn đủ, khi nào cần agent

Dùng chatbot khi công việc là hỏi đáp, đường đi hẹp và output để con người đọc rồi tự quyết. Dùng agent khi công việc gồm nhiều bước không đoán trước, cần gọi tool, cần giữ state qua thời gian và cần tạo ra thay đổi thật. Anthropic khuyên bắt đầu từ giải pháp đơn giản nhất và chỉ tăng độ phức tạp khi cần, bởi hệ thống agentic thường đánh đổi latency và chi phí để lấy kết quả tốt hơn trên tác vụ khó. Với nhiều ứng dụng, tối ưu một lần gọi model kèm retrieval và ví dụ trong prompt đã đủ.

Vài tình huống giả định để thấy ranh giới rõ hơn:

• Giả sử bạn bán lẻ online và cần trả lời chính sách đổi trả: Một chatbot đọc từ tài liệu nội bộ là đủ, vì câu trả lời không cần thay đổi gì trong hệ thống.
• Giả sử bạn cần 20 caption cho một chiến dịch: Vẫn là chatbot, vì người duyệt là điểm kiểm soát chất lượng và không có side effect nào xảy ra trước khi đăng.
• Giả sử bạn muốn tự động đối chiếu khiếu nại với đơn hàng rồi đề xuất hoàn tiền: Việc này cần tool để tra cứu đơn, cần state để nhớ đã kiểm tra tới đâu, và cần một bước người duyệt trước khi tiền thật ra khỏi tài khoản. Nếu các bước luôn giống nhau, đó là workflow. Chỉ gọi là agent khi model tự chọn đường đi và tool theo kết quả nhận được. Anthropic dùng chăm sóc khách hàng làm ví dụ vì nó kết hợp hội thoại với tool truy cập dữ liệu khách, đơn hàng, kiến thức nội bộ, cùng các hành động như hoàn tiền hay cập nhật ticket.
• Giả sử bạn muốn gom số liệu quảng cáo từ nhiều kênh rồi soạn báo cáo tuần: Nếu các bước luôn giống nhau, một workflow cố định gọi API rồi cho model viết phần nhận xét sẽ rẻ hơn và dễ kiểm soát hơn một agent tự do.

Ví dụ cuối đáng chú ý nhất: rất nhiều nhu cầu được mô tả là cần agent thực ra chỉ cần một workflow ổn định. Tự chủ chỉ đáng trả giá khi bạn không thể viết trước đường đi.

Rủi ro khi gắn nhãn agent cho một chatbot có plugin

Gọi sai tên gây ra ba loại thiệt hại cụ thể.

• Kỳ vọng sai: Team tin rằng hệ thống sẽ tự làm xong việc nên bỏ bớt người kiểm tra, trong khi hệ thống thực chất vẫn cần người nhập tiếp ở mỗi bước.
• Chi phí và độ trễ tăng: Thêm vòng lặp và tool call nghĩa là thêm token, thêm thời gian chờ, và thêm sai số tích lũy qua các bước.
• Hành động sai có hậu quả thật: Một tool ghi dữ liệu được gọi nhầm sẽ để lại dấu vết trong hệ thống, không chỉ trong đoạn chat.

Điểm cần nhớ về kiểm soát: prompt có thể định hướng hành vi, nhưng guardrail phải có khả năng chặn hành vi. Một dòng chữ dặn model đừng hoàn tiền quá một mức nào đó không phải là biện pháp kiểm soát; giới hạn phải nằm ở lớp tool, ở phân quyền và ở hàng đợi phê duyệt. Với hành động khó hoàn tác, human-in-the-loop (có người duyệt trong vòng lặp) vẫn là thiết kế mặc định hợp lý. Microsoft mô tả cổng duyệt có thể gắn vào đúng lần gọi tool nhạy cảm, thay vì bắt mọi bước phải chờ người.

Cũng nên tỉnh táo với ngôn ngữ tiếp thị. Từ agent hiện được dùng rất rộng, từ một tính năng tự động hóa nhỏ tới một hệ thống nhiều bước có quyền ghi. Cách kiểm tra nhanh là hỏi nhà cung cấp ba câu: hệ thống được gọi những tool nào, nó lưu state ở đâu, và nó dừng theo điều kiện gì. Bài viết này không chứa liên kết tiếp thị và không giới thiệu sản phẩm trả phí nào.

Câu hỏi thường gặp

Bốn câu dưới đây là chỗ hay bị dán nhãn sai. Mỗi câu trả lời theo cơ chế thật (tool, memory, quyền hành động), không theo tên sản phẩm trên UI.

ChatGPT có phải AI Agent không?

Tùy cách dùng. Khi bạn hỏi và nhận lại văn bản, đó là chatbot. Khi phiên làm việc cho phép model gọi tool, đọc kết quả trả về và lặp thêm bước hướng tới một mục tiêu, phần đó vận hành theo cơ chế agent. Nhãn trên sản phẩm không quyết định; cơ chế bên dưới mới quyết định.

Chatbot gắn thêm tool đã là agent chưa?

Chưa chắc. Theo IBM, khả năng gọi tool tự nó không biến một LLM thành agent. Điều kiện còn thiếu là hệ thống tự chọn tool nào, gọi khi nào, kết hợp ra sao, và theo đuổi mục tiêu qua nhiều bước thay vì chờ người dùng ra lệnh từng lượt.

Agent có tự học và tự cải thiện theo thời gian không?

Không theo nghĩa model tự giỏi lên. Agent có thể nhớ kết quả và điều chỉnh cách làm dựa trên memory, nhưng model nền không được huấn luyện lại liên tục từ các cuộc hội thoại. Cải thiện thật sự thường đến từ việc bạn sửa prompt, sửa tool, sửa dữ liệu và sửa quy trình, rồi đo lại.

Có cần nhiều agent ngay từ đầu không?

Thường là không. Microsoft khuyến nghị chỉ chuyển sang nhiều agent khi một agent có tool không còn xử lý đáng tin cậy. Một agent với bộ tool gọn dễ debug, dễ giới hạn và dễ giải thích hơn nhiều so với một hệ thống nhiều agent trao đổi qua lại.

Kết luận: chọn theo việc hệ thống được phép làm

Cách phân loại gọn nhất là bỏ qua giao diện và hỏi ba câu: hệ thống có gọi được tool thật không, nó giữ state ở đâu ngoài context window, và nó được phép tạo ra thay đổi nào mà không cần người bấm nút. Trả lời không cho cả ba thì bạn đang có chatbot, và trong nhiều trường hợp như vậy là đủ. Trả lời có cho cả ba thì bạn đang có một hệ thống phần mềm có quyền hành động, cần được thiết kế và vận hành như phần mềm.

Nếu use case của bạn đã rơi vào nhóm thứ hai, bước tiếp theo không phải chọn framework mà là dựng lớp bọc quanh model. Bài Harness Engineering là gì tách lớp hành vi đó: tool, nhớ tiến độ, vòng lặp, kiểm tra và điểm dừng. Phần hạ tầng dùng chung, nơi giữ state, quyền, cổng phê duyệt và truy vết, nằm trong bài Vì sao AI Agent cần một platform, không chỉ một prompt. Nếu bạn muốn xem một ví dụ kiến trúc cụ thể về cách tách prompt, tool, memory và tracing thành các lớp riêng, GoClaw là một tham chiếu mã nguồn mở để đọc, không phải một stack cần bê nguyên.