Chatbot AI không chết vì model yếu: nguyên nhân và cách sửa

Tháng thứ tư, lễ tân vẫn trả lời tay vì bot đọc bảng giá cũ. Bot không hỏng: không ai định nghĩa nó được trả lời gì, ai sửa khi sai, lấy gì để biết ngay.

Minh hoạ phẳng: khung chat trả lời theo bảng giá cũ, bên cạnh là tờ giấy phạm vi hai cột và một bản ghi nhật ký có người ký

Tháng thứ tư sau khi cắm bot vào Zalo, chị chủ shop vẫn trả lời tay mỗi tối, vì bot chỉ đọc bảng giá tháng trước. Cách giải thích dễ nhất là "model yếu", và cách đó sai thứ tự. Chất lượng model cùng bước tìm tài liệu đặt ra mức trần; phạm vi trả lời, người chịu trách nhiệm và bằng chứng đặt ra mức sàn. Với doanh nghiệp 10–50 người, bot hỏng ở mức sàn trước khi chạm mức trần, nên đổi model không sửa được gì.

Ba chân đỡ của một bot còn đúng

Không ai định nghĩa bot được trả lời câu nào, nên nó trả lời cả câu nó không có tài liệu. Không ai đứng tên khi bot trả lời sai, nên câu sai nằm đó tới khi khách phản ứng. Không ai giữ bằng chứng rằng một câu trả lời là sai, nên không ai biết nó đang sai.

Cả ba phải tồn tại thành giấy tờ, và mỗi chân đã có bài riêng: chatbot trả lời theo tài liệu nội bộ, kịch bản chuyển người trên Zalo OA, ranh giới của một AI agent.

Khi nào bài này không áp dụng. Chạy 20 câu khách hay hỏi nhất qua bot. Nếu phần lớn câu trả lời không có tài liệu chứa đáp án, hoặc lấy sai đoạn tài liệu, thì vấn đề nằm ở pipeline và ba chân bên dưới không cứu được gì. Sửa phần tìm tài liệu trước, kiểm lại đúng 20 câu đó, rồi quay lại đây.

Niềm tin sai: mua công cụ là xong

"Mua chatbot về, cắm vào Zalo, là xong." Câu đó nghe như một bước triển khai, nhưng bên trong là giả định về thời gian: công việc kết thúc ở ngày bàn giao. Hoá đơn trả tiền cho một hệ thống đang chạy, và hệ thống đang chạy thì có trạng thái. Trạng thái đó đổi mỗi lần doanh nghiệp đổi: bảng giá, chính sách, người phụ trách, phiên bản model.

Câu "chatbot trả lời được mọi thứ" chỉ là câu nói ra khi chưa ai phải viết danh sách. Tính theo giờ, phần việc sau bàn giao nằm ở ba chỗ: đọc lại câu bot đã trả lời trong tuần, sửa tài liệu gốc khi tài liệu sai, xếp câu hỏi mới vào nhóm được trả lời hay nhóm chuyển người.

Phạm vi trả lời: bot được phép trả lời câu nào

Sản phẩm của phần này là một tờ giấy hai cột. Cột trái là những câu bot được trả lời, mỗi dòng ghi ba thứ: cách khách hay hỏi, tài liệu nào chứa câu trả lời, tài liệu đó cập nhật ngày nào. Cột phải là những câu phải từ chối, mỗi dòng ghi đúng một việc: bot làm gì khi gặp câu đó.

Thương lượng giá, ngoại lệ hoàn tiền, cam kết ngày giao, câu hỏi pháp lý, và câu nào nói về đơn hàng của một khách có tên: năm nhóm đó nằm ở cột phải. Tờ giấy biến "bot trả lời sai" thành câu kiểm tra được, vì câu nào ngoài cột trái thì sai theo định nghĩa.

Vì sao tìm tài liệu không bao giờ trả về sự im lặng

Hệ thống tìm tài liệu trả về k đoạn gần nhất, luôn luôn k đoạn, không có nhánh nào trả về con số không. Trong kho không có đáp án, nó vẫn đưa lên k đoạn ít liên quan nhất, và mô hình vẫn viết một câu trôi chảy từ đó.

Barnett và cộng sự (2024) đặt tên cho bảy điểm hỏng của một hệ thống RAG: thiếu nội dung, bỏ sót tài liệu đáng lẽ đứng đầu, đoạn đúng không vào được ngữ cảnh, không trích được ý, sai định dạng, sai độ cụ thể, trả lời thiếu ý. Ba điểm đầu nghĩa là "không có câu trả lời" phải được cài vào như một quyết định; hai điểm giữa nghĩa là câu trả lời có nguồn vẫn có thể sai, vì đoạn đúng bị cắt mất hoặc bị đọc rộng hơn tài liệu.

Liu và cộng sự (2023) thêm chi tiết về vị trí: nội dung liên quan nằm giữa một ngữ cảnh dài được dùng kém tin cậy hơn nội dung ở đầu hoặc cuối, nên cùng một câu hỏi có thể ra hai câu trả lời khác nhau.

Ai chịu trách nhiệm khi bot trả lời sai

Cần một cái tên, không phải một phòng ban. Người đó có 30–45 phút mỗi tuần, và số phút ấy nằm trong lịch làm việc chứ không nằm trong thiện chí. Người đó có quyền sửa thẳng tài liệu gốc mà không xin phép ai, vì nếu phải xin phép thì thời gian sửa sẽ dài hơn thời gian tài liệu còn đúng.

Cần thêm một quy tắc leo thang có thời hạn trả lời: câu bot chuyển người phải được trả lời trong 4 giờ làm việc, câu liên quan tới tiền trong 1 giờ. Quy tắc này không làm bot tốt hơn; nó làm câu trả lời sai trở thành việc có người nhận.

Nhật ký, quyền sửa và đường lùi

Ba thứ đi cùng nhau, thiếu một là hai cái còn lại vô dụng. Nhật ký ghi câu hỏi và câu trả lời đủ để tuần sau đọc lại được. Quyền sửa là quyền thay tài liệu gốc và chạy lại bước đánh chỉ mục mà không cần lịch hẹn với bên dựng. Đường lùi là thứ ít ai viết trước: nếu bản sửa hôm nay làm hỏng thêm, ai bấm nút đưa bot về chế độ chỉ chuyển người, và bản tài liệu cũ lấy lại ở đâu.

Một dòng là đủ, và phải viết trước khi cần: khi tỷ lệ câu sai trong tuần vượt ngưỡng đã ký, người phụ trách chuyển bot sang chế độ chuyển người, không cần hỏi ai.

Bằng chứng nào chứng minh bot sai

"Tuần này thấy ổn" không phải bằng chứng, vì nó không so được với tuần trước và không so được với lúc mới chạy.

Thứ nhất, một bộ câu hỏi đóng băng: 30 câu khách thật đã hỏi, chép nguyên văn, không sửa sau khi chốt, vì sửa bộ cũ là tự xoá đường so sánh. Thứ hai, một ngưỡng ký trước khi chạy: chấp nhận 3 câu sai trên 30 câu thuộc nhóm được trả lời, không chấp nhận câu sai nào ở nhóm giá và nhóm chính sách. Thứ ba, một ngày rà soát đã nằm trong lịch, vì không có ngày đó thì việc rà soát phụ thuộc vào việc có ai nhớ.

Một bản ghi trong nhật ký có gì

Sáu trường, mỗi trường cho một việc cụ thể về sau. Mã tin nhắn để mở lại đúng cuộc trò chuyện. Nhãn ý định để biết câu hỏi thuộc nhóm nào trong tờ giấy phạm vi. Câu trả lời nguyên văn, vì tóm tắt làm mất chỗ sai. Tài liệu được trích kèm ngày cập nhật, vì phần lớn câu sai là tài liệu đúng nhưng đã cũ. Quyết định của hệ thống, một trong ba giá trị: trả lời, hỏi lại, chuyển người. Và tên người đã đọc bản ghi đó.

Một bản ghi nhật ký với sáu trường và vòng quyết định trả lời, hỏi lại hay chuyển người

Hình 1. Sáu trường của một bản ghi, và ba nhánh quyết định mà mọi câu hỏi phải đi qua.

Trường cuối hay bị bỏ nhất và cũng là trường quyết định: bản ghi không có người đọc thì chỉ là bản ghi, không phải bằng chứng.

Vì sao hỏng ở tháng thứ ba, không phải tuần đầu

Đây là thứ tự quan sát được, không phải tuổi thọ đo được của chatbot. Tuần đầu, bot mới nên được chú ý: ai cũng thử, ai cũng đọc câu trả lời, câu hỏi còn nằm trong nhóm đã chuẩn bị.

Sang tháng thứ hai, câu hỏi lạ xuất hiện. Mỗi câu lạ một chút, không câu nào đáng mở cuộc họp, nên không câu nào được sửa. Tài liệu gốc vẫn đúng như ngày nạp, chỉ có điều doanh nghiệp đã đổi một chính sách từ lâu.

Tháng thứ ba thường có thêm một biến cố không liên quan tới AI: người hiểu rõ tài liệu nào là bản gốc nghỉ việc, và việc đọc nhật ký dừng cùng tuần đó. Cùng lúc, nhà cung cấp có thể ngừng một phiên bản model; thông báo nằm trong email của một tài khoản không ai đăng nhập.

Không sự kiện nào ở trên là một lần hỏng, nên không ai gọi nó là hỏng: mỗi lần chỉ mất một chút, và cái mất không có mốc thời gian để so.

Trình tự hỏng theo tuần và tháng: tuần đầu còn chú ý, tháng hai câu lạ tích lại, tháng ba mất người đọc nhật ký và mất phiên bản model

Hình 2. Bốn mốc của một chuỗi hỏng điển hình, và việc lẽ ra phải xảy ra ở mỗi mốc.

Bảng chẩn đoán: dấu hiệu chủ thấy, dấu hiệu dev thấy, sửa gì

Chủ thấy triệu chứng trong công việc, người dựng thấy dấu vết trong log và trong cấu hình. Cột thứ ba gần như luôn nằm ở tài liệu hoặc ở quy trình, không nằm ở model.

Dấu hiệu chủ thấy Dấu hiệu dev thấy Sửa gì
Khách báo giá sai, nhân viên vẫn trả lời tay song song Câu trả lời trích tài liệu có ngày cập nhật cũ hơn lần đổi giá Nạp lại tài liệu gốc, ghi ngày cập nhật, chạy lại bộ câu hỏi
Bot trả lời khác trước, không ai sửa gì Endpoint hoặc phiên bản model đã đổi; thông báo nằm trong email ít dùng Ghim phiên bản model, thêm mốc kiểm tra hàng tháng vào lịch
Không còn ai biết tài liệu nào là bản gốc Nhật ký không có bản ghi mới trong nhiều tuần; tài liệu trùng tên Ghi tên người phụ trách vào tờ giấy phạm vi, kèm danh sách tài liệu gốc
Nhân viên trả lời tay trước rồi mới để bot trả lời Tỷ lệ chuyển người tăng, số câu hỏi lặp lại tăng Đọc 20 bản ghi gần nhất, phân loại câu sai, sửa tài liệu trước
Mỗi tuần một nhóm câu hỏi mới được đưa vào Tập ý định trong log rộng hơn tờ giấy phạm vi Chốt lại cột phải trước, mở cột trái sau, mỗi lần một nhóm

Phần việc còn lại sau khi mua công cụ

Công cụ đến mà không mang theo thứ nào trong danh sách dưới đây. Không phải vì nhà cung cấp làm dở; những thứ đó nói về doanh nghiệp của bạn, và chỉ người vận hành nó mới viết được.

Tờ giấy phạm vi hai cột có ngày rà soát. Một cái tên trong lịch, 30–45 phút mỗi tuần. Quyền sửa tài liệu gốc, kèm quyền chạy lại đánh chỉ mục. Một bộ câu hỏi đóng băng và một ngưỡng đã ký. Một mẫu bản ghi sáu trường. Một danh sách tài liệu gốc kèm ngày hiệu lực. Một dòng quy tắc leo thang có thời hạn trả lời. Một đường lùi viết trước.

Phần lặp lại không bao giờ hết, vì đầu vào của nó không bao giờ hết: mỗi lần đổi giá, đổi chính sách, đổi người, hoặc nhận thông báo ngừng phiên bản, danh sách trên chạy lại một vòng. Vòng đó mất vài chục phút, và nó là toàn bộ khác biệt giữa một bot còn đúng ở tháng thứ sáu và một bot đã lặng lẽ chết từ tháng thứ ba.

Câu hỏi thường gặp

Bao nhiêu câu sai thì phải tạm dừng bot?

Ngưỡng phải viết trước khi biết kết quả, nếu không nó sẽ luôn khớp với kết quả đang có. Cách đặt thực dụng là chia theo nhóm: nhóm giá và nhóm chính sách không chấp nhận câu sai nào, vì một câu sai ở đó tạo ra một cam kết; nhóm thông tin chung chấp nhận một vài câu sai trên 30 câu, miễn là câu sai được ghi lại và sửa trong tuần. Khi vượt ngưỡng, việc cần làm không phải tắt bot mà là chuyển nó sang chế độ chỉ chuyển người.

Nếu người phụ trách nghỉ việc thì bàn giao cái gì?

Bốn thứ, và cả bốn là giấy tờ chứ không phải kiến thức trong đầu: tờ giấy phạm vi hai cột, danh sách tài liệu gốc kèm ngày hiệu lực, bộ câu hỏi đóng băng với ngưỡng đã ký, và quyền truy cập nhật ký. Nếu bốn thứ đó không tồn tại thì bàn giao thực chất là dựng lại từ đầu.

Có cần đọc hết nhật ký mỗi tuần không?

Không, và cố đọc hết là cách nhanh nhất để bỏ hẳn việc đọc. Đọc ba nhóm: mọi bản ghi có quyết định chuyển người, mọi bản ghi thuộc nhóm giá và chính sách, và một mẫu ngẫu nhiên của nhóm còn lại.

Nguồn

  • Barnett, S., Kurniawan, S., Thudumu, S., Brannelly, Z., Abdelrazek, M. (2024). Seven Failure Points When Engineering a Retrieval Augmented Generation System. arXiv:2401.05856
  • Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., Liang, P. (2023). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL. TACL 2023, arXiv:2307.03172