Mô hình ngôn ngữ được huấn luyện để làm đúng một việc: đoán từ tiếp theo sao cho hợp lý nhất. Nó tối ưu độ trôi chảy, không tối ưu tính đúng — và đây là chìa khoá để hiểu vì sao nó bịa. Khi mô hình không biết một điều gì đó, thứ hợp lý nhất về mặt ngôn ngữ để nói ra vẫn là một câu trả lời mạch lạc, tự tin, đúng văn phạm — nghe rất thuyết phục và hoàn toàn sai. Nó không nói dối; nó chỉ đang làm đúng thứ nó được dạy, mà thứ đó không phải là nói thật.
Ba tình huống dễ sinh chuyện bịa
- Sự kiện hiếm: thông tin xuất hiện quá ít trong dữ liệu huấn luyện nên mô hình chỉ nắm được hình dạng chung của loại câu trả lời, không nắm chi tiết cụ thể. Nó biết câu trả lời "trông như thế nào" mà không biết nó "là gì".
- Câu hỏi có tiền giả định sai: hỏi "vì sao X xảy ra" trong khi X chưa từng xảy ra, mô hình có xu hướng ngoan ngoãn giải thích thay vì phản bác tiền đề — vì trong dữ liệu, câu hỏi thường đi kèm câu trả lời, hiếm khi đi kèm sự phủ nhận.
- Yêu cầu độ chính xác cao: số liệu, ngày tháng, trích dẫn, mã định danh — những thứ không suy ra được từ ngữ cảnh và không có "chỗ lưu" nguyên vẹn trong trọng số. Đây là nơi bịa xảy ra thường xuyên nhất và khó phát hiện nhất, vì một con số sai trông y hệt một con số đúng.
Những cách thật sự giúp ích
Đưa dữ liệu vào ngữ cảnh. Thay vì hỏi mô hình "nhớ gì", hãy tìm tài liệu liên quan rồi đưa kèm câu hỏi. Điều này chuyển mô hình từ việc nhớ — thứ nó làm không đáng tin — sang việc đọc hiểu đoạn văn trước mắt, vốn là thứ nó giỏi hơn nhiều. Đây là thay đổi có tác động lớn nhất trong tất cả.
Bắt trích dẫn nguồn. Yêu cầu mỗi khẳng định phải chỉ ra nó dựa vào đoạn nào trong tài liệu đã cung cấp. Câu nào không chỉ ra được nguồn thì đáng nghi ngay — và bản thân việc bắt trích dẫn cũng khiến mô hình bám sát tài liệu hơn.
Cho phép nói không biết. Nếu lời nhắc không nêu rõ rằng "không biết thì cứ nói không biết", mô hình mặc định sẽ cố trả lời cho bằng được — vì trong dữ liệu huấn luyện, câu hỏi hiếm khi được đáp lại bằng sự im lặng. Cho nó lối thoát đó cắt giảm bịa đáng kể.
Kiểm chứng máy móc. Với mã, chạy thử. Với số, tính lại. Với trích dẫn, đối chiếu tự động. Đừng để con người phải ngồi bắt lỗi thủ công thứ mà máy kiểm tra được nhanh và không mệt mỏi.
Điều không giúp được nhiều
Bảo mô hình "hãy chính xác" hay "đừng bịa" có tác dụng rất giới hạn, dù nghe hợp lý. Lý do đã nói ở trên và đáng nhắc lại vì nó là gốc của mọi thứ: mô hình không có cách nào biết mình đang bịa. Với nó, một câu bịa và một câu đúng được sinh ra bằng đúng cùng một cơ chế, cùng một sự tự tin. Bạn không thể yêu cầu nó tránh một lỗi mà nó không tự nhận ra được — bạn chỉ có thể dựng hệ thống xung quanh để bắt lỗi đó thay cho nó.
Thảo luận