Sau vài năm mô hình ngôn ngữ phổ biến, một số hiểu nhầm vẫn lặp đi lặp lại — và điều đáng nói là chúng không vô hại: mỗi lầm tưởng dẫn tới một loại quyết định kỹ thuật tốn kém, từ chọn sai kiến trúc tới đánh giá sai chất lượng. Đây là bảy cái phổ biến nhất, cùng thực tế đằng sau.
1. "Mô hình tra cứu thông tin đã học"
Nó không lưu tài liệu rồi tra lại như một cơ sở dữ liệu. Kiến thức nằm phân tán trong hàng tỉ trọng số dưới dạng thống kê, nên những chi tiết cụ thể — số liệu, ngày tháng, trích dẫn chính xác — là thứ dễ bị bóp méo nhất, vì chúng không có "chỗ" riêng để lưu nguyên vẹn. Hiểu điều này là hiểu vì sao RAG tồn tại: để đưa sự thật vào từ bên ngoài thay vì trông chờ trí nhớ mờ.
2. "Mô hình lớn hơn thì luôn tốt hơn"
Trong cùng một họ mô hình thì thường đúng. Nhưng một mô hình nhỏ được tinh chỉnh cho đúng một việc cụ thể có thể vượt một mô hình lớn tổng quát ở chính việc đó — với chi phí và độ trễ thấp hơn nhiều lần. Chọn mô hình lớn nhất cho mọi việc là cách chắc chắn để đốt tiền vào những tác vụ không cần tới nó.
3. "Bảo nó đừng bịa là nó sẽ không bịa"
Mô hình không phân biệt được lúc nào nó đang bịa — câu đúng và câu sai được sinh ra bằng đúng cùng một cơ chế đoán từ tiếp theo. Lời khuyên "hãy chính xác" tác động rất giới hạn. Cách thật sự hiệu quả là đưa nguồn vào ngữ cảnh và bắt trích dẫn, tức là đổi bài toán từ "nhớ đúng" sang "đọc đúng".
4. "Nhiệt độ bằng 0 thì kết quả cố định"
Giảm nhiệt độ làm đầu ra ổn định hơn nhiều, nhưng không tuyệt đối: thứ tự cộng dồn số thực trên GPU và cách gom nhóm các yêu cầu để xử lý vẫn có thể gây ra khác biệt nhỏ giữa các lần chạy. Đừng thiết kế một hệ thống dựa trên giả định kết quả tái lập từng bit — đó là một nền móng sẽ nứt vào lúc bạn ít ngờ nhất.
5. "Cửa sổ ngữ cảnh lớn nghĩa là dùng tốt cả cửa sổ"
Khả năng khai thác thông tin nằm ở giữa một khối văn bản dài kém hơn rõ rệt so với thông tin ở đầu và cuối — một hiện tượng đã được đo đi đo lại. Nghĩa là việc sắp xếp thứ tự tài liệu trong lời nhắc không phải chi tiết vụn vặt; nó có ảnh hưởng thật tới việc mô hình có dùng đúng thông tin quan trọng hay không.
6. "Tinh chỉnh là cách dạy kiến thức mới"
Tinh chỉnh dạy phong cách, định dạng, hành vi rất tốt — nó khiến mô hình trả lời theo giọng bạn muốn, theo cấu trúc bạn cần. Nhưng nhồi kiến thức mới bằng tinh chỉnh vừa đắt vừa dễ làm hỏng năng lực chung của mô hình, và kiến thức nhồi vào vẫn có thể bị bóp méo như mọi thứ khác trong trọng số. Kiến thức nên đi qua ngữ cảnh; tinh chỉnh để định hình cách cư xử.
7. "Đánh giá bằng cách đọc vài câu trả lời"
Ấn tượng chủ quan trên mươi ví dụ không thể phát hiện một sụt giảm 5% chất lượng — mà 5% ở quy mô lớn nghĩa là rất nhiều người dùng gặp lỗi mỗi ngày. Đây là lầm tưởng đắt nhất, vì nó khiến người ta đổi lời nhắc hay đổi mô hình dựa trên cảm giác rồi vô tình làm hệ thống tệ đi mà không biết. Cần một bộ ca kiểm cố định, chạy lại một cách máy móc mỗi khi thay đổi bất cứ điều gì — đó là khác biệt giữa cải tiến có kiểm soát và mò mẫm trong bóng tối.
Thảo luận