Phần mềm truyền thống có một đặc tính đã định hình cả ngành: chi phí biên gần bằng không. Viết xong một lần, thêm người dùng thứ một triệu gần như không tốn thêm gì. Sản phẩm dựa trên mô hình ngôn ngữ phá vỡ giả định nền tảng đó — mỗi lần dùng đều đốt một lượng tính toán có giá thật, và giá đó không biến mất dù bạn có bao nhiêu người dùng.
Điều này đổi những gì
Gói dùng không giới hạn trở nên nguy hiểm. Trong phần mềm thường, một người dùng nặng gấp trăm lần người trung bình vẫn gần như không tốn thêm. Với AI, một nhóm nhỏ người dùng nặng có thể ngốn hết biên lợi nhuận của cả tệp khách hàng. Mô hình định giá cào bằng — ai cũng trả như nhau — chỉ sống được nếu phần đông dùng ít bù cho phần ít dùng nhiều.
Người dùng miễn phí không còn gần như miễn phí. Chiến lược kinh điển "tăng trưởng trước, thu tiền sau" phải tính lại, vì mỗi người dùng miễn phí là một dòng chi phí thực chảy ra mỗi ngày, không phải một chỗ ngồi trống chờ chuyển đổi.
Tối ưu kỹ thuật trở thành đòn bẩy tài chính trực tiếp. Trong phần mềm thường, tối ưu là chuyện tốc độ và trải nghiệm. Ở đây, mỗi phần trăm token cắt được là một phần trăm thẳng vào biên lợi nhuận — kỹ sư và kế toán bỗng làm cùng một việc.
Bốn đòn bẩy giảm chi phí, theo thứ tự hiệu quả
1. Đệm kết quả. Trong nhiều ứng dụng, một phần đáng kể câu hỏi lặp lại hoặc gần giống nhau. Trả lại kết quả đã tính thay vì tính lại là khoản tiết kiệm lớn nhất với công sức nhỏ nhất — thường cắt được hai chữ số phần trăm ngay lập tức.
2. Chọn đúng cỡ mô hình cho từng việc. Phân loại, trích xuất, tóm tắt ngắn không cần mô hình mạnh nhất và đắt nhất. Định tuyến việc dễ sang mô hình nhỏ thường cắt phần lớn chi phí mà người dùng không nhận ra khác biệt — vì với việc dễ, mô hình nhỏ trả lời không kém.
3. Cắt gọn ngữ cảnh. Nhồi cả lịch sử hội thoại vào mỗi lượt gọi là lãng phí phổ biến nhất, vì giá tính theo lượng chữ đưa vào. Tóm tắt phần cũ, chỉ giữ nguyên văn phần gần đây — độ dài ngữ cảnh phình ra là nơi hoá đơn âm thầm leo thang.
4. Đệm phần lời nhắc dùng lại. Phần đầu của lời nhắc — hướng dẫn hệ thống, ví dụ mẫu — thường giống nhau giữa các lượt gọi. Nhiều nhà cung cấp tính giá thấp hơn nhiều cho phần này nếu được đánh dấu để tái dùng, một khoản giảm gần như miễn phí về mặt công sức.
Con số nên theo dõi
Đừng chỉ nhìn tổng hoá đơn cuối tháng — nó gộp chung mọi thứ và giấu đi chỗ tiền thật sự chảy. Hãy đo chi phí trên mỗi tác vụ hoàn thành và, quan trọng hơn, phân bố của nó. Trung vị thường rất thấp và trấn an sai lầm; phần đuôi mới là chỗ ngân sách bốc hơi. Và phần đuôi gần như luôn đến từ hai nguồn: vòng lặp thử lại khi mô hình trả lời sai, và ngữ cảnh phình to ngoài dự tính. Sửa hai chỗ đó thường hiệu quả hơn mọi cuộc thương lượng giá với nhà cung cấp.
Thảo luận