従来のソフトウェアの限界費用はほぼゼロです。つまり、ユーザーを1人増やしても、ほとんどコストはかかりません。言語モデルに基づく製品は、その前提を覆します。利用のたびに実際の費用が発生するのです。
これで何が変わるのか
- 無制限プランは危険になりつつある：少数のヘビーユーザーが、顧客全体からの利益率を食い尽くしてしまう可能性がある
- 無料ユーザーはもはや「ほぼ無料」とは言えないため、「まずは成長、収益化は後回し」という戦略を見直す必要がある
- 技術的な最適化は、単なる速度の問題にとどまらず、直接的な財務上のレバレッジとなっている
コスト削減のための4つの手段（効果の高い順）
1. 回答のキャッシュ。多くのアプリケーションでは、質問の相当な部分が繰り返し出現するか、あるいは類似しています。キャッシュは、最小限の労力で最大の節約をもたらします。
2. 作業ごとに適切な規模のモデルを選択する。分類や抽出には、最も高性能なモデルは必要ない。簡単な作業を小規模なモデルに割り当てることで、ユーザーが違いに気づかないほど、コストの大部分を削減できることが多い。
3. 文脈を簡潔にする。各ターンに会話の全履歴を詰め込むのは、最もよくある無駄遣いだ。過去の部分は要約し、直近の部分のみを原文のまま残す。
4. プロンプトの繰り返し部分を省略する。プロンプトの冒頭部分は、呼び出しごとにほぼ同じであることが多い。多くのプロバイダーでは、この部分をマークすれば、その部分の料金を安く設定してくれる。
注目すべき数値
総請求額だけを見るのはやめましょう。完了したタスクごとのコストを測定し、その内訳を分析してください。中央値は通常非常に低いものですが、コストが流出しているのは「テール部分」です。そして、このテール部分は、多くの場合、再試行のループや、想定以上に膨れ上がったコンテキストに起因しています。
Thảo luận