自然言語モデルが普及してから数年が経つが、依然としていくつかの誤解が繰り返されており、それがコストのかかる技術的な決定につながっている。
1. 「学習済み情報の検索モデル」
それは資料を保存して後で参照するようなことはしない。知識は統計的な重み付けの形で分散しているため、具体的な詳細――数値、日付、引用――は最も歪められやすいものだ。それがRAGが存在する理由である。
2. 「規模が大きいほど良い」
同じモデルファミリーであれば、通常はその通りです。しかし、特定の用途に合わせて微調整された小規模なモデルは、汎用的な大規模モデルを上回る性能を発揮し、コストや処理遅延も数倍低くなる可能性があります。
3. 「でたらめを言わないように言っておけば、言わないだろう」
このモデルは、いつ虚構を生み出しているのか区別できない――正しい文も間違った文も、同じ仕組みで生成される。効果的な方法は、出典を文脈に組み込み、引用を明示することであり、説教することではない。
4. 「温度が0なら、結果は一定である」
温度を下げると出力ははるかに安定しますが、GPU上での実数の累積順序やリクエストのグループ化方法によって、わずかな差異が生じる可能性があります。ビット単位での再現性を前提としてシステムを設計しないでください。
5. 「コンテキストウィンドウが大きいということは、ウィンドウ全体をうまく活用できるということだ」
長い文章の中盤にある情報は、冒頭や末尾にある情報に比べて活用しづらい。プロンプト内の資料の順序を並べ替えることは、実際に大きな影響を与える。
6. 「微調整こそが、新しい知識を教える方法である」
スタイル、形式、行動の指導を微調整するのは非常に効果的です。微調整によって新しい知識を詰め込むことは、コストがかかるだけでなく、総合的な能力を損なう恐れもあります。知識は文脈を通じて習得されるべきです。
7. 「いくつかの回答を読んで評価する」
10例程度の主観的な印象では、品質の5％低下は確認できなかった――しかし、大規模なケースでは、5％という数字は多くのユーザーがエラーに遭遇することを意味する。プロンプトやモデルを変更するたびに、固定の検証セットを用意し、再実行する必要がある。
Thảo luận