なぜ言語モデルは誤りを生じ、それをどのように軽減できるのか

言語モデルは、次に続く単語を最も合理的に予測するように学習されています。このモデルは流暢さを最適化しており、正確さを最適化しているわけではありません。答えが分からない場合でも、言語的に最も合理的なのは、一貫性のある回答――非常に説得力があるが、完全に間違っているような回答――です。

デマが生まれやすい3つの状況

• 希少な事象：トレーニングデータに情報が極端に少ないため、モデルは全体的な傾向は把握できるものの、詳細までは把握できない
• 誤った前提に基づく質問：「なぜXが起こったのか」と問うが、実際にはXは一度も起こっていない場合、モデルは反論するのではなく説明しようとする傾向がある
• 高い正確性が求められる：数値、日付、引用、識別コードなど、文脈からは推測できない情報

本当に役立つ方法

データを文脈に組み込む。モデルに「何を覚えているか」と尋ねるのではなく、関連する資料を探して、それに質問を添える。そうすることで、モデルは「記憶」から「読解」へと移行する――そもそも、モデルは読解の方がはるかに得意だからだ。

出典の明記が必須です。各主張について、提供された資料のどの部分に基づいているかを明示する必要があります。出典が明示されていない文は疑わしいものとみなされます。

「分からない」と答えても構いません。プロンプトにその旨が明記されていない場合、デフォルトのモデルは必ず回答しなければなりません。

機械による検証。コードがあれば、テスト実行を行う。数値があれば、再計算を行う。引用があれば、照合を行う。機械でチェックできることを、人間が手作業でエラー探しをするような事態は避けるべきだ。

あまり役に立たないこと

モデルに「正確であれ」や「でたらめを言わないで」と指示しても、その効果は極めて限定的だ。モデル自身には、自分がでたらめを言っているかどうかを判断する手段がない――モデルにとっては、でたらめな文も正しい文も、同じメカニズムによって生成されるからだ。