更新：2026年8月。
2023年から2024年にかけてAIに関する最大の関心事が「どのモデルが優れているか」だったとすれば、2026年初頭からは、最も重要な問いが「1トークンあたりどれくらいのコストがかかるか」、そして「誰がより安く実行できるか」へと変わった。 これはもはやハードウェアの問題ではない――GPUなら誰でも購入できるからだ。勝者と敗者を分けるのは、今やモデルとチップの間に位置する、極めて具体的なアルゴリズムの層、すなわちメモリの配置方法、スケジューリングの方法、予測の方法、そして不要な処理を省く方法である。
2026年の奇妙な点は、メモリやGPUの価格が過去最高を記録している一方で、APIの価格は依然として下落し続けていることだ。その価格差の大部分は、以下のアルゴリズムに起因している。
根源：2つの段階と、相反する2つの結び目を持つ要求
一見無関係に見える一連の技術がなぜ同時に生まれたのかを理解するには、ある物理的な事実を正しく認識しなければならない。すなわち、生体分子は、性質が全く異なる2つの相から構成されているということである。
プレフィルフェーズ — プロンプト全体を読み込むモデル。トークンがすべて一度に読み込まれるため、GPUは大規模な行列乗算を処理でき、ほぼフル稼働する：これが計算上のボトルネックであり、コストは長さに比例して増加し、特にアテンションのコストは長さの二乗に比例して増加する。
デコード段階 — トークンを1つずつ生成するモデルであり、後続のトークンは先行するトークンに依存するため、並列化は不可能です。 各ステップで、たった1つのトークンを生成するためだけに、HBMからアクティブな重みのすべてを読み直す必要がある。パラメータが数十億あるモデルでは、1つのトークンに対して数十ギガバイトのデータを読み出すことになるが、実際に必要な演算量はごくわずかである。 その結果、小規模なバッチでは、GPUは計算能力のわずか数パーセントしか使用せず、残りの時間はメモリを待つ状態になります。
この記事全体は、実のところ「デコード段階では、演算は過剰だが帯域幅が不足している」という一文から派生したものに過ぎない。推論を高速化するあらゆるアルゴリズムは、過剰なものを削減して、不足しているものを補うための手段に他ならない。
KV-cache：モデルに小型のOSが必要な場合
各ステップで過去のデータ全体に対してアテンションを再計算する必要がないよう、モデルはこれまでに処理したすべてのトークンのキーベクトルと値を保持しています。これがKVキャッシュであり、これにより長い文脈が効率化されます。新しいトークンが追加されるたびに断片が1つずつ連結され、そのキャッシュはHBM内に格納される必要があるため、重み自体とメモリ領域を奪い合うことになります。
単純な方法は、各リクエストに最大長に十分な連続したメモリ領域を割り当てることですが、その結果、ひどい断片化が生じ、メモリの大部分が使用されずに占有されてしまいます。 PagedAttentionは、OSが仮想メモリ問題を解決するのと同じ方式で動作します。つまり、KVキャッシュを固定サイズのブロックに分割し、論理位置から物理ブロックへのマッピングテーブルを用意し、必要に応じて段階的に割り当てを行います。 連続性は必要なく、断片化もほとんど発生しません。さらに重要なのは、2つのリクエストが先頭部分を共有する場合、そのブロックを共有する点であり、これはまさにコピーオンライトと同じ仕組みです。
そのブロック分割というアイデアから、実際に最もコスト削減効果の高い手法が生まれました。それが「プレフィックスキャッシュ」です。システムのプロンプト、ツールの説明、添付資料、会話履歴――実際のアプリケーションでは、入力の大部分を繰り返し部分が占めています。 コンテンツをブロックごとにハッシュ化し、テーブルを参照するだけで、次回の呼び出しにおけるプリフィル処理の大部分を完全に省略できます。これが、大手プロバイダーがキャッシュ済みの入力に対して別途価格を設定している理由であり、その価格は通常、約10分の1に抑えられています。言い換えれば、あるデータ構造が価格表の1行となっているのです。
2026年になると、このキャッシュはサーバーのRAM、そしてSSDへと階層化されるようになり、ルーターはキャッシュがどのマシンにあるかを把握し、リクエストをそのマシンに正しく転送しなければならない――均等分散型のロードバランシングは誤った選択となってしまった。なぜなら、キャッシュを持たない空きマシンにリクエストを送信する方が、キャッシュを持つマシンで待機させるよりもコストがかかるからだ。
スケジューリング：連続ロットの統合とプリフィルの分割
複数のリクエストを1回の実行にまとめることで、重みの読み取りコストを分担できます――1回読み取るだけで、バッチ全体に適用できます。しかし、従来のまとめ方（バッチが揃うのを待ち、実行し、バッチ全体が完了するのを待つ）は非効率的です。短いリクエストが、長いリクエストを待たなければならないからです。 Continuous batchingは、トークン生成の各ステップごとにスケジューリングを行います。処理が完了したリクエストは直ちにバッチから離れ、空いたスペースは次のステップの新しいリクエストで埋まります。スケジューリングの仕組みを変更するだけで、モデルに一切手を加えることなく、実負荷においてスループットを数倍に高めることができます。
残る問題は、2つの処理が互いに干渉し合うことです。長いプロンプトのプリフィル処理がGPUを数百ミリ秒も占有し、デコード中のすべてのリクエストが停滞してしまいます。 チャンク化されたプリフィルは、プリフィルを小さなチャンクに分割し、デコードのステップと交互に実行することで、最初の文字が出るまでの待ち時間を少し犠牲にする代わりに、全体をスムーズにします。これにより、アルゴリズムとビジネス方針の境界線が曖昧になっていきます。
推測してから確認する：余っているものを処分して、足りないものを買う
もし、演算数は多すぎるが帯域幅が不足している場合、1回の実行で5つのトークンをチェックしても、1つのトークンをチェックする場合とほとんどコストは変わりません。なぜなら、どちらの場合も同数の重みを正しく読み取らなければならないからです。これこそが、投機的デコードの直感的な仕組みそのものです。
仕組み：安価なドラフトモデルが次の数個のトークンを提案し、大規模モデルが一度だけ実行されてチェーン全体をチェックする。一致したトークンは採用し、最初のトークンがずれていれば破棄して再生成する。 最も巧妙な点は、調整済みサンプリングを用いた検証ステップであり、これにより出力の分布が通常の大規模モデルを実行した場合と全く同じになるようにしている。これは品質を犠牲にする近似手法ではない――だからこそ、誰の許可も得ずにデフォルトで有効になっているのだ。
2026年の動向は、ドラフトモデルを外部に置くというアプローチです。個別の小型モデルを学習させる代わりに、多トークン予測ヘッドを大規模モデルに直接組み込むか、あるいは軽量なドラフトヘッドを使用してモデル内部の状態を直接読み取ります。 EAGLE-3シリーズやマルチトークン予測のバリエーションは、年初早々にvLLM、SGLang、TensorRT-LLMのメインブランチに組み込まれました。1回の予測で受け取るトークンの平均数は、2～3程度となっています。
しかし、率直に言えば限界もあります。バッチが大きくなるにつれて、そのメリットは徐々に薄れていきます。 ロットが大きくなればなるほど、GPUは計算負荷の限界に近づき、余剰予測を行う余地がなくなります。また、コンテキストが非常に長い場合、受容率も低下します。したがって、これは遅延対策やオフピーク時のための手段であり、無条件にスループットを向上させる万能薬というわけではありません。
2026年の真の飛躍：注目すべきは、あらゆるトークンだ
上記のすべては運用上の最適化、つまりモデルそのものは変わらない。2026年初頭からの最大の変更点は、より根深いところにある――KVキャッシュがこれ以上肥大化しないよう、アーキテクチャそのものを修正するのだ。現在、3つの方向性が並行して進められている：
- KVを潜在状態へ圧縮する。各アテンションヘッドごとにキーと値を完全に保存する代わりに、それらをはるかに小さい潜在ベクトルにマッピングし、計算時に展開する――マルチヘッド潜在アテンションのアプローチにより、キャッシュ容量を数倍に削減しつつ、品質をほとんど損なわない。
- 学習可能なスパースアテンション。新しいトークンは過去のすべてを参照する必要はなく、低コストなインデックスが注目すべきトークンの小さなグループを選択し、そのグループに対してのみアテンションを計算します。従来の「スライディングウィンドウ」とは異なり、ここでの選択は、人間が設定した厳格なルールではなく、モデルと共に学習されます。
- 線形アテンションとの融合が、最も驚きをもたらした。層の大部分はゲート付き回帰形式に置き換えられ、各層は無限に長いキャッシュの代わりに固定サイズの状態を保持し、数層ごとに完全なアテンション層を挿入することで、正確な記憶能力を維持している。 3つの線形層に対して1つの完全なアテンション層という比率は、2026年前半に公開された多くのモデルファミリーで見られるようになった。
第3のアプローチの経済的な意義は非常に大きい。従来のアテンションでは、コンテキストが2倍になると、各デコードステップで読み込む量も2倍になるため、トークンごとのコストは会話の長さに比例して増加する。一方、層の大部分が固定状態回帰である場合、トークンごとのコストは長さにほぼ比例しない。 推論モデルとエージェントが数十万トークンにも及ぶ長いセッションを生成し始めるまさにその時点で、ビジネスモデルの有無による差が顕在化するのです。
あえて言うまでもないことだが、トークンを削減して検証を行う場合、重要なトークンを見落とすリスクが常に伴う。長い文脈における正確な回帰テストは、依然としてこうしたアーキテクチャが最も厳しく検証される分野であり、その測定方法については現時点で統一された基準が存在しない。
処理を分割する：1つのクラスターをプリフィルし、1つのクラスターをデコードする
2つのフェーズが相反する2種類のリソースを必要とする場合、それらを同じマシンに収めることは、両方に妥協を強いることになる。 2026年には、プリフィルとデコードを分離することが大規模な環境におけるデフォルトの構成となった。あるマシン群はプリフィルのみを実行してKVキャッシュを生成し、それを高速ネットワークを介してデコードのみを実行するマシン群に転送する。 各グループは独自の並列構成とバッチサイズを選択し、実際の負荷におけるプロンプトの長短の比率に応じて独立してスケールイン／アウトを行う。
これと組み合わされるのが、MoEモデル向けの広範囲なエキスパートの並列化である。MoEはトークンごとにパラメータのごく一部のみをアクティブにするが、すべてのエキスパートが数台のGPUに分散している場合、依然として膨大な量の読み取りが必要となる。 エキスパートを、超高速帯域幅のリンク（GB200/GB300 NVL72ラックなど）で接続された数十台のGPUに分散させると、各GPUが保持するエキスパートの数はわずかになり、トークンごとの読み取り負荷が大幅に軽減され、単一のマシンで実行する場合に比べてGPUあたりのスループットが数倍に向上します。
経済コーナー：1トークンあたりの価格の背景にある4つの数字
1トークンのコストは、端的に言えば、GPUの1時間あたりのレンタル料金を、そのGPUが1時間に生成できるトークン数で割ったものです。 分子はハードウェア市場によって決定され、現在逼迫している。その上のアルゴリズム層全体が果たす役割は、分母を押し上げることだけだ――ただし、レイテンシのコミットメントは維持しなければならない。なぜなら、ユーザーを待たせることで得られるスループットは、商売にならないからだ。 業界では、この正確な測定値を「グッドプット」と呼んでいる。収益性が高い順に並べた4つのレバレッジは以下の通りである：
- プレフィックスキャッシュのヒット率 — 最も安価でありながら、最も見過ごされがちな手法だ。安定したシステムプロンプトであり、不変部分を先頭に配置することで、モデルのコードを1行も変更することなく、入力コストの大部分を削減できる。
- 有効バッチサイズ。バッチサイズを大きくすると重みの読み取りコストは均等化されるが、HBMには限りがあるため、より多くのKVキャッシュが必要となる。 KVの精度をFP8に下げるか、アーキテクチャによってKVを圧縮することは、いずれも間接的にバッチサイズを拡大する方法である。これが、KVの量子化がデータ圧縮のカテゴリーではなく、コスト削減アルゴリズムのカテゴリーに分類される理由である。
- 1回の実行ごとに生成されるトークンの数。推測によると、この数値は1から2～3に増加する見込みだ。
- トークンごとに読み込む必要がある重みの量。MoEと並列処理を組み合わせた広範囲なアプローチは、まさにこの点に直接的に取り組むものであり、最大のレバレッジ効果をもたらす。
あまり注目されていない結果があります。それは、この推論モデルでは、入力に比べて非常に多くの出力トークンが生成されるため、コストの重点がプリフィルからデコードへと移行しているということです。 つまり、デコード向けに最適化されたあらゆる要素――帯域幅、小さなKV、推測、MoE――は、2年前と比べて突然その価値が数倍にも高まり、一方でプリフィルの最適化は重要性を失いつつある。2026年のインフラは、まさにこのシフトを中心に再構築されつつある。
予測
- アテンションがデフォルトとなる。2026年末までに、新たに公開されるモデルの大部分は、線形／スパース層と完全アテンション層を組み合わせたハイブリッド形式を採用するようになる。完全アテンションのみを採用するモデルは例外となり、小規模なモデルや短い文脈でのみ使用されるようになる。
- ドラフトモデルはデプロイメントプロファイルから姿を消す。多トークン予測ヘッドは、運用者が手動で組み込む必要はなく、モデルの一部として重み付きで学習・リリースされるようになる。
- 性能の測定単位はGPUからラックへと移行する。比較可能な指標は、保証されたレイテンシにおける「ラックあたりのトークン毎秒」となるだろう。なぜなら、フェーズ分割や大規模な並列処理は、クラスター全体で計算した場合にのみ意味を持つからである。
- キャッシュは独自の価格設定を持つストレージ層となる。HBM → RAM → SSD の階層型プレフィックスキャッシュは複数のマシン間で共有され、キャッシュを意識したルーティングが適用される。API の価格表は、単一の入力価格ではなく、キャッシュの状態に応じて細分化され続ける。
- 測定に関するちょっとした幻滅。節約のためにトークンを削減するシステムが増えるほど、長期コンテキストのスコアが、正確な検索タスクにおける実際の損失を隠蔽しているという大きな議論が生じやすくなります。
注目すべき点：過去2年間、AIのコスト削減の大部分は、新しいチップによるものではなく、トークンあたりのメモリ読み取り回数の減少によるものでした。 上記のアルゴリズム一覧――ページング、プレフィックスキャッシュ、連続バッチ処理、予測・検証、疎かつ線形のアテンション、フェーズ分離、エキスパート展開――は、すべてこの事実を異なる表現で示しているに過ぎない。 ボトルネックが演算ではなく帯域幅にあることを理解している人は最適化に成功し、理解していない人はGPUを追加購入して、依然として高額なコストを支払うことになる。
Thảo luận