更新：2026年8月。
2023年から2024年にかけてAIに関する最大の関心事が「どのモデルが優れているか」だったとすれば、2026年初頭からは、最も重要な問いは「1トークンあたりどれくらいのコストがかかるか」、そして「誰がより安く実行できるか」へと変わった。 これはもはやハードウェアの問題ではない――GPUなら誰でも購入できるからだ。勝者と敗者を分けるのは、今やモデルとチップの間に位置する、非常に具体的なアルゴリズムの層、すなわちメモリの配置方法、スケジューリングの方法、予測の方法、そして不要な処理を省く方法である。
2026年の不思議な点は、APIの価格が依然として下落している一方で、メモリとGPUの価格が過去最高値を更新していることだ。その価格差の大部分は、以下のアルゴリズムに起因している。
根源：2つの段階と、相反する2つの結び目を持つ要求
一見無関係に見える一連の技術がなぜ同時に生まれたのかを理解するには、ある物理的な事実を正しく認識しなければならない。すなわち、生体分子は、性質が全く異なる2つの相から構成されているということである。
プレフィルフェーズ — プロンプト全体を読み込むモデル。トークンがすべて一度に読み込まれるため、GPUは大規模な行列乗算を処理でき、ほぼフル稼働状態となる。これは計算上のボトルネックであり、コストは長さに比例して増加し、特にアテンションのコストは長さの二乗に比例して増加する。
デコード段階 — トークンを1つずつ生成するモデルであり、後続のトークンは先行するトークンに依存するため、並列化は不可能です。 各ステップで、たった1つのトークンを生成するためだけに、HBMからアクティブな重みのすべてを読み直さなければならない。パラメータが数百億あるモデルでは、1つのトークンに対して数十ギガバイトのデータを読み出すことになるが、実際に必要な演算量はごくわずかである。 その結果、小規模なバッチでは、GPUは計算能力のわずか数パーセントしか使用せず、残りの時間はメモリを待つ状態になります。
この記事全体は、実のところ、ある一言に集約される。「デコード段階では、演算は過剰だが、帯域幅が不足している」ということだ。推論を高速化するあらゆるアルゴリズムは、過剰なものを削減することで、不足しているものを補うための手段に他ならない。
KV-cache：モデルに小型のOSが必要な場合
各ステップで過去のデータ全体に対してアテンションを再計算する必要がないよう、モデルはこれまでに処理されたすべてのトークンのキーベクトルと値を保持しています。これがKVキャッシュであり、これにより長い文脈が効率化されます。新しいトークンが追加されるたびにその断片が連結され、そのキャッシュはHBM内に配置される必要があり、重みそのものとスペースを競合することになります。
単純な方法は、各リクエストに対して最大長に十分な連続したメモリ領域を割り当てることですが、その結果、ひどい断片化が生じ、メモリの大部分が未使用のまま占有されてしまいます。 PagedAttentionは、OSが仮想メモリの問題を解決するのと同じ方式で動作します。つまり、KVキャッシュを固定サイズのブロックに分割し、論理位置から物理ブロックへのマッピングテーブルを用意し、必要に応じて段階的に割り当てを行います。 連続性は必要なく、断片化もほとんど発生しません。さらに重要なのは、2つのリクエストが先頭部分を共有する場合、そのブロックを共有する点であり、これはまさにコピーオンライトと同じ仕組みです。
そのブロック分割というアイデアから、実際に最もコスト削減効果の高い手法が生まれました。それが「プレフィックスキャッシング」です。システムプロンプト、ツールの説明、添付資料、会話履歴――実際のアプリケーションでは、入力の大部分を繰り返し部分が占めています。 コンテンツをブロックごとにハッシュ化し、テーブルを参照するだけで、次回の呼び出しにおけるプリフィル処理の大部分を完全に省略できます。これが、大手プロバイダーがキャッシュ済みの入力に対して別途価格を設定している理由であり、その価格は通常、10分の1程度安くなっています。言い換えれば、あるデータ構造が価格表の1行となっているのです。
2026年になると、このキャッシュはサーバーのRAM、そしてSSDへと階層化され、ルーターはキャッシュがどのマシンにあるかを把握し、そのマシンにリクエストを送信しなければならない。均等分散型の負荷分散はもはや誤った選択となっている。なぜなら、キャッシュを持たない空きマシンにリクエストを送信する方が、キャッシュを持つマシンで待機させるよりもコストがかかるからだ。
スケジューリング：連続ロットの統合とプレフィルの分割
複数のリクエストを1回の実行にまとめることで、重みの読み取りコストを分担できます――1回読み取るだけで、バッチ全体に利用できます。しかし、従来のまとめ方（バッチが揃うのを待ち、実行し、バッチ全体が完了するのを待つ）は非効率的です。短いリクエストが、長いリクエストを待たなければならないからです。 Continuous batchingは、トークン生成の各ステップごとにスケジューリングを行います。処理が完了したリクエストは直ちにバッチから離れ、空いたスペースは次のステップの新しいリクエストで埋められます。スケジューリングの仕組みを変更しただけで、実際の負荷においてスループットが数倍に向上し、モデルには一切手を加える必要がありませんでした。
残る問題は、2つの処理が互いに干渉し合うことです。長いプロンプトのプリフィル処理がGPUを数百ミリ秒間占有し、デコード中のすべてのリクエストが停滞してしまいます。 チャンク化されたプリフィルは、プリフィルを小さなチャンクに分割し、デコードのステップと交互に実行することで、最初の文字が表示されるまでの待ち時間を少し犠牲にする代わりに、全体としてスムーズな処理を実現する――アルゴリズムとビジネス方針の境界線が曖昧になっていく。
推測してから確認する：余っているものを処分して、足りないものを買う
もし、演算量は多すぎるが帯域幅が不足している場合、1回の実行で5つのトークンをチェックしても、1つのトークンをチェックする場合とほとんどコストは変わらない――どちらの場合も、同じ数の重みを正しく読み取らなければならないからだ。これこそが、投機的デコードの直感的な本質である。
仕組み：安価なドラフトモデルが次の数個のトークンを提案し、大規模モデルがチェーン全体を一度だけスキャンする。一致したトークンは採用し、最初のトークンがずれた場合は破棄して再生成する。 最も巧妙な点は、出力分布が通常の大規模モデルを実行した場合とまったく同じになるよう、補正されたサンプリング法を用いた検証ステップである。これは品質を犠牲にする近似手法ではない――だからこそ、誰の許可も必要とせず、デフォルトで有効になっているのだ。
2026年のトレンドは、外部に配置されたドラフトモデルに過ぎません。個別の小型モデルを学習させる代わりに、多トークン予測ヘッドを大規模モデルに直接組み込むか、または軽量なドラフトヘッドを使用してモデル内部の状態を直接読み取ります。 EAGLE-3シリーズやマルチトークン予測のバリエーションは、年初早々にvLLM、SGLang、TensorRT-LLMのメインブランチに組み込まれました。1回あたりの平均トークン数は2～3程度となっています。
しかし、率直に言えば限界もあります。バッチが大きくなるにつれて、そのメリットは徐々に薄れていきます。 ロットが大きくなればなるほど、GPUは計算負荷の限界に近づき、余剰予測を行う余地がなくなります。また、コンテキストが非常に長い場合、受容率も低下します。したがって、これはレイテンシ対策やオフピーク時のための手段であり、無条件にスループットを向上させる特効薬というわけではありません。
2026年の真の飛躍：注目すべきは、あらゆるトークンだ
上記のすべては運用上の最適化であり、モデル自体は変わらない。2026年初頭からの最大の変更点は、より根本的なところにある――KVキャッシュがこれ以上肥大化しないよう、アーキテクチャそのものを修正するのだ。現在、以下の3つの方向性が並行して進められている：
- KVを潜在状態に圧縮する。各アテンションヘッドのキーと値を完全に保存する代わりに、それらをはるかに小さい潜在ベクトルにマッピングし、計算時に展開する――このマルチヘッド潜在アテンションの手法により、キャッシュ容量を数倍に削減しつつ、品質をほとんど損なわない。
- 学習可能なスパースアテンション。新しいトークンは過去の全情報を参照する必要がなく、低コストなインデックスが注目すべきトークンの小さなグループを選出し、そのグループに対してのみアテンションを計算します。従来の「スライディングウィンドウ」とは異なり、ここでの選択はモデルと共に学習され、人間が設定した固定ルールによるものではありません。
- 線形アテンションとの融合が、最も意外な結果をもたらしました。層の大部分はゲート付き回帰モデルに置き換えられ、各層は無限に長いキャッシュの代わりに固定サイズのステートを保持し、数層ごとに完全なアテンション層を挿入することで、正確な記憶能力を維持しています。 3つの線形層に対して1つの完全なアテンション層という比率の構成は、2026年前半に公開された多くのモデルファミリーに見られるようになった。
第3のアプローチの経済的意義は非常に大きい。従来のアテンションでは、コンテキストが2倍になると、各デコードステップで読み込む量も2倍になるため、トークンごとのコストは会話の長さに比例して増加する。一方、層の大部分が固定状態回帰である場合、トークンごとのコストは長さにほぼ比例しない。 推論モデルとエージェントが数十万トークンにも及ぶ長い会話を生成し始めるまさにその時点で、ビジネスモデルの有無による差が顕在化するのです。
あえて言う必要はないかもしれませんが、トークンを省いて確認する場合、重要なトークンを見落とすリスクは常にあります。長い文脈における正確な回帰テストは、依然としてこうしたアーキテクチャが最も厳しく検証される場面であり、現在の測定方法には統一性が見られません。
処理を分割する：1つのクラスターをプリフィルし、1つのクラスターをデコードする
2つのフェーズが相反する2種類のリソースを必要とする場合、それらを同じマシンに収めることは、両方に妥協を強いることになる。 2026年には、プレフィルとデコードの分離が大規模なデフォルト構成となった。あるマシン群はプレフィルのみを実行してKVキャッシュを生成し、それを高速ネットワーク経由でデコードのみを実行するマシン群に転送する。 各グループは独自の並列構成とバッチサイズを選択し、実際の負荷におけるプロンプトの長短の比率に応じて独立してスケールイン／アウトを行う。
これと組み合わされるのが、MoEモデル向けの広範囲なエキスパートの並列化である。MoEはトークンごとにパラメータのごく一部のみをアクティブにするが、すべてのエキスパートが数台のGPUに分散している場合、依然として膨大な量の読み取りが必要となる。 エキスパートを、超高速帯域幅のリンク（GB200/GB300 NVL72ラックなど）で接続された数十台のGPUに分散させれば、各GPUが保持するエキスパートの数はわずかになり、トークンごとの読み取り量も大幅に減少します。その結果、単一のマシンで実行する場合に比べて、GPUあたりのスループットが数倍に向上します。
経済コーナー：1トークンあたりの価格の背後にある4つの数字
1トークンのコストは、端的に言えば、GPUの1時間あたりのレンタル料金を、そのGPUが1時間に生成できるトークン数で割ったものです。 分子はハードウェア市場によって決定され、現在逼迫している。その上のアルゴリズム層全体が果たす役割は、分母を押し上げることだけだ――ただし、レイテンシのコミットメントは維持しなければならない。なぜなら、ユーザーを待たせることで得られるスループットは、売れないからだ。 業界では、この正確な測定値を「グッドプット」と呼んでいる。収益性が高い順に並べた4つのレバレッジは以下の通りだ：
- プレフィックスキャッシュのヒット率 — 最も安価でありながら、最も見過ごされがちな手法。安定したシステムプロンプトであり、不変部分を先頭に配置することで、モデルのコードを1行も変更せずに、入力コストの大部分を削減できる。
- 有効バッチサイズ。大きなバッチは重みの読み取りコストを均等に分担するが、HBMには限りがあるため、より多くのKVキャッシュを必要とする。 KVの精度をFP8に下げるか、アーキテクチャによってKVを圧縮することは、いずれも間接的にバッチサイズを拡大する方法である。これが、KVの量子化がデータ圧縮グループではなく、コスト削減アルゴリズムグループに分類される理由である。
- 1回の実行ごとに生成されるトークンの数。推測するに、この数値は1から2～3へと増加するだろう。
- トークンごとに読み出す必要のある重みの量。MoEと広範囲な並列専門家の組み合わせは、まさにこの点に直接的にアプローチしており、これが最大のレバレッジ効果をもたらす。
あまり注目されていない結果があります。それは、推論モデルが入力に比べて非常に多くの出力トークンを生成するため、コストの重点がプレフィルからデコードへと移行しているということです。 つまり、デコード向けに最適化されたあらゆる要素――帯域幅、小さなKV、推測、MoE――は、2年前と比べて突然その価値が数倍に高まり、一方でプレフィル向けの最適化は重要性を失いつつある。2026年のインフラは、まさにこのシフトを軸に再構築されつつある。
予測
- アテンションがデフォルトとなる。2026年末までに、新たに公開されるモデルの大部分は、線形／スパース層と完全アテンション層を組み合わせたハイブリッド形式を採用するようになる。完全アテンションのみのモデルは例外となり、小規模なモデルや短い文脈でのみ使用されるようになる。
- ドラフトモデルはデプロイメントプロファイルから姿を消す。多トークン予測ヘッドは、運用者が独自に組み込むのではなく、モデルの一部として重み付きでトレーニングされ、リリースされるようになる。
- 性能の測定単位はGPUからラックへと移行する。比較可能な指標となるのは、保証されたレイテンシにおける「ラックあたりのトークン毎秒」となるだろう。なぜなら、フェーズ分離や広域並列処理は、クラスタ全体で計算した場合にのみ意味を持つからである。
- キャッシュは独自の価格設定を持つストレージ層となる。HBM → RAM → SSD の階層化されたプレフィックスキャッシュは、複数のマシン間で共有され、キャッシュを意識したルーティングが適用される。API の価格表は、単一の入力価格ではなく、キャッシュの状態に応じて細分化され続ける。
- 測定に関するちょっとした幻滅。節約のためにトークンを削減するシステムが増えるほど、長期コンテキストのスコアが、正確な検索タスクにおける実際の損失を隠蔽しているという大きな論争が生じやすくなります。
注目すべき点：過去2年間、AIのコスト削減の大部分は、新しいチップによるものではなく、トークンあたりのメモリ読み取り回数の減少によるものでした。 上記のアルゴリズム一覧――ページング、プレフィックスキャッシュ、連続バッチ処理、予測・検証、疎なアテンションおよび線形アテンション、フェーズ分割、エキスパート展開――はすべて、この事実を表現する異なる言い回しに過ぎない。 ボトルネックが演算ではなく帯域幅にあることを理解している人は最適化に成功し、理解していない人はGPUを追加購入し、依然として高額なコストを支払っている。
Thảo luận