Kimi K3・Qwen3.8自ホストGPUメモリの分岐点

Kimi K3・Qwen3.8自ホストGPUメモリの分岐点は、重み容量だけでは決まりません。負荷が長期間安定し、機密データを自社境界から出せず、分散推論を運用できるチームだけが自前運用に進むべきです。それ以外は、APIと短期レンタルを組み合わせた検証が現実的です。

AI Agentチームは長期の呼び出し費用が本当に下がるかを確認したいはずです。推論基盤の責任者は、重み・コンテキスト・同時実行数・冗長性を受け入れ可能な構成へ変換する必要があります。調達担当者は、購入・レンタル・APIのどこで撤退するかを先に決めておく必要があります。

まず「購入候補」と「検証候補」を分けます

万億規模のMoEモデルでは、総パラメータ数と1トークン当たりの活性パラメータ数を混同してはいけません。Kimi K3は公式のvLLM資料で総パラメータ数2.8T、896個のエキスパートのうち16個をトークンごとに有効化する構成と説明されています。しかし、計算量が少ないことは、全エキスパートの重みをGPU上に置かなくてよいことを意味しません。(github.com)

DeepSeek V4については、vLLMの公式解説で1.6TのProと285BのFlash、最大1Mトークンのコンテキスト、ネイティブFP4のMoE重みが示されています。Qwen3系の公式リポジトリでは複数のMoEモデルと推論フレームワーク対応が確認できますが、Qwen3.8という特定の自前運用用ウェイトについて、技術報告・ライセンス・量子化形式・安定版フレームワーク対応がすべて確認できない場合は、調達リストへ入れてはいけません。(github.com)

モデル	公式に確認できる範囲	自前運用の扱い	調達判断
Kimi K3	2.8T、16/896のMoE、最大1Mトークン、MXFP4	vLLMの実行手順あり。ただしDockerと分散構成が前提	検証後に購入候補
Qwen3.8	公式リポジトリで特定の完全なウェイト情報を確認できない場合あり	未確認の項目を残したまま最低GPU容量を推定しない	検証候補
DeepSeek V4	Pro 1.6T、Flash 285B、最大1Mトークン、FP4対応	vLLM対応あり。ただし実行環境の組み合わせを固定して検証	検証後に購入候補

Qwen3.8は総パラメータ数と活性パラメータ数のどちらで見積もるべきでしょうか。

購入前の一次見積もりは総パラメータ数で行います。活性パラメータ数は演算量やスループットを考える指標であり、常駐する重み容量の代わりにはなりません。公式ウェイト、量子化方式、未量子化層、実行フレームワークがそろうまで、Qwen3.8の必要容量は「未確定」と記録するのが安全です。

GPUメモリは4つの箱に分けて計算します

基本式は次のとおりです。

必要GPUメモリ
＝ 重み
＋ KV Cache
＋ 実行時メモリ
＋ 通信・断片化・故障冗長

重みは、次の式で一次計算できます。

重み容量 ≒ 総パラメータ数 × 1パラメータ当たりの保存バイト数

例えば、Kimi K3の2.8Tを4bit、つまり1パラメータ0.5バイトとして単純化すると、未加工の重みだけで約1.4TBです。これは量子化メタデータ、スケール、未量子化層、ローダーの一時領域を含まない理論値です。したがって、「4bitなら700GB程度」といった計算だけでGPU台数を決めるのは危険です。Kimi K3の公式vLLM手順は、8基のNVIDIA B300または8基のAMD MI355Xを使う構成を示していますが、これは公式の実行レシピであり、すべてのコンテキスト長や同時実行数に対する最低構成ではありません。(github.com)

KV Cacheは重みと別に計算します。一般形は次のとおりです。

KV Cache
＝ 層数 × KV用の隠れ次元 × 2
× キャッシュ精度のバイト数
× コンテキスト長
× 同時実行シーケンス数

実際には、MQA・GQA・MLA・スライディングウィンドウ・ハイブリッド注意機構で式が変わります。DeepSeek V4は複数の注意機構を使い、vLLM側でも異なるKV管理が必要です。Kimi K3もKDAの再帰状態と通常の注意層を同じスケジューラーで扱います。長文Agentでは、重みよりも会話履歴、ツール結果、再試行履歴が同時に残り、KV Cacheが先に上限へ達することがあります。(github.com)

注意：vLLMのgpu_memory_utilizationは、モデル実行器に使うGPUメモリの割合を制御する値です。これを上げれば必要容量が消えるわけではなく、KV Cacheや実行領域へ割り当てる余地が増えるだけです。(docs.vllm.ai)

実行時メモリには、活性値、CUDAグラフ、通信バッファ、カーネルのワークスペースが含まれます。さらに、テンソル並列ではGPU間の通信、パイプライン並列では段間の待ち合わせが発生します。分散構成では、理論上の合計GPUメモリが足りていても、各GPUの分割単位や一時バッファの都合でロードに失敗することがあります。vLLMはテンソル並列とパイプライン並列をサポートしていますが、必要GPU数を増やせば比例して効率が上がるとは限りません。(docs.vllm.ai)

「ロードできる」と「サービスできる」を分けます

モデルがロードできても、商用サービスとして成立するとは限りません。確認すべき指標は、首字遅延、生成速度、同時実行数、キュー待ち時間、長文入力時の安定性です。

Kimi K3について、vLLMの公式記事はB300 NVL72上のTP8・TP16での測定値を掲載しています。バッチサイズ1のデコード速度は構成により111〜118 tok/s、DSpark利用時は331〜370 tok/sとされています。ただし、この結果は特定のGPU、特定のvLLM実装、特定の入力条件に依存します。別のGPUやAgentのツール呼び出し負荷へ、そのまま移植してはいけません。(github.com)

検証では、最低でも次の3種類を分けます。

• 普通の対話。短い入力と短い出力で首字遅延を測ります。
• 長文コンテキスト。入力長を段階的に伸ばし、KV Cacheの増加とOOMを確認します。
• Agent処理。ツール呼び出し、結果の再投入、推論の中断と再開を含めます。

Kimi K3のようにツール呼び出し用のパーサーや専用チャット形式を持つモデルでは、テキスト生成だけの確認では不十分です。vLLMの公式資料でも、Kimi K3は専用の入力レンダラー、出力パーサー、ツール呼び出し設定を必要としています。実運用前には、ツール結果が途中で切れないこと、推論欄と回答欄が混ざらないことを確認します。(github.com)

Kimi K3を量子化した場合、最低どの程度のGPUメモリが必要でしょうか。

公開されている公式レシピから確認できるのは、8基のB300またはMI355Xを使う実行例です。量子化後の最低GPU容量や、特定の同時実行数で安定する最小構成までは、用途・コンテキスト長・実装版を固定しないと断定できません。したがって、1ユーザーのロード確認と、本番の容量設計を同じ数字で扱わないことが重要です。

自前運用・レンタル・APIは利用率で分かれます

自前運用の総費用は、GPU本体だけではありません。

自前運用費
＝ GPUまたはクラウド計算資源
＋ ストレージ
＋ ノード間ネットワーク
＋ デプロイ工程
＋ 監視・当番対応
＋ アップグレード検証
＋ 故障用の余剰容量

API費用は、入力トークン、出力トークン、キャッシュ適用条件、ピーク時の追加費用で分けます。短期レンタルは、利用時間、最低契約期間、データ転送、環境構築と破棄の工数を加えます。公式料金が確認できないモデルは、金額を埋めずに変数のまま比較します。

選択肢	向いている条件	主な利点	主な欠点	放棄線
自前運用	高利用率、厳格なデータ境界、分散運用者がいる	制御性、固定負荷への適合	初期費用、故障対応、更新検証	目標遅延を満たせない
短期レンタル	検証、負荷の波、期間限定のAgent	購入前に実測できる	時間課金、環境再構築	構築工数が検証期間を超える
API	需要が読めない、少量利用、運用者が少ない	すぐ使える、保守不要	データ境界、料金変動、仕様依存	データを外部へ出せない
API＋短期レンタル	選定中、複数モデルを比較	本番と検証を分離できる	二重の設計管理	どちらも目標品質に届かない

DeepSeek V4は自前クラスタとAPIのどちらが得でしょうか。

高い利用率が長期に続き、入力データを外部へ出せず、FlashとProのどちらを使うかも決まっているなら、自前クラスタを検証する価値があります。一方、利用率が読めず、長文処理やAgentの実負荷も固まっていない段階では、APIの従量費と短期レンタルの実測費を並べる方が安全です。

DeepSeek V4は、vLLMの公式記事で初期サポート段階と説明され、最適化が継続中とされています。さらに、Transformersの組み合わせによってロード障害が報告された例もあります。フレームワークの安定版、モデル設定、ドライバー、コンテナを固定できないチームは、GPUを先に購入しても運用費だけが先行する可能性があります。(github.com)

5段階で検証してから調達します

1. 公式情報を固定します。
   モデルカード、設定ファイル、ライセンス、重みファイルの版を保存します。Qwen3.8のように未確認項目がある場合は、推定値を購入資料へ転記しません。

2. 重み容量を計算します。
   総パラメータ数と保存精度から理論値を出し、量子化メタデータ、未量子化層、ロード時の一時領域を別欄にします。

3. KV Cacheの業務条件を決めます。
   最大コンテキスト長ではなく、通常値、長文値、同時実行数、ツール結果の再投入回数を分けて記録します。

4. 単一ノードから分散構成へ進めます。
   まずロード確認を行い、その後にテンソル並列、パイプライン並列、必要ならエキスパート並列を追加します。各段階で首字遅延とキュー待ちを保存します。

5. 3つの負荷で受け入れ試験をします。
   普通の対話、長文入力、Agentツール呼び出しを同じプロンプトセットで比較します。ロード成功だけを合格条件にしません。

6. 費用を実測値へ置き換えます。
   実際の入力・出力トークン数、稼働時間、アイドル時間、監視工数、再デプロイ時間を記録します。必要ならProxyMacのコンソール案内で検証環境の操作手順を確認し、構築と破棄の時間も費用へ入れます。

経験上、最も大きな誤差は重み計算よりも、長文入力時のKV Cache、並列化による通信、障害時に残す予備容量から生じます。理論値に安全率を一つ掛けるのではなく、変数を分けて見積もる方が原因を追跡できます。

最後は「自建・レンタル・API・双軌」のどれかに決めます

次の条件を満たす場合は、自前運用の検証へ進めます。

• 月間の推論負荷が安定している。
• 機密データをAPIへ送れない。
• 目標の首字遅延、生成速度、同時実行数を測定できる。
• 分散GPU、監視、ドライバー更新、障害対応を担当できる。
• アップグレード時の再検証期間を確保できる。

1つでも欠ける場合、短期レンタルで実測しながらAPIを併用する双軌が妥当です。目標指標に届かない、フレームワークの組み合わせが不安定、運用工数が予算を超える、増設に時間がかかりすぎる。このどれかに当たった時点が、万億規模MoEモデルの放棄線です。

Macは完全な大規模モデル推論基盤の代替ではありません。GPUクラスタの代わりに使うのではなく、Agentの開発、ツール連携、監視画面、SSHやAPIの運用確認を分離する環境として使う方が適しています。長期の重負荷推論や物理GPUへの直接アクセスが必要なら、Macレンタルだけで解決しない点も明確にしておくべきです。

一方、現在の構成が手元のワークステーションだけなら、GPUメモリ不足、モデル更新時の再構築、共有環境での権限管理が問題になります。APIだけに依存すると、データ境界、料金変動、提供モデルの変更が弱点になります。そこで、まずProxyMacのヘルプ情報を確認し、短期間のMac環境でAgentの開発・接続・監視経路を分離してから、推論クラスタの長期レンタルや購入へ進む方が、検証費用を抑えやすい設計です。料金条件を比較する場合は、日本向けのProxyMac料金案内も、GPU推論費とは別の開発・運用環境費として扱ってください。