MoE大模型自建还是API？2026年显存与成本平衡点
權重明明只有部分專家會被啟用，模型卻仍然載不進顯示卡，或一開啟並發就立刻 OOM。
最快解法：低利用率、需求波動大，或模型版本尚未穩定的團隊，先留在 API，或租用短周期算力壓測；只有負載穩定、資料控制要求明確，並具備分散式推理維運能力時，長期自建才值得進入採購討論。
這篇適合三類讀者：
- AI 創業團隊與 Agent 產品組：需要保留更換模型和退出自託管的能力。
- MLOps 與基礎設施工程師：需要先確認權重駐留、執行時餘量與集群拓撲。
- 預算及技術負責人：需要用相同業務負載比較 API、短期租用算力與長期自建。
先用完整駐留容量排除錯誤方案
MoE 的激活參數不能直接等同於部署顯存。
激活參數只表示每個 token 通常會經過哪些專家。未被當前 token 選中的專家，仍可能需要以權重形式保留在顯示卡或可被推理節點快速存取的記憶體中。部署時至少要拆成四個部分：
- 權重與量化元資料。
- 執行時工作區，包括核心運算、路由器與通訊緩衝。
- KV Cache，會隨上下文長度、並發數和批次策略增加。
- 安全餘量，用來吸收請求峰值、碎片和框架額外開銷。
因此，顯存評估不能只回答「能不能載入」，而要分成三個門檻：
- 能載入：權重和必要元資料可以完成初始化。
- 能生成：單一或少量請求可以完成推理，不持續 OOM。
- 能承載業務：在指定並發、上下文、延遲和重試條件下仍能穩定服務。
官方模型卡可作為第一層容量資料，但不能取代實際啟動驗證。例如 Kimi K3 官方資料標示總參數約 2.8T，並採用 896 個專家、每次啟用 16 個專家的 MoE 設計，同時支援 1M token 上下文。這些數字說明其稀疏計算特性，卻沒有直接給出某一硬體配置下的生產顯存需求。(huggingface.co)
DeepSeek V4 的官方模型資料則列出兩個不同級別：V4 Flash 為 284B 總參數、13B 激活參數，V4 Pro 為 1.6T 總參數、49B 激活參數，兩者都標示 1M token 上下文；官方下載資訊同時區分 FP8 Mixed 與 FP4+FP8 Mixed 格式。這正好說明：即使激活參數差異很大，完整權重格式與上下文策略仍會改變部署門檻。(huggingface.co)
提醒：倉庫檔案大小、理論位寬和單次啟動成功，都不能直接當成生產顯存。真正的放行條件是峰值記憶體、有效吞吐和故障後能否恢復。
激活參數較少，為何仍可能需要多張卡
權重容量與工作區不是同一件事
可先用下列概念公式建立估算：
部署顯存需求 = 權重駐留 + 量化元資料 + 執行時工作區 + KV Cache + 安全餘量
其中，權重駐留取決於實際權重格式，而不是只看模型宣稱的位元數。FP4、FP8、混合精度和額外 scale 參數，可能讓實際佔用與簡單的「參數數量 × 位元寬度」產生差異。
KV Cache 也不能被忽略。長上下文服務中，請求數、輸入長度、輸出長度和快取策略會同時影響記憶體。DeepSeek V4 官方資料指出，在 1M-token 情境下，V4 Pro 的單 token 推理 FLOPs 約為前代的 27%，KV Cache 約為前代的 10%；這是架構層面的官方比較，不代表任何特定硬體都能以相同比例降低總顯存。(huggingface.co)
拓撲與框架會改變可行配置
模型能否運行，還要核對以下項目：
- 推理框架是否支援該模型架構。
- 量化格式是否有對應 kernel。
- 驅動、CUDA 或其他加速執行環境是否符合要求。
- Tensor Parallel、Pipeline Parallel 和 Expert Parallel 是否支援。
- 跨節點是否需要高速互連或 RDMA。
- 單節點顯示卡數量能否配合張量切分。
官方分散式推理文件把路線分成單卡、單節點多卡和多節點多卡。當模型無法放入單張卡，但可以放入同一節點時，通常先考慮 Tensor Parallel；跨節點時，則可能需要 Tensor Parallel 加 Pipeline Parallel。MoE 服務還可能把注意力層與專家層採用不同平行策略。(docs.vllm.ai)
這裡的隱性成本有三個：
- 通訊成本：專家路由與張量切分會增加跨卡交換。
- 故障半徑：任一節點失效，都可能使整個副本停止服務。
- 驗證成本：下載成功不代表目前框架能正確載入，尤其是新量化格式與新架構。
Qwen3.8 Max 先保留待填行
Qwen3.8 Max 及 Qwen3.8-2.4T-A95B 在沒有完成官方模型倉庫、模型卡、權重索引和部署說明核對前，只能列為待驗證項目。社群貼文、發布預測和未被官方文件支援的硬體需求，不應進入採購公式。
這不是保守過度，而是避免把傳聞當成容量事實。只要權重格式或執行方式改變，整個顯存和成本估算都需要重算。
API、短期租用與長期自建的成本差異
比較時，三條路線必須使用同一組業務條件：
- 每日請求量。
- 輸入與輸出 token。
- 峰值並發。
- 可接受的 p95 或 p99 延遲。
- 失敗重試比例。
- 工具呼叫和 Agent 迴圈次數。
- 資料保留、隔離和合規要求。
API：把成本集中在有效使用量
API 總成本可寫成：
API 成本 = 輸入 token × 輸入單價 + 輸出 token × 輸出單價 + 推理模式費用 + 工具呼叫 + 失敗重試
API 的優點是沒有長時間閒置硬體，也不必維護模型載入、監控、故障轉移和驅動環境。對負載短促、需求尚未穩定或模型仍快速更換的團隊，這種退出彈性通常比名義單價更重要。
缺點也很明確：
- 受制於供應方的模型版本與服務政策。
- 敏感資料需要額外做遮罩、路由或合規評估。
- 高峰期的延遲、限流和重試成本未必可控。
- Agent 反覆呼叫工具時，token 成本會快速放大。
短期租用算力：先買驗證，不先買承諾
短期租用適合處理三種不確定性：
- 模型能否完成載入。
- 實際業務負載下能否達到吞吐和延遲目標。
- 版本、量化或框架變動後，原有配置是否仍成立。
短期租用的成本不只包含租用時數，還包括儲存、映像檔準備、資料傳輸、啟動等待、壓測期間的工程工時和失敗重跑。可是相較長期自建，它能把錯誤配置的損失限制在驗證周期內。
ProxyMac 的使用說明可作為遠端環境、連線權限和操作流程的前置參考；真正進入模型驗證前，仍應另外記錄啟動日誌、峰值記憶體和失敗原因。
長期自建：只有穩定利用率才有機會成立
長期自建總成本應寫成：
自建總成本 = 算力占用或折舊 + 儲存與傳輸 + 工程工時 + 監控與恢復 + 閒置容量 + 風險準備
「算力占用或折舊」要明確統計周期。若硬體是採購取得，應把折舊、電力、機房和維護納入；若是長租環境，則按實際占用和保留容量計算。
「工程工時」不能只計初次部署。至少要包含：
- 模型版本更新。
- 量化重新驗證。
- 驅動與框架升級。
- 監控告警。
- 故障排除。
- 回滾與資料清理。
- 服務容量重新規劃。
「閒置容量」則是最容易被漏算的項目。為了應付高峰而預留的卡，在低峰時仍然產生成本。若只有少量請求、流量集中在短時段，平均利用率會把自建方案的有效單位成本推高。
成本平衡點不是每日請求數字
兩條路線的平衡點，是在相同負載和服務目標下：
API 總成本 = 自建總成本
若以統計周期 (T) 計算，可改寫為：
API 有效請求成本 = API 總成本 ÷ 成功完成請求數
自建有效請求成本 = 自建總成本 ÷ 成功完成請求數
這裡的「成功完成請求數」不能用空跑吞吐代替。應以真實請求日誌計算，包括超時、重試、工具呼叫和被拒絕的請求。
假設兩條路線都服務相同的請求量，決策順序應是：
- 先確認完整權重與執行時容量成立。
- 再確認指定上下文和並發下不會持續 OOM。
- 再量測有效輸入與輸出 token 吞吐。
- 再加入閒置時段、保留容量和故障重跑。
- 最後才比較每個成功請求或每百萬 token 的成本。
因此，「每天調用多少次才值得自建」沒有通用答案。相同請求數，如果一組是短提示、低並發、流量穩定，另一組是長上下文 Agent、峰值集中、重試頻繁，兩者的平衡點可以完全不同。
五步完成一次可追溯的部署判斷
第一步：固定業務負載樣本
整理至少一周的請求日誌，拆出輸入 token、輸出 token、上下文長度、並發、峰值時間、錯誤和重試。不要只取平均值，平均值會掩蓋尖峰。
第二步：建立模型證據包
每個模型獨立保存：
- 官方模型卡。
- 配置檔與權重索引。
- 量化格式。
- 許可證。
- 官方部署說明。
- 推理框架版本。
- 啟動命令與完整日誌。
Kimi K3 和 DeepSeek V4 可以用同一套欄位比較，但不能把一個模型的位寬、上下文設定或平行策略直接套到另一個模型。
第三步：分離三個容量門檻
記錄「能載入」「能生成」「能承載業務」三次結果。每次都保存峰值記憶體、啟動時間、錯誤訊息和並發條件。
第四步：用有效吞吐取代空跑數字
在相同提示長度、輸出上限、併發和推理模式下，量測成功完成的 token 與請求數。不要以單一短提示的最高 token/s 當作生產依據。
第五步：套入成本公式並設定放棄線
完成成本計算後，再問三個問題：
- 如果請求量下降，配置是否仍能停止或縮減？
- 如果模型版本更新，是否能在不影響正式服務的情況下回滾？
- 如果任一節點失效，團隊是否能在目標時間內恢復？
若答案是否定，方案就不應按生產自建驗收。
可勾選的三路決策清單
- [ ] 已使用完整權重、量化元資料、工作區、KV Cache 和安全餘量估算顯存。
- [ ] 已確認模型架構、量化格式、驅動和推理框架彼此相容。
- [ ] 已分辨能載入、能生成和能承載業務三個門檻。
- [ ] 已用真實請求日誌統計輸入、輸出、並發、峰值和重試。
- [ ] 已把儲存、傳輸、監控、恢復、閒置容量和工程工時放入成本。
- [ ] 已用成功完成請求或有效 token 分攤成本，而不是空跑吞吐。
- [ ] 已完成短周期壓測，並保存啟動、容量、吞吐與故障記錄。
- [ ] 若模型權重仍在變動，已選擇可停止或可調整的驗證周期。
- [ ] 若負載長期不穩定，已停止長期自建採購討論。
- [ ] 若團隊無法承擔故障恢復，已將方案降級為測試環境，而非生產環境。
判斷結果可簡化為：
- API：容量未確認、請求量波動大，或資料控制要求尚未形成。
- 短期租用算力：模型值得驗證，但權重、框架、負載或成本變數仍不穩定。
- 長期自建：容量已驗證，利用率穩定，控制需求明確，且團隊能維護分散式推理。
FAQ：五個容易誤判的成本問題
MoE 激活參數可以用來估算顯存嗎？
不可以。激活參數只描述單次計算所使用的專家部分，不能代表完整權重是否需要駐留。估算時還要加入量化元資料、工作區、KV Cache、平行通訊緩衝和安全餘量。
每日請求量達到某個數字就應該自建嗎？
不應用單一請求數字決策。必須同時看 token 長度、並發、峰谷、延遲、重試和閒置時間。只有自建總成本在相同服務目標下低於 API，並且團隊能承擔故障恢復，才有自建理由。
自託管成本最常漏掉哪些項目？
最常漏掉的是待命容量、模型更新、量化重新驗證、監控、故障回滾、跨節點傳輸和工程師待命時間。這些支出不一定在第一次啟動時出現，卻會直接影響長期有效請求成本。
模型權重未穩定時應否直接採購硬體？
不建議。先租用可停止的環境，完成載入、並發、吞吐和故障測試。當模型檔案、量化格式或框架支援仍可能改變時，固定硬體會把驗證錯誤變成長期沉沒成本。
Kimi K3 與 DeepSeek V4 能否用同一公式？
可以共用成本公式，但每個變數必須獨立取證。官方資料顯示兩者在總參數、激活參數、量化格式和上下文設計上並不相同，因此不能用社群估算值替代模型卡或啟動紀錄。
最後的放棄線：何時不要再談自建
如果完整駐留容量或推理框架不成立，應停止硬體採購討論。這不是「再加幾張卡」就能解決的問題，因為量化格式、通訊拓撲或 runtime 支援可能才是根本限制。
如果業務流量只有短時段出現，或模型仍在快速更換，長期自建通常會把資源鎖在低利用率環境。此時 API 的彈性，或短期租用算力的可退出性，往往比名義上的單位價格更重要。
如果團隊沒有監控、回滾和故障恢復能力，也不應把一次成功啟動當成生產驗收。官方文件已展示分散式推理需要配合張量、流水線、資料或專家平行策略；模型越大，單一節點失效對服務的影響越難用人工處理。(docs.vllm.ai)
目前方案若是直接呼叫 API，真實缺點通常是資料路徑受外部服務政策影響、峰值限流難以預測，以及長鏈 Agent 的重試成本可能失控；若是自行購買硬體，則會面對前期資本鎖定、閒置容量和維護人力。對仍在驗證模型的團隊，直接自建未必比可隨時調整的遠端 Mac 算力方案更靈活。若需要臨時環境完成部署測試、連線驗證或短周期壓測，可先參考 ProxyMac 的方案與價格頁面，再按照一周真實請求日誌決定是否進入長期自建。
