MAI-Base-2 解析：微軟稱預訓練效率提升 4–12 倍，算力省到哪裡？（2026）

2026 年 10 月 15 日，Microsoft AI 在官方網站發布了〈Frontier Pre-training at Microsoft AI〉，宣布完成 MAI-Base-2 預訓練。這篇 MAI-Base-2 解析要追問的是：當一間實驗室說訓練效率提升了 4–12 倍，省下來的算力，最後變成更低的帳單，還是更大的模型？

先讀原文如何解釋訓練突破，再把倍率放回它的比較方法，最後判斷什麼後續證據值得改變你的選擇。這份報告最有分量的，是把資料、模型與基礎設施一起調整；最需要保留條件的，是將內部預訓練評估升格為產品能力或成本優勢。

MAI-Base-2 解析：完成的是底座訓練，產品能力仍要另外驗

MAI-Base-2 is currently undergoing post-training

中文：MAI-Base-2 目前正在進行後訓練。

Microsoft AI，原文模型狀態說明

預訓練讓模型從大量資料學到預測與表示能力；後訓練再把底座調整成更適合遵循指令、推理或完成工作的形式。把前者的進度直接當成聊天產品已可替換，會跳過中間這段工程。大型語言模型運作原理可以補上這兩個階段的背景。

Microsoft 披露，MAI-Base-2 是混合專家模型（MoE），總參數 2.8 兆、每個 token 的活躍參數約 800 億。可把它想成一個大型專家庫，每次處理資料只動用部分計算路徑；總容量與一次計算量因此是兩個不同的數字。

這也解釋了為什麼「只有 800 億活躍」不能直接拿來推算整套部署所需記憶體。Hugging Face 的 MoE 技術說明指出，稀疏運算仍伴隨完整專家權重與路由、通訊的負擔。實際配置還涉及分散放置、量化與卸載策略。

以下數字均為 Microsoft 在這次報告披露的訓練口徑，並非 AlphaLab 重現的量測：

觀察項目	原文披露	判讀邊界
模型容量	2.8T 總參數；80B 活躍參數	容量與單步計算量分開看
訓練規模	16k 顆 GB200；38 天	報告指向 2026 年 8–9 月的訓練
資料混合	50T tokens	包含重複取樣，不能當成全是獨特資料
全程平均 MFU	21%	以每顆 GB200 的 BF16 2.5 PFLOPS 為正規化基準；不計活化重算與最佳化器 FLOPs
Goodput	89%	指訓練有向前推進的時間占比

4–12 倍從哪裡來？是對齊 BPB 後的算力估算

原文以 bits-per-byte（BPB，每個位元組所需的預測資訊量）比較保留文本，越低代表模型對那批資料的預測越好。用 byte 作分母，是為了降低不同 tokenizer 切字方式對數字的影響；它衡量的仍是指定資料上的預測損失。

Microsoft 使用自家程式碼，以及委外取得的問答、數學、STEM 資料，並表示已與自家訓練資料去污染。委外出題與去污染是控制措施；選哪些資料、如何加權，仍會影響誰在這張考卷上佔優勢。

倍率的算法分成三步：先訓練不同尺寸的 MAI 模型，得到「用了多少 FLOPs，BPB 降到哪裡」的曲線；再找出這條曲線上，達到 DeepSeek-V4-Pro-Base 同等 BPB 所需的估計算力；最後拿這個估值與 DeepSeek 的訓練算力相比。

在這四組評估下，Microsoft 得到較精確的範圍 4.2–12.3 倍 FLOPs 效率。每一組資料各自擬合，所以它不是單一普遍常數，也不是四個結果的平均。原文也說，已完成的大模型結果被納入擬合，對齊點落在這組模型的擬合範圍內。

這種比較比只拿最終分數相減更有意義：它試圖拆開訓練配方與算力規模。但它仍是依據 Microsoft 的模型階梯與評估集得出的估算，本文將這組倍率保留為廠商報告的結果，不當作獨立驗證的跨實驗室效率定律。

另一個容易漏讀的細節是：原文明確指出，DeepSeek-V4-Pro-Base 的訓練 FLOPs 顯著少於 MAI-Base-2。也就是說，配方在同等目標下更有效率，與這次實際訓練花了更少總算力，是兩個命題。

外部資料能確認什麼？比較對象存在，倍率仍屬 Microsoft 的考卷

DeepSeek 的官方 Base 權重頁可以確認該底座 checkpoint 的存在；其官方 V4 模型說明披露 Pro 為 1.6T 總參數、49B 活躍參數，預訓練超過 32T tokens。這些資料支援比較對象的身分與規模，不能替 Microsoft 的 4.2–12.3 倍結果背書。

Microsoft 另將 Kimi K3、Qwen3.8-2.4T-A95B 與 MiMo-V2.6-Pro-RL 放進保留資料評估，並提醒這些對照採用後訓練 checkpoint，後訓練可能影響評估。這個提醒應跟著比較一起讀：底座與後訓練版本，並非只差品牌名稱。

因此，「在 Microsoft 所測的保留資料上 BPB 較低」是有清楚範圍的廠商陳述；擴寫成「全面打敗所有開放模型」，就把資料範圍、checkpoint 差異與評分方式一起抹掉了。要決定實際工作交給誰，仍需另一張能驗收交付的考卷。

真正的技術主線：讓小實驗預測大訓練，再把機器餵飽

一、Source scaling：小模型也要遇到相似的重複資料

研究者常先訓練小模型挑配方，再放大。但如果大訓練會反覆看同一批資料，小實驗卻只看新資料，選出的配方可能在放大後過度擬合。Microsoft 的做法是：縮小實驗時，同時縮小獨特樣本池，保留近似的重複次數。

原文例子是，完整 50T-token 訓練若對某資料集重複 8 次，5T-token 小實驗就使用該資料集十分之一的樣本，同樣重複 8 次。它要保住的不是樣本絕對數量，而是實驗遇到的資料重複情境。

這個問題有外部研究背景。《Scaling Data-Constrained Language Models》以原始實驗研究重複資料的報酬遞減；Chinchilla 研究則把模型大小、資料量與固定算力預算一起考慮。它們支援「不能只放大參數」的研究方向，並不驗證 MAI 的具體倍率。

二、MoE 與 Muon：少算一些，還要讓實際執行跟得上

MoE 把工作送往不同專家，路由不均時，有些專家塞滿、有些閒置。Microsoft 描述的 multi-round dropless MoE，替每組專家安排固定容量；超出的 tokens 分到後續回合處理，同組還能利用剩餘容量。這是在記憶體、通訊與額外回合之間找平衡。

報告稱，改善這些執行問題後，MoE 層的 MFU 從 24% 升到 35%，讓團隊能在每層採用 MoE。這是特定 MoE 層的指標，不能與整次訓練平均 21% 混成同一個數。

Muon 是更新模型權重的最佳化方法。Microsoft 除了選用它，也重排跨 GPU 的動量資料、批次交換與計算重疊，將其平均步驟開銷報告為 165 毫秒、占訓練迭代時間 2.1%。這段故事的重點，是數學上好的更新方式，還需要通訊與核心實作配合。

三、穩定訓練與擴充資料：先減少壞更新，再提高資料價值

團隊聯合搜尋學習率與權重衰減，先從小實驗估計縮放關係，再於中等規模驗證；同時在網路選定位置裁剪活化梯度，降低異常梯度對整批更新的干擾。報告還用一段遭截斷的授權標頭當案例，說明這項診斷如何協助找到前處理錯誤。

資料端，Microsoft 表示獨特訓練 tokens 比前代增加約 36%，知識截止為 2026 年 3 月；原生加入視覺，採不設獨立視覺編碼器的 VLM 架構。其視覺語言語料含 4.5T 獨特 tokens，經重複取樣後占 50T 訓練混合的 18%。獨特資料量與混合占比採不同分母，不宜直接相除判斷資料是否對得上。

圖表理解、視覺定位、電腦操作等，是原文列出的資料任務類型。把某類任務放進訓練語料，與已在該任務達到可交付品質，仍需分開判斷。

原文的訴求：效率拿去放大模型，權重授權留給合作夥伴

we have put that saving into training a larger model.

中文：我們把省下的算力投入訓練更大的模型。

Microsoft AI，原文開場

這句話說明了整份報告的方向。Microsoft 要展示的，是自有資料管線、訓練配方與基礎設施能共同推進模型規模；公司同時表示，正準備 MAI-Base-3，並計畫透過 Foundry 將權重授權給可信任合作夥伴。這是後續安排的描述，不能直接等同於向所有人開放下載。

原文也強調有機資料與不依賴其他模型蒸餾的預訓練路線。這是 Microsoft 對資料來源與方法的陳述；它與訓練資料的完整權利證明、未來授權條件，是需要分別核對的事項。

AlphaLab 的判讀：值得關注的四個差別

一、效率提高，可能先換來更高的能力目標

如果同等品質需要的計算下降，實驗室可以降低投入，也可以維持甚至提高投入、追求更高品質。Microsoft 說自己選擇把節省投入更大模型。因此，這份報告更像一張重新安排算力的成績單；要推論企業帳單下降，還得接上實際服務價格與交付品質。

二、FLOPs、時間與金額，要各有一條證據鏈

FLOPs 計算數學運算量，訓練時間還受通訊、記憶體與排程影響，金額再受到設備、能源、人力與實驗次數影響。原文本身也區分 FLOPs 效率與實際耗時效率。把一條曲線上的倍率直接換成電費或美元節省，會漏掉這些中間條件。

三、BPB 有價值，產品驗收也有自己的工作

較低預測損失能幫研究者判斷底座學到多少，但使用者需要的是回答正確、指令符合、工具執行與停止條件。DeepSeek Flash-1017 的任務成本分析處理的是後者：一件合格工作到底花多少。它與這裡的預訓練配方效率，正好位於不同層次。

同樣地，OpenGCUA 的操作步數案例提醒我們，模型與執行方式會一起改變結果。MAI-Base-2 的後續產品若出現，應把模型版本、執行層與任務集一起留下，才能知道改善來自哪裡。

四、資料掌控與可取得性，不能只看參數規模

自建資料管線讓團隊更有能力追蹤與修正問題，卻仍需用具體披露支持資料與權利主張。對準備導入的企業，合約能授權什麼、權重在哪裡執行、誰負責維護，會與模型分數同樣重要。Muse Spark Open 的權重與自架取捨可以作為另一種取得方式的對照。

我同意報告把縮放實驗、資料重複與硬體實作放在同一條工程鏈上，這比只展示巨型參數更值得研究。我存疑的是用這份內部 BPB 比較，提前宣告成品全面領先，或把 4–12 倍當成總訓練成本的折扣。後兩者需要另外的證據。

MAI-Base-2 解析之後，接下來看哪三件事？

• 看模型狀態：後訓練完成後，用同一組真實工作核對正確率、耗時與失敗；不要因底座公告就改掉已驗收的流程。
• 看比較能否重查：研究者可先逐項核對評估資料、checkpoint、FLOPs 口徑、曲線擬合與消融條件；條件越清楚，倍率越容易被檢驗。
• 看交付條件：企業在評估權重授權時，同時列出執行環境、資料使用、服務成本與責任分工；未來計畫與可簽約交付各列一欄。

如果你只是想挑好用的 AI，今天最有用的準備，是寫下三個工作題目與合格標準；等到相應產品與使用條件明確，再做同題對照。底座訓練是供給能力的進展，你的工作是否因此完成得更好，要由交付結果回答。