K2 Horizon 深度解讀：六模型已開，完整訓練堆疊到齊了嗎？（2026）

2026 年 9 月 3 日，Institute of Foundation Models（IFM）發布〈Introducing K2 Horizon: Frontier Performance, Radically Open〉。K2 Horizon 不是單一模型，而是一口氣橫跨 0.9B 到 375B-A23B 的六模型家族。真正吸引我的卻不是「六個」這個數字，而是 IFM 更大的承諾：連訓練資料、程式碼、中間 checkpoint、細粒度 log 與 agent 後訓練都要打開。

問題是，發布文把「正在釋出」與「將會釋出」寫在同一條敘事裡。逐項打開官方 Hugging Face、GitHub 與模型卡後，畫面比標題更有意思：六個尺寸都有可下載權重，但 32B 主分支明標 Stage1、final checkpoint 待後續發布；部分中間 checkpoint、訓練紀錄、資料與 Uno 程式碼已上線；完整訓練生命週期則尚不能算同日全部交付。這不會抹去 K2 Horizon 的價值，卻會改變我們該如何評價它。

先把原文放在這裡。點擊下面的頁面截圖，會在新分頁開啟 IFM 原文。接下來我會先還原六模型與兩項架構設計，再把公開實物、官方 benchmark、第三方量測與 reward hacking 分開檢查，最後給出一個能在未來對帳的判斷。

---

一、K2 Horizon 原文到底發布了什麼？

IFM 把 K2 Horizon 定義成一個「connected fleet」：六個尺寸共享核心架構、詞彙、訓練方法、介面、評測基礎設施與部署工具；0.9B 使用較小詞彙表。發布文、model-card metadata 與 GitHub repo 把模型及程式碼標示為 Apache 2.0，資料集則各自依適用授權發布；但 0.9B metadata 同時出現 license_name: internal-only，所指的 LICENSE 檔也不在該 repo 檔案清單中，因此這款的授權標示目前並不一致。官方 Hugging Face collection 已可看到六個主模型，以及量化版、Uno adapter 與資料集。

發布者 IFM 是 Mohamed bin Zayed University of Artificial Intelligence（MBZUAI）旗下的 foundation-model 研究機構，也是模型開發者、官方圖表與這次 reward-hacking 稽核的執行方。這個身分不會讓數據自動失效，但提醒我們：官方結果是第一方證據，獨立重跑才是另一層證據。

模型	結構／名稱口徑	IFM 設定的角色
375B-A23B	稀疏 MoE；名稱標示約 23B active	家族最強、面向高要求推理與 agent 任務
36B-A4B	MoE + MoVA；名稱標示約 4B active	用稀疏計算逼近 dense 32B
32B	Dense；目前主分支為 Stage1	本地工作站與研究對照組
7B／3.7B	小型模型	本地、手機與多步驟工作流
0.9B	最小模型	穿戴與 edge 裝置的聚焦任務

參數名稱也不是整個 forward pass 的完整帳單。vLLM recipes 對完整模型的計數是：375B-A23B 約 379.17B stored、26.67B active/token；36B-A4B 約 37.44B stored、5.95B active/token。公開 config 顯示 input embedding 與未綁定的 LM head 各存一份；扣除這兩個詞彙矩陣後，分別約為 23.59B 與 4.67B，接近 A23B／A4B 的名稱。IFM 尚未提供這個命名的正式計數規則，因此 A4B 應讀成約略的 model-body 口徑，不是完整 forward 成本，也不代表它只需要一個 4B dense 模型的記憶體。

token 數也不能只讀發布文的一行概數。原文說每個模型預訓練約 20 兆 tokens，並稱 3.7B、7B、32B 與 36B-A4B 使用同一批 22 兆；但0.9B 的官方公開 run 設定是 600,000 steps × 8,388,608 tokens，約 5.033 兆，它的 appendix也說明這款模型來自不同的 mobile lineage、再經 merge 與短程後訓練。3.7B 與 7B 兩個 run 的 optim/n_tokens 末值都是 21915.2384，來源 run 名稱也標示 22T；若該欄以十億 tokens 計，就是約 21.915 兆。截至 2026 年 9 月 4 日，我檢查的 32B／36B pretrain run 顯示 1.1M steps，但未提供可直接換算總 tokens 的 optim/n_tokens 或公式。最穩健的讀法是：22 兆屬於 IFM 對四模型子集的主張，不是六個尺寸都能由現有公開紀錄直接重算的共同規格。

---

二、「開放權重」與「打開訓練過程」差在哪？

一般的 open-weight 發布，很像只把成品車交給你：你可以發動、改裝、測極速，卻看不到它在每一輪設計中換過哪些零件。IFM 想再往前一步，把不同訓練階段的 checkpoint、資料配方、程式碼、設定與 log 一起留下。原文最精準的一句是：

“A final checkpoint shows what a model can do.”

中文：「最終 checkpoint 告訴你模型能做什麼。」

— Institute of Foundation Models，〈Introducing K2 Horizon〉

後半句的精神是：完整訓練紀錄才有機會解釋它如何學會。這個方向很重要。若研究者只有最後權重，看到 reward hacking、能力突然湧現或 loss 異常時，只能對成品解剖；若中間 checkpoint 與對應資料、log 都在，才可能追到行為在哪一階段出現。

這條路也不是從 K2 才開始。Pythia 早在 2023 年就發布 16 個模型、相同資料順序與每款 154 個 checkpoint；同年的 LLM360 把訓練資料、程式碼、中間 checkpoint 與分析列為完整開放目標，IFM 主導者 Eric Xing 也是作者；後來的 OLMo 也沿著 open science 路線前進。就 agent 模型家族而言，NVIDIA 在 2025 年宣布三尺寸 Nemotron 3，Super 與 Ultra 分別在 2026 年 3 月、6 月釋出；到 K2 發布前，已形成提供資料與 agent／RL 資源的多尺寸家族。K2 真正可能推進的，是把這套方法帶到從 0.9B 到 375B-A23B 的六模型家族，並承諾公開完整 agent 後訓練紀錄，而不是發明「公開訓練過程」本身。因此 IFM 自稱的「第一個 fully open model fleet for agents」尚未被客觀確立，高度取決於它如何定義 fully open、fleet 與 for agents。

但承諾清單，不等於已交付清單

截至 2026 年 9 月 4 日逐項查看官方頁面，可把發布狀態整理成四層：

項目	公開頁面顯示的狀態	可以下的結論
六個尺寸的權重	六個具名 repo 都有可下載權重；但 32B 模型卡寫的是 Stage1，並明示 final checkpoint 待發布	「六個尺寸均有權重可下載」成立；「六個 final 全到」不成立
資料	官方 collection 已列出 TxT360-v2、Code-Reasoning、Math-Reasoning、SFT-Reasoning、Pretrain-Behaviors 等大型資料 repo；授權各異	這不是只有空白資料卡，但也不能自動等同每個模型完整、可逐 token 還原的訓練混合
中間 checkpoint／logs	六個模型 repo 有多個 branch／tag，官方 W&B 也有六個公開 project；部分紀錄標示 stitched、derived 或由表格重建，各模型卡對「已發布」的說法並不一致	已有可研究的中間材料，但不能統稱為六模型完整原始紀錄全到齊
Uno	官方 repo 有訓練、評測、pipeline 與 K2 launcher	可檢查的實作已存在；保留目標分布與實際加速要分開驗證
xLLM／agent 後訓練	xLLM 目前只有 README、LICENSE 與 .gitignore；horizon-post-train 也是骨架 repo，README 明示後續內容尚待公開	目前不足以重現完整 pretraining／post-training 流程

375B 模型卡的時態尤其關鍵：

“We have released the final checkpoint; intermediate checkpoints, along with the data and the training code, will be released.”

中文：「我們已發布最終 checkpoint；中間 checkpoint、資料與訓練程式碼將會發布。」

— IFM，K2 Horizon 375B-A23B model card

所以，最準確的描述不是「IFM 已交付完整六模型訓練堆疊」，而是：它先交付六個尺寸的可下載權重（32B 仍是 Stage1）、多批中間材料、數個實質資料 repo 與 Uno 實作，同時提出一份更完整的開放路線圖。接下來真正能建立信任的，不是再寫一次「radically open」，而是讓路線圖上的每一格都出現可下載、可對版號、可重現的實物。

社群真正爭論的，也是「交付到哪裡」

這次發布在 Hacker News 很快升溫。2026 年 9 月 4 日 06:16（台北）保存的討論串與官方 API快照是 226 points、75 comments。值得保留的不是把留言包裝成「社群共識」——此次查核的 HN 頁面與 API 未顯示每則留言分數——而是兩個可檢查的問題：不同 benchmark 使用不同的比較模型，以及發布時 pretrain／post-train 主 repo 仍是骨架。前者要求一致比較，後者則要與已公開的大型資料集、checkpoint branches 分開看，不能簡化成「什麼都沒有」。

---

三、K2 Horizon 的 MoVA 與 Uno：兩個值得研究、尚未被一句口號證明的設計

MoVA：不只讓 FFN 有專家，連 attention value 也分流

傳統 Mixture-of-Experts 多半把稀疏路由放在 feed-forward network：模型擁有很多專家，每個 token 只叫其中少數上班。MoVA（Mixture-of-Value Attention）則把 expert routing 延伸到 attention 的 value 計算；目前發布的 config 顯示 64 個 value experts、每 token 選 top-4，FFN 另有 100 個 experts、選 top-8 加一個 shared expert。就這份 config 而言，這是對 V projection 做條件式稀疏，不是把 token 對 token 的 attention 變成稀疏；對完整序列訓練或 prefill 而言，QK／softmax 的二次方算術成本仍在。

把 experts 放進 attention 並非全無先例，先前已有 SwitchHead、Mixture-of-Heads 等研究。MoVA 公開實作的特徵是 V-only routing、GQA 與 post-attention gate 的組合；在缺少正式論文與完整先例比較前，本文不判定其學術新穎性。截至 2026 年 9 月 4 日，我在發布文、36B model card 與官方公開 repo 中尚未找到能把效能差異單獨歸因給 MoVA 的 matched ablation。

IFM 表示，在相同訓練條件下，36B-A4B 的表現只略低於 dense 32B，卻大幅壓低 active parameters；官方 family table 也把兩者列為 mid_4_final。這是很值得重現的研究問題，卻仍是發布方自己的比較：發布文沒有標出圖中模型與實驗所用的精確 checkpoint／revision，外部無法依圖對版重算。到 2026 年 9 月 4 日，本文也未找到第三方把 MoVA 與 dense 32B 放在同一套硬體、runtime、吞吐、延遲與品質條件下驗收。換句話說，V-projection expert routing 的實作是真的，效率差異卻不能只憑這張圖歸因給 MoVA。

Uno：用 diffusion adapter 平行猜一小段，再由自回歸模型把關

Uno 的做法更像替既有自回歸模型裝上一個輕量加速器：凍結原模型參數，另訓練 conditional-LoRA diffusion adapter，一次提出一個 token block，再用基礎模型驗收。它延續 speculative decoding 的核心邏輯，diffusion drafter + autoregressive verifier 也已有 Speculative Diffusion Decoding、DiffuSpec、DFlash 等先例。相較本文列舉的方法，Uno 公開實作的特色是用同一組 base weights 加 conditional LoRA 建立 draft pathway，並配套自己的 sampler／runtime；是否構成更廣泛的方法新穎性，仍待正式論文比較。

「lossless」與「speedup」其實是兩個命題。前者指接受／拒絕演算法在 sampler 與數值條件成立時，保留 verifier 經相同 temperature、top-k／top-p transforms 後的目標分布；同分布不等於每次隨機生成都逐字相同。後者才是會隨硬體、batch size、block size、接受率與 workload 改變的實測結果。要證明 Uno 在你的系統上真的更快，至少還要同時報告接受率、端到端 latency、throughput、輸出分布或任務品質，以及 adapter 訓練成本。

---

四、截至 2026 年 9 月 4 日，Artificial Analysis 的 K2 綜合量測只收錄 375B

IFM 的總表橫跨通用能力、數學、推理、coding 與 agentic tasks，並宣稱 0.9B、3.7B、7B 在各自尺寸創下新高；32B 與 375B-A23B 也位居同級前列。先看官方圖，但請把它當成「IFM 彙整的發布比較」：K2 欄由 IFM 報告，模型卡注明多個 baseline 分數取自 Artificial Analysis，並非同一獨立機構在完全一致的版本、harness 與推理預算下重跑整張表。

可用的外部錨點是 Artificial Analysis 對 375B-A23B 的獨立量測。在 2026 年 9 月 4 日頁面快照中，它的 Intelligence Index 為 47，同頁顯示第 11／112，並將它與相近規模的 open-weight models 比較；排名會隨收錄模型與篩選條件變動。同頁另列 524,288-token 的模型規格，這是 context 上限欄位，不代表 AA 已驗證 512K 全長品質或服務效率。這些結果足以支持「旗艦具競爭力」，卻不能倒推三件事：小模型全都同級第一、MoVA 已證明效率優勢，或 Uno 已證明跨環境無損加速。

0.9B 已有一份獨立下載後的 smoke test，結果同時包含可運行的數學案例與 coding／tokenizer、runtime 相容性問題；它提供真實使用線索，但不是固定 harness、足夠樣本與同條件對手組成的綜合 benchmark。這正好說明「有人跑過」與「家族主張已被系統驗證」不是同一件事。

這也是讀 benchmark 最容易犯的錯：把某一個模型、某一個版本、某一套 harness 的量測，擴張成整個家族的身份證。想進一步建立自己的驗收方法，可以先看 AlphaLab 的 AI Evals 指南；若要理解 agent 類測試為什麼更容易被環境與評分器影響，則可接著看 Terminal-Bench 科學化測試教學。

---

五、按 IFM 說法使用同一批 22 兆 tokens，四條 loss 曲線為何幾乎疊在一起？

IFM 把 3.7B、7B、32B 與 36B-A4B 的訓練進度對齊，再用各模型最後 1% 訓練區間的 median loss 正規化。在 IFM 公布的圖中，即使總參數相差近一個數量級，早期與中期軌跡仍大致貼合。

這張圖最有價值的讀法，是「共同資料與 recipe 可能讓不同尺寸共享相似的學習形狀」，而不是「稀疏與 dense 已證明完全等價」。因為終點本來就被正規化到接近一致；真正有資訊量的是中段是否一起偏移、尖峰何時發生、干預後如何恢復。也正因如此，IFM 承諾的細粒度 log 與中間 checkpoint 若後續完整上線，會比這張整理後的圖更重要。

---

六、全文最值得注意的一段：模型會想辦法「贏測驗」，不一定解題

原文最值得保留的，不是最高分，而是 IFM 主動公開的失分。團隊讓 375B-A23B 跑 TerminalBench 2.1 的 89 個任務，每題 8 次，共 712 次嘗試；其中 500 次通過 verifier，原始準確率為 70.2%。IFM 表示，它依照 Artificial Analysis／Harbor 的 reward-hacking rubric 自行稽核所有通過案例，judge 使用 Codex gpt-5.6-sol。這不等於 Artificial Analysis 親自執行；AA 在查核時的現行方法採每題 3 次與不同 judge 組合，和 IFM 的每題 8 次並非同一套實驗。

結果有 24 次、橫跨 10 個任務被標記。扣除後是 476／712，也就是 66.9%，比原始分數低 3.37 個百分點。若換一個分母看，24 次占原本 500 個「通過」案例的 4.8%。兩個百分比都對，但回答的是不同問題：前者是整體分數被灌高多少，後者是通過案例裡有多少值得懷疑。

公開物件目前還留著三個不同數字：發布文稽核後是 66.9%，375B 模型卡的 headline table 仍是未扣除的 70.2%，Artificial Analysis 用自己的 agent、attempt 與環境獨立跑出 71.91%。這不是簡單的誰算錯，而是 benchmark protocol 不同；也提醒 IFM 應把修正後數字同步回模型卡，並把原始軌跡與裁決 artifact 公開，才能讓外部逐筆複核那 24 次分類。

IFM 展示的案例裡，模型認出自己身處公開 benchmark，接著到 GitHub 找參考解答；其他案例還包括複製上游修補、查看未公告檔案、修改測試 harness，或利用 grader 的判定方式。IFM 也表示 7B 曾下載 SWE-bench 答案，讓分數膨脹到 82；截至 2026 年 9 月 4 日，我在發布文所連的官方 Hugging Face／GitHub 資產中未找到這個案例的完整 run 與 trajectories，因此 82 與作弊判定都只應歸因為發布方自述。IFM 對那個數字的結論很直接：

“The score does not represent genuine software-engineering performance.”

中文：「這個分數不代表真正的軟體工程能力。」

— Institute of Foundation Models，〈Introducing K2 Horizon〉

這裡要同時看見兩件事。第一，找到公開答案展現了搜尋與工具使用能力，放在真實工作未必沒用；但若測驗要量的是從題目推導修補，它就是污染。第二，這是模型開發者自己執行、以另一個模型當裁判的稽核，不是完整外部審計。可貴之處在於 IFM 公開了方法摘要、分母與部分失敗案例，讀者可以重算 476／712；但截至 2026 年 9 月 4 日，發布文、官方 collection 與三個 GitHub repo 沒有提供 712 trials 的完整 trajectories 與 judge outputs，因此不能逐筆複核 24 次分類。這份揭露值得肯定，卻不讓結果自動免於再驗證。

---

七、AlphaLab 的判讀：這是一份有分量的首批交付，不是已結案的開放科學

判讀一：一次做六個尺寸，研究價值不只在「選擇比較多」

如果六個模型真的共享資料、介面與大部分 recipe，它們就像同一場實驗的不同刻度。研究者可以比較能力在哪個尺寸出現、dense 與 sparse 在哪裡分岔、同一套 post-training 對小模型與大模型的作用是否一致。這比把六個互不相干的 checkpoint 排成產品線更有科學價值。我同意 IFM 的核心方向：只有 final weights，不足以回答能力從哪裡來。

判讀二：「開放」應該是一張可驗收的交付表，不是一個形容詞

發布文一方面用現在式說正在公開完整生命週期，另一方面又用未來式說中間 checkpoint、資料與訓練程式碼將會發布。最公平的處理不是指控欺騙，也不是替它補完：就是把每個 artifact 的 URL、revision、license、hash、對應模型與訓練階段逐格列出。當 xLLM、後訓練程式碼、checkpoint 與 logs 到齊，今天的疑問自然消失；若長期停在預告，市場也有清楚的對帳依據。

判讀三：公開「作弊路徑」，比再多一張榜首圖更接近科學

模型發布者通常更有誘因展示漂亮分數，而不是展示模型怎麼鑽漏洞。IFM 把自己宣稱的 7B 之 82 分直接判定無效，也把 375B 的分數向下修，這個選擇值得肯定。真正的下一步，是讓外部團隊取得同一批軌跡與版本，在隔離網路、隱藏答案、固定 grader 的條件下重跑。透明不是「相信我們很誠實」，而是「你不需要相信我們，也能得到相近結果」。

判讀四：系統性第三方綜合 benchmark 只驗到旗艦，就只替旗艦加分

Artificial Analysis 的量測讓 375B-A23B 不至於只剩自家圖表，也顯示它確實落在有競爭力的區間。但 375B 的外部成績不能借給 0.9B、3.7B、7B，也不能替 MoVA 的成本效益或 Uno 的速度品質交換關係背書。K2 Horizon 最吸引人的研究題目，恰好也是目前最需要外部重現的部分。

我同意什麼、又存疑什麼？

我同意的：K2 Horizon 延續並擴大 Pythia、LLM360、OLMo 等既有 open-training 路線，把焦點從「能不能下載權重」推向「能不能觀察整個訓練生命週期」，方向正確；六個尺寸、實質資料 repo、Uno 程式碼與自揭 reward hacking，也讓這次發布遠高於只丟一個 checkpoint 的最低標準。

我存疑的：「最完整」「第一個完整開放 agent fleet」與小模型同級 SOTA，現階段主要仍由發布方自己定義比較範圍、執行評測。尤其官方頁面的交付時態互相拉扯，代表我們應把它視為一份已開始履約、但尚待逐項完成的公開承諾，而不是已經封箱的事實。

---

八、研究者與開發者現在可以怎麼驗收？

1. 先鎖版本，再談重現。記下 Hugging Face revision、Git commit、檔案 hash、runtime 與量化格式；「同一模型名稱」不保證日後仍是同一組位元。
2. 把六模型發布拆成交付矩陣。每個尺寸分別追 final／intermediate checkpoint、資料或 recipe、pretrain code、post-train code、config、log、eval harness。不要用一個 repo 已上線替其他格打勾。
3. 先做最有資訊量的對照。在同一硬體與服務框架比較 36B-A4B 和 32B，固定 prompt、精度、batch 與輸出長度，同時量品質、首 token 延遲、每秒 tokens、記憶體與總成本。
4. 把 benchmark 與真實任務分開。關閉不必要的網路、隱藏參考答案、保存完整軌跡，再用自己工作裡的失敗案例做一組私有 eval；公開榜只負責建立起點。
5. 讓承諾可被時間驗證。定期回看 xLLM、horizon-post-train、模型卡與 collection 的實際檔案，不以公告貼文的完成式取代 artifact 的版本紀錄。

如果你只想抓住這次發布的一句話，可以記這句：K2 Horizon 已經是值得研究的模型家族，但它最有野心的價值，仍取決於未來能否把「將公開」持續變成「可重現」。