2026 年 11 月 16 日,Institute of Foundation Models(IFM)的 K2 Team 在 arXiv 提交了〈K2-Horizon: A Frontier Fleet of Open Source Language Models〉。這份 K2-Horizon 論文最值得讀的,是作者回報的約 10 兆合成 Token 背後的製程,以及它如何分開處理「資料多樣性」「答案正確」與「模型真的變好」這三個問題。

這次的新事件是研究報告,不是六款模型首次上線。團隊在 較早的公開 AMA 已介紹這個模型家族。先前的 K2 Horizon 發布解讀 追的是訓練堆疊交付;本篇改看新報告交代的資料生成、受控比較與外推方法,判斷哪些能支持研究結論,哪些還需要另一場實驗。
下面先整理作者的訓練邏輯,再對照公開程式與相關研究,最後把可採用的方法和仍需驗證的推論分開。數字若出自 IFM 的實驗,均保留作者歸因;本文未重新訓練這些模型。
一、K2-Horizon 論文的研究單位:六個模型,並非六份相同實驗
報告涵蓋名為 0.9B、3.7B、7B、32B、36B-A4B、375B-A23B 的六個尺寸。前四個為 dense 模型,36B-A4B 結合 MoE 與 MoVA,旗艦則採 MoE。這些是名目型號;論文 Table 1 特別分開列總參數、排除輸入輸出矩陣的主幹參數,以及每個 Token 啟用的主幹參數。型號裡的 B,不能直接當作完整記憶體或計算帳單。
最適合拿來研究規模與稀疏差異的是其中四款:3.7B、7B、32B、36B-A4B。作者稱它們以相同的 22 兆 Token 語料與配方預訓練,但資料順序分成兩對:3.7B 與 36B 使用相同批次,7B 與 32B 使用相同批次。旗艦預訓練約 15.1 兆 Token,0.9B 約 5.03 兆,不能把 22 兆套到整個家族。
這個設計讓研究者更容易追問「換了容量或架構之後,學習過程在哪裡分岔」。但它仍不是只換一個零件的消融實驗:36B 與 32B 的層數、寬度、稀疏模組與閘門都有差異。相同語料能減少混淆,不能把所有成績差異單獨歸給 MoVA。
受控模型家族已有歷史。Pythia 原始研究 在 2023 年就以相同資料順序訓練不同尺寸,公開中間 checkpoint;LLM360 則倡議連資料、程式與中間狀態一起開放。K2-Horizon 的價值,應看它把這條路推到哪些新規模與 Agent 訓練環節,而不是給它一個缺乏比較定義的「首創」頭銜。
整個生命週期也有分工:預訓練學下一個 Token;中期訓練加入更長文件、推理與 Agent 軌跡;旗艦再把搜尋、工具使用、知識工作、科學推理與指令遵循分成五個 RL 專家訓練,合併權重後用 SFT 補缺口。RL 是依任務回饋更新模型。小模型配方另有調整,0.9B 的後訓練尤其不同,不能把旗艦流程當成六款共同的完整處方。
二、約 10 兆合成 Token:作者優先保留什麼?
Most of our synthetic data is not verified:
中文:我們大部分的合成資料並未經過驗證:
K2 Team,K2-Horizon 研究報告,第 4 節
這是原文接續解釋數學解答與程式解法時的重要起點。作者表示,數學解答未逐一對參考答案核驗,生成的程式也未逐一執行;但會排除截斷、特殊 Token 洩漏、退化重複等問題。這裡的「未驗證」指解題結果的正確性,不能誤讀成完全沒有資料處理。
作者的理由是:預訓練學的是整段文字的下一個 Token。即使最後答案錯了,中間仍可能包含有用的記號、推導與行為;若整篇刪掉,可能同時丟失多樣性。為了擴展分布,他們把數學推理改寫成教材或對話,把程式概念、真實程式片段與難度、語氣、場景等條件組合,也從檢索文件生成規劃、比較與推理文本。
這是一個值得研究的資料取捨假說,不是「錯答案有益」的普遍定理。中間步驟是否正確、錯誤會不會集中在某種題型、後訓練能否修正,都需要相應對照。要驗這個假說,應固定資料量與訓練預算,比較保留全部、只保留可驗證正解、保留經修正軌跡三組,而不是只看最終模型分數。這是本文建議的實驗設計,並非 IFM 已完成這三組比較。
原文用自製 WZIP 壓縮器評估重複程度:更重複的語料通常更容易壓縮;加入檢索與多樣性條件後,曲線更接近自然文字。這能提供文字冗餘的訊號,卻不能直接驗出事實正確、概念涵蓋或少數群體偏差。多樣性、正確性與任務效益,仍要各自拿證據。
三、小模型最好的配方,放大後仍然最好嗎?
K2-Horizon 論文第 4.9 節比較偏網頁、偏數學、偏 SFT 三種混合。SFT 是監督微調資料,通常更接近問答與指令示範。作者先在小規模訓練中量驗證 loss,再擬合規模定律,把預測的 loss 映射成 benchmark 分數。這套方法要決定的是昂貴生產訓練前,應押哪一份資料配方。
| 資料混合 | 1.5B 實測平均 | 31.2B、20T 配置預測平均 |
|---|---|---|
| 偏網頁 | 36.6 | 57.4 |
| 偏數學 | 38.8 | 56.7 |
| 偏 SFT | 40.5 | 55.1 |
最醒目的不是 57.4,而是排序反轉:小模型實跑由偏 SFT 勝出,放大配置的預測則由偏網頁勝出。作者因此採用偏網頁路線,再調整成最終生產混合。右欄是外推,不是三份 32B 配方全部訓練完成後的擂台賽。
這個區分影響你能複製什麼。可以複製的是決策程序:先做小實驗,估計規模效應,再保留預測與後續量測對帳。還不能直接移植的是「網頁一定優於高品質示範」這種口訣。資料來源、目標能力與訓練長度一變,排序就可能改變。
四、資料製程公開,最有用的是能找到哪一個失敗環節

以 Figure 20 為例,作者先搜尋、下載和篩選工作文件,再抽樣任務類型與計畫,由模型寫出工作請求,最後讓教師 Agent 在環境中產生軌跡,部分加入模擬使用者追問。這比「我們用了很多高品質資料」多交代了幾個能被檢查的決策點。
其中一個教訓很具體:第 5.5 節說明,早期程式任務的倉庫都放在同一個工作路徑,模型學得太牢,後來在其他位置也沿用這個假設。作者因此強調沙盒環境也要多樣化。這個案例支持的是「任務之外的固定背景也可能被學走」,不能推成每一種失敗都由資料路徑造成。
目前 xLLM 官方倉庫 已可見訓練入口、模型模組與資料處理說明;RL360 官方倉庫 也有後訓練程式與小規模 recipe。這是 2026 年 11 月 18 日可查到的實物,與早期發布時的進度要分開。本文沒有逐檔重建全部六模型的完整資料血緣,也不把「連結可開」等同所有實驗已獨立重現。
RL360 的示例本身就示範了正確讀法:它明寫是在 32 個程式任務上做 overfit,reward 還包含格式懲罰。因此訓練 reward 變高,不能自動改寫為未見題目的成功率提升。若要把評分端也納入檢查,可接著讀 AI Evals 的測試集與評分規則。
五、MoVA 與 Uno:架構假說、取樣保證、速度實驗分開看

報告也描述以 Grouped RMSNorm 控制正規化後的極端數值,以及讓 attention 閘門能衰減或放大訊號的 softplus。MoVA 則把稀疏專家機制放進 attention 的 value 計算。依原文,36B 版本從 64 個 value experts 選 4 個,混合後才寫入 KV cache,因此相對同形狀的標準 GQA,不會因為保留每個專家的個別輸出而放大快取。這不表示快取很小,也不代表整體注意力的長上下文成本消失。
論文 Table 1 列出 36B 的 active backbone 約 4.665B、dense 32B 約 32.213B,約差 6.9 倍。這是排除輸入與輸出矩陣的主幹口徑;完整儲存容量分別約 37.445B 與 34.779B。少啟用參數,是計算結構的訊號;服務是否更快,還要量記憶體搬運、路由、核心程式與批次。
Uno 則替基底模型附加 diffusion adapter,先平行提出一小段候選 Token,再由原本的自回歸路徑驗收。其「無損」指按設計保留基底模型的目標取樣分布,不是答案保證正確,也不是每次隨機輸出逐字相同。這個原理可對照 2023 年 speculative sampling 的原始研究;該研究已展示透過修正拒絕取樣保留目標分布的路線,並非 Uno 才首次提出這個目標。
IFM 第 9.4 節的速度比較使用單張 H200、1,024 個輸入 Token 與固定有效 8,192 個輸出 Token。作者回報 7B-Uno 在 batch 1 約為基底的 2.2 倍,在基底支援的 batch 64 為約 1.5 倍;兩種負載還採用各自最佳的取樣設定。這是指定測試的吞吐結果,不能直接變成瀏覽器裡每份工作都快 2.2 倍。官方 adapter 模型卡 可確認 adapter 與基底權重分開提供,但仍是同一團隊的產物,不構成外部效能複測。
六、論文也留下反證:過關、找錯與安全,各有自己的分母
報告延續對 reward hacking 的檢查:旗艦在 Terminal-Bench 2.1 的 712 次嘗試中,有 500 次通過;IFM 的裁判將其中 24 次標為鑽評分漏洞。把這些算失敗,通過率由約 70.2% 降到 66.9%。24/500 是通過案例中的 4.8%,不是所有嘗試的 4.8%。這是作者執行的稽核,並非本文重判這些軌跡。
新報告另提出 MathErrataBench,讓模型讀研究論文並找出問題。其主要衡量是召回已標記問題;作者明說 gold set 並不完整,額外回報不受懲罰。因此召回高,仍不能單獨證明誤報少、能取代審稿人。這一點與合成資料的取捨相呼應:產生大量候選與確認每個候選,是兩份工作。
安全章節也把聊天拒答與 Agent 行動拆開。作者對工具環境的結論較保守,要求限制檔案與程式執行權限、對重要行動保留人工介入,並指出其評測沒有讓攻擊者適應模型防禦。這是報告自己列出的測量界線;不能用聊天端的安全數字替廣泛自主工具權限背書。
七、AlphaLab 的判讀:最有價值的公開,是能分辨哪個解釋錯了
我同意:資料製程與中間狀態,能讓研究問題更精確
只有最終分數,研究者容易把改善歸給最醒目的新模組。把資料生成條件、混合預測、訓練紀錄與中間模型放到一起,才有機會發現進步其實來自資料分布,或退步是環境格式造成。這份 K2-Horizon 論文提供的研究價值,是把這些替代解釋變成可追查對象。
我存疑:共同資料與漂亮曲線,距離單因果結論仍有一段
四模型的正規化 loss 曲線接近,支持配方與規模之間存在可研究的規律;但終點原本就經過對齊,曲線相近也不等於所有任務品質相同。MoVA 與 dense 的比較,應再補只改模組的消融;合成資料應補正確性與多樣性的對照;配方外推則要用未參與擬合的生產結果檢查。三個問題,各需要一把不同的尺。
下一個值得對帳的承諾:別只增加可下載檔案,也要縮短重建路徑
作者希望完整開發歷史能讓外部研究更容易。最有說服力的下一步,是讓一個明確結論能從報告表格追到設定、資料版本、checkpoint、原始量測與重跑方式,再由其他團隊取得相近結果。這是一個可驗的承諾:對版號後,結論能否重建?若不能,卡在資料、程式、算力還是測量定義?
八、現在值得做的三件事
讀研究的人:先挑 Table 17 一列,註記哪些是量測、哪些是預測、分母和預算是否相同。這比先記住 10 兆或 2.2 倍,更能避免把設計假說當成已完成的證明。
做資料的人:先拿一小批有權使用的材料,分開記錄來源、生成條件、格式檢查、答案核驗與下游表現;保留被刪除的原因。從文件工作流得到的教訓,是連路徑與工具回應這些背景也應納入變因,而不是只替提示詞換幾種語氣。
選模型的人:沿用 K2 Horizon 外部評測判讀 的原則,分清作者成績與獨立量測;再把 本機選型文章 當成早期版本案例,重新核對今天的檔案、runtime 與記憶體,不照抄舊數字。要比較服務效率,請固定自己的題目與輸出要求,同時記成功率、等待、峰值記憶體和總投入。
接著閱讀
左右滑動查看更多推薦
先選一個你最想相信的結論,沿著資料、設定與量測追一次。能被別人拆開檢查、發現錯誤並修正的配方,才會把一次模型發布,變成能累積的研究。






