SWE-2 深度解析：Cognition 的 64% 成本主張，為何碰上 27.3%？（2026）

2026 年 9 月 10 日（美國太平洋時間；UTC+8 已是 9 月 11 日），Cognition 團隊在官網發布〈Introducing SWE-2: Pushing the Pareto Frontier〉，並把 SWE-2 放進 Devin Desktop 與 CLI。最吸睛的說法是：這個以 Kimi K3 為底座後訓練的 coding model，在 Cognition 自家 FrontierCode 1.1 Main 拿到 50.0%，只差 Fable 5.1 0.9 個百分點，每題推論成本卻低 64%。

真正值得讀的，不只是又一張模型排行榜，而是 Cognition 怎麼把「解得出來」與「花多少錢」寫進同一個強化學習目標。這篇文章先忠實還原 SWE-2 的訓練方法，再核對 64%、50.0%、92.8% 與 27.3% 各自量到什麼，最後回答一個更實際的問題：它究竟把 coding agent 往前推了一步，還是只把自家 benchmark 做得更漂亮？

---

SWE-2 的核心主張：推動整條成本曲線

Cognition 表示，SWE-2 是在 Moonshot AI 的 Kimi K3 上做後訓練。這裡先拆掉一個容易誤讀的數字：Kimi K3 官方技術報告寫的是 2.8 兆總參數、每個 token 啟用 1040 億參數。2.8T 描述整個 Mixture-of-Experts 模型的容量，不代表每次推論都動用 2.8T，更不是「1T active」。截至 2026 年 9 月 12 日，Cognition 的公告、data.json 與可見官方文件未提供可供外部檢查的 SWE-2 checkpoint，因此其 Kimi K3 血統目前仍是廠商自述。

它要解的問題很產品化：coding model 可以多想幾步換取較高成功率，也可以提早收斂來省錢。只訓練一個「最高分」模型，往往無法同時照顧 medium、high、max 等不同 reasoning effort；分開跑多次 RL，又會讓訓練成本與維護複雜度一起上升。SWE-2 的目標，是讓同一個訓練過程把各個成本檔位一起往外推。

“within one point of Fable 5.1 while being 64% cheaper.”

中文：「與 Fable 5.1 相差不到一個百分點，同時便宜 64%。」

— Cognition，〈Introducing SWE-2〉

這句話的算術成立，但範圍比頭條窄得多。它比較的是 Cognition 的 FrontierCode harness 裡，SWE-2 max 的 50.00%／每題 1.1761 美元，與 Fable 5.1 medium 的 50.91%／每題 3.2845 美元；差額是 64.19%。若改拿分數更接近的 Fable 5.1 low（49.82%／2.3849 美元）相比，差額約為 50.7%。兩種算法都沒錯，但 64% 選的是 Fable 的最佳分數點，而不是最接近的分數點。

更重要的是，圖上的「成本」只指 Cognition 依公開牌價估算的單次 rollout 推論費用；它不是 Devin 訂閱價格，也沒有包含訓練 SWE-2 的算力、失敗重試、工程師驗收時間或正式環境的總持有成本。原始資料也沒有拆出輸入、輸出、cache read 與 cache write token，因此外部只能核對除法，無法完整重算每一筆美元。

一個 RL run，怎麼同時訓練多個 effort level？

“trains all reasoning-effort levels in a single run”

中文：「在一次訓練中，同時訓練所有推理強度。」

— Cognition，〈Introducing SWE-2〉

Cognition 為每個 effort level 設定一個簡單目標：R = S − λₑC。S 是任務成功與否，C 混合了美元推論成本與 rollout 時間，λₑ 則決定該檔位願意為成功多付多少成本。關鍵不是隨便挑一個懲罰係數，而是讓每個 λₑ 對準原始模型成本—成功率曲線在該位置的斜率。

直覺上，把成本罰得太重，max 模式會學成便宜版；罰得太輕，medium 又可能一路燒 token。斜率配對的用意，是保留各檔位原本的角色，同時讓它們在自己的價位上提高解題率。Cognition 也證明：若預期獎勵只能由平均成本與平均成功率決定，成本懲罰必須是線性的。這個數學結果說明了目標函數為何長這樣，但它本身不證明實際模型一定把 frontier 推了出去。

另一個改動是 length-weighted baseline。長 rollout 通常帶來較大的梯度波動，團隊就用 rollout 長度當作計算便宜的代理訊號，降低訓練不穩定。原文也明講：SWE-2 用的是 off-policy RL，所以這個 baseline 在技術上並不是最小化梯度變異的理論最優解；「更穩」仍是 Cognition 的內部 ablation 結果，而不是外部重現。

最後還有一整套容易被「新演算法」頭條遮住的系統工程：延後並批次處理 prefill、speculative decoding、在線訓練 draft model、NVFP4／FP8 kernel 與 quantization-aware training。Cognition 回報，延後並批次處理 prefill 讓每張 GPU 的 token throughput 與單請求速度提高 10%–20%，新 draft model 的 accepted sequence 變長 15%；同時，RL 環境擴到原來三倍，並用早期 checkpoint 找出 verifier 的 false positive／false negative 再反覆補洞。換句話說，Cognition 對 SWE-2 的進步歸因，不是一個公式單獨奏效，而是 reward、資料、verifier 與 serving stack 一起移動。

50.0% 是什麼分數？先看誰出題、誰監考

FrontierCode 1.1 Main 是 Cognition 自己建立的 100 題 coding benchmark，從 150 題 Extended set 排除較容易的題目後形成 Main。它不是單純看測試有沒有過，而是依 rubric 加權；碰到 blocking criterion，該題直接歸零。這種設計比只數 unit test 更接近維護者驗收，但也帶來一個無法繞過的利益與測量問題：Cognition 同時是模型開發者、benchmark 擁有者與主要評測執行者。

附錄進一步揭露，表格有公開成績就採公開值，沒有就由 Cognition 內部跑；不同模型還使用各自「主要為之開發」的 harness，例如 Anthropic 模型配 Claude Code、OpenAI 模型配 Codex、xAI 模型配 Grok Build，open-weight 模型則可能配 Devin CLI 或 mini-swe-agent。最後每個模型取所有 reasoning effort 中的最佳分數。於是 50.0% 的正確讀法是：在 Cognition 的 100 題私有任務、指定 harness、最佳 effort 與評分流程下，SWE-2 系統拿到 50.0%；不是「SWE-2 會解一半所有軟體工程」。

截至 2026 年 9 月 12 日，Cognition 的公告、data.json 與可見官方文件未提供 SWE-2 的 trial-level 分數、run ID、信賴區間、完整輸出或可供檢查的訓練 checkpoint。這不代表 50.0% 是假的；它代表讀者目前只能把它放在「廠商可追責的自家測量」，不能升級成「獨立實驗已確認」。若你剛讀過 Coding Agent 測試驗證，這正是同一個原則：寫答案與寫驗收的人若共享盲點，再漂亮的綠燈也需要另一套獨立 oracle。

92.8% 與 27.3%：不是退步 65.5 點，而是題目換了

Cognition 同一張表裡，SWE-2 在 Terminal-Bench 2.1 是 92.8%，到了 Terminal-Bench 4.0 卻只有 27.3%。兩個數字相差 65.5 個百分點，很容易被寫成「新版 benchmark 打臉」；這樣仍然太快。Terminal-Bench 主辦方的 4.0 說明明確把它定義為 breaking change：重新校準 CPU、記憶體與時間限制，修正 19 題，移除 8 題，其中包括已飽和、已有公開解答、容易觸發拒答或品質不足的任務。它要求所有模型重跑，兩版分數本來就不該當成同一條時間序列。

但這個巨大落差仍然非常有用。它告訴我們，benchmark 百分比高度依賴任務分布、資源限制、verifier、agent scaffold 與 harness。92.8% 不能被翻譯成「軟體工程能力接近滿分」，27.3% 也不能證明 SWE-2 退化。比較合理的結論是：SWE-2 在較新的、移除飽和與公開解答題目的分布上，還遠未證明接近通用解題能力。

而且截至 9 月 12 日，SWE-2 的 92.8% 與 27.3% 都尚未出現在 Terminal-Bench 主辦方帶有公開 trial 與 trace 的正式榜單；目前來源仍是 Cognition 的內部評測。相同表格裡，SWE-2 在 4.0 的 27.3% 高於 Kimi K3 的 21.5%、Grok 4.6 的 20.3%，卻低於 GPT-5.6 Sol 的 37.3%、Fable 5.1 的 55.8% 與 GPT-6 Astra 的 57.9%。這比單獨放大 92.8% 更接近完整畫面。

AlphaLab 的判讀：工程方向值得注意，通用結論還太早

判讀一：把成本放進 reward，是產品問題，不是降級問題

對 coding agent 而言，最強但每次都思考到 max 的模型不一定最好。當團隊每天需要大量執行任務時，真正需要優化的是「在可接受品質下，每個被接受的變更花多少錢與時間」。依 Cognition 所述，SWE-2 把不同 effort 的邊際成本直接放進訓練；這個問題設定比只追單一榜首更成熟。即使未來獨立重跑後分數下修，問題本身依然有價值。

判讀二：2.8T 很大，但每次只啟用 104B

若 Cognition 披露的訓練規模與流程成立，「在 2.8T 模型上做 RL」顯示它能駕馭大型 MoE 訓練與 rollout 基礎設施，是扎實的工程訊號；但不能把總參數直接當成每 token 計算量，更不能把模型尺寸當成品質證明。這和 DeepSeek V4.1 Flash 的判讀相同：總容量、啟用參數、KV cache、輸出 token 與實際價格是不同維度，混成一個「大」字就會失真。

判讀三：更快開始改檔，不等於更懂問題

Cognition 說，SWE-2 medium 在 FrontierCode 的第一次實質編輯中位數是第 18 步，SWE-1.7 是第 48 步；平均總步數也從 127 降到 53，原圖註明這是 100 題、每題每模型三次 run 的統計。少繞路當然可能省錢，但「早改」只有在最後修對、沒有引入回歸時才是效率。若 verifier 偏愛快速可測的 patch，模型也可能學會更早下注，而不是更深入理解。真正該看的不是 turn count 本身，而是被人類接受的 PR 成本、返工率與線上缺陷。

判讀四：新 benchmark 是警報器，不是定罪書

Terminal-Bench 4.0 的 27.3% 足以阻止我們把 92.8% 當成通用能力，但不足以證明 Cognition 刻意「練考古題」。新版移除了公開解答與飽和題，有助於提高區分度並降低公開解答污染；同時它也改變資源與任務，不能拿兩版直減後叫做模型退步。最公平的態度，是把 27.3% 視為下一輪要解釋、要由公開 traces 驗證的警訊。

我同意什麼，又存疑什麼？

我同意的：Cognition 描述的方法，把 coding model 的能力—成本 trade-off 從推論時的旋鈕，往訓練目標裡推進；若流程與結果可以重現，再搭配 verifier、資料與 serving 的共同優化，會是比「榜單多一分」更值得關注的工程方向。Cognition 也把線性成本懲罰、baseline 與 off-policy 限制寫得夠具體，讓外界知道該挑戰哪裡。

我存疑的：核心的 FrontierCode 50.0% 是模型製造者在自家私有 benchmark 上產生；其他比較又混用了不同 harness、最佳 effort 與公開／Cognition 內部結果，兩個 Terminal-Bench 分數也缺少主辦方正式提交與公開 trace。Cognition 已提出一套合理的 SWE-2 效率假說，卻還沒有公開足夠證據，讓外界確認這套假說能跨任務分布成立。

你該怎麼評估 SWE-2，而不是追一個排行榜

如果你正在替團隊選 coding agent，可以把 SWE-2 放進候選清單，但不要直接拿 50.0% 或 64% 當採購結論。用你自己的 repository 與驗收標準做一個小型、可重跑的 A/B：

1. 固定任務與環境：挑 15–30 個已知答案、涵蓋 bug fix、測試、重構與跨檔案修改的真實任務，所有模型使用相同起點。
2. 固定預算與停止條件：同時比較固定美元、固定時間與固定 effort；不要讓其中一個模型無限重試。
3. 把 harness 當成產品的一部分：記錄模型、agent scaffold、工具權限、prompt、commit 與執行環境，不要只寫一個模型名。
4. 量 accepted change：主要指標用人類接受且通過隱藏測試的變更成本；同步記錄返工、回歸、危險權限請求與失敗模式。
5. 至少重跑三次：報告分布與最壞案例，不只挑最佳 effort 或最佳 run。

如果你想把這套驗收再做紮實，可接著看 Uno Ψ-Spec 的 proposer／verifier 拆解：不同模型與 agent 架構雖然不同，但「誰提出、誰驗證、最後分布是否仍可信」是同一個核心問題。