跳到主要內容

METR AI 研發加速評估:Anthropic 進步近兩倍,證據能信多少?(2026)

最後更新: ·
METR AI 研發加速:上升路徑與刪節證據的 AlphaLab 原創編輯示意

2026 年 11 月 5 日,METR 在官網發布了 〈Independent Assessment of AI R&D Acceleration at Anthropic in October 2026〉。這份 METR AI 研發加速評估提出一個值得認真追問的訊號:Anthropic 的內部能力指數進步得更快,而 AI 很可能正在推動其中相當一部分。難題是,外界能看見的證據,仍不足以把每一段因果鏈重新算一遍。

METR AI 研發加速評估原文首頁,顯示報告標題與發布日期
METR 報告原文首頁;點圖可開啟完整文章。圖/METR,AlphaLab 加入瀏覽器外框。

先抓住三個問題:模型是否進步得更快?加速有多少來自 AI?這是否代表 AI 已能自主打造下一代模型?它們需要不同證據。以下先讀懂原文的數字,再檢查量測與歸因,最後看哪些後續資料值得追。

一、METR AI 研發加速:1.9 倍量到什麼?

原文的主要統計結果是:自 2025 年 10 月以來,Anthropic 模型的 AECI 趨勢斜率約為先前的 1.9 倍,95% 信賴區間為 1.5~2.8 倍。這是 METR 使用公司提供的內部模型與評測資料所得的估計,以可明確評分的任務為主要證據,不能直接讀成所有工作快了 90%。

METR 的 AECI 趨勢圖:歷史每年約增加 15 分,之後每年約增加 29 分,估計加速 1.9 倍
METR 估計的內部能力指數趨勢;橘點含未公開模型,橫軸採多數員工可使用模型的日期。圖/METR。

Epoch AI 的 ECI 說明指出,這類指數會把多項 benchmark 成績合成一把能力尺;數值本身是抽象尺度。Anthropic 在 Haiku 5.5 系統卡第 20 頁也明確說,AECI 使用內部評測結果,分數不能直接與 Epoch 公開排行榜相比。這個交叉核對支持的是尺的性質,並未獨立重現 METR 的 1.9 倍。

用原圖的近似斜率算一次就明白:29 ÷ 15 ≈ 1.93。原本一年走 15 格,後來一年走 29 格,所以叫進步速度接近兩倍。這與「模型的智力是原本兩倍」、每位使用者省下一半工時,都不是同一個量。

信賴區間也有範圍。METR 的附錄說,趨勢區間納入每個模型 AECI 分數的不確定性,但未納入選擇哪些模型進入擬合的抽樣不確定性。換用不同的能力分數轉換假設,點估計可落在 1.1~2.9 倍;納入其他開發者的前沿模型,報告中的趨勢估計則約為 1.4 倍。統計區間不能包辦方法選擇與基準期的所有疑問。

二、最難的一步:把加速歸因給 AI

METR 的整體判斷是,截至 2026 年 10 月,多數當下的加速很可能來自 AI;報告給出「或許約八成」的主觀猜測,同時保留很大的不確定性。這裡的分母是當下的加速,不是全部研發產出,也不是八成工作已自動化。

The counterfactual growth rate we can only guess at.

中文:至於沒有 AI 時的反事實成長率,我們只能推估。

METR,報告附錄的方法說明

這句話是讀整份報告的關鍵。要估 AI 的貢獻,理想上要知道同一批人、同一時間、同一筆算力,在不使用 AI 時能走多快。那條平行時間線無法直接觀察;研究者只能靠投入變化、訪談、工作紀錄與不同指標拼出來。

METR 反事實示意圖:觀察趨勢、假設未使用 AI 的趨勢與歷史趨勢分開
這是 METR 明確標示為假資料的概念示意,解釋歸因所需的反事實;不是觀察到的三組實驗結果。圖/METR。

METR 表示,它看過足以讓團隊有信心排除「訓練算力成長速度再次加快」作為加速原因的證據,但細節遭刪節。讀者可以忠實記下這項評估結論,卻不能把它升格為公眾已獨立驗算的事實。即使排除一個解釋,招募、資料、演算法或先前瓶頸解除等其他因素,仍需要另外分辨。

三、員工覺得快 12 倍,為何不能直接換成研究加速?

報告呈現的 2026 年 10 月內部 Slack 投票,自報效率提升平均約達 12 倍。METR 自己將這類資料定位為很鬆散的證據:參與者可能不具代表性,回答也未必經過仔細計算。這是感受與自評的紀錄,並非帶有無 AI 對照的工時量測。

Anthropic 員工自報 AI 效率提升圖;2026 年 10 月內部模型約達 12 倍,並非因果測得的生產力倍率
非正式問卷與 Slack 投票的自報效率;不同輪次的問法與樣本有差異。圖/METR。

想像一次研究循環:提出假設、寫程式、排隊跑實驗、看結果、決定下一步。若寫程式很快完成,等待實驗與判讀結果仍然會佔時間;同樣地,多跑十次實驗也可能全部失敗。應該追的是每單位時間得到多少通過驗證、有價值的新知,而不只是程式碼、Token 或嘗試數。

這不是說自評毫無價值。它能指向工作流在哪裡改變,之後再用完成時間、驗收品質與失敗紀錄檢查。METR 在 2025 年開源開發者隨機對照研究中,已展示主觀感受與實際耗時可能朝不同方向走;那是早期工具、特定開發者與儲存庫的結果,不能拿來推翻 2026 年 Anthropic 的內部研究情境。它提供的是量測上的提醒。

自主性也要分開看。Anthropic 的 研發量測文章以 2026 年 8 月資料自報,Claude 在 26% 的研發工作達到「AI 主導、人類監督」層級;當時量測的工作子集仍未達完全自主。這是公司對自動化程度的盤點,與本次 METR 對進步速度的評估不同。想看兩者差別,可對照 研發自動化指數解析。

四、獨立評估的份量,與刪節留下的缺口

依 METR 披露,這次評估在 2026 年 8 月 12 日至 10 月 29 日進行,接觸了內部資料與研究人員;最有助於部分高層結論的證據,多數未能公開。這種接觸比只讀公開排行榜更深入,但外界也因此更依賴評估者的判斷。

還有一個容易混淆的時間線:Anthropic 在 10 月 15 日宣布的員工級存取評估安排,與這次八月至十月的研發加速評估,是不同專案。不能把前者的存取權限,直接套給後者。

這使「獨立」必須拆成至少三件事:誰決定分析方法、誰控制資料入口、誰決定證據能否公開。方法獨立,並不自動等於資料完整或結果可重現;有刪節,也不自動等於結論造假。判斷證據的份量,應落在具體權限與可檢查材料上。

更可行的改進方向,是公開不洩漏技術祕密的量測協定、匿名化分布、失敗案例,以及多名評估者對同一批證據的分歧。公眾需要知道的是結論對哪些假設敏感,而不一定是下一代模型的完整配方。

五、AlphaLab 的判讀:值得上調關注,還不到宣布失控

進步斜率的改變,值得比單次榜單多看一眼

如果新模型只是某次考試特別高分,後續資料可能回到原本趨勢;若多個後續模型持續沿較陡的線前進,持續加速的解釋會更有份量。本次報告的重要性,在於它檢查一串內部模型與多種量測選擇。這足以提升研究優先度,但仍需要後續模型與新的外部材料檢查。

METR AI 研發加速訊號,與自主改進之間的距離

要形成持續自我強化的循環,新模型不但要更強,還要把能力轉成下一輪有價值的研究成果;那些成果又必須真正改善下一代。每一段都可能被實驗等待、資源或驗證能力限制。這份 METR AI 研發加速報告,增加了「AI 正在協助研發」的證據份量;把它讀成完整自主循環已經成立,跨得太遠。

沒找到瓶頸,是需要追查的結果,不是無限成長定理

METR 對未來瓶頸的評估帶有明顯保留,也承認理解隨新資料多次改變。評估者在可接觸材料中未辨識出明確限制,不能保證限制不存在;同樣地,猜測某個瓶頸一定會阻止加速,也需要可檢查的機制與數據。

我同意什麼,我仍存疑什麼

我同意:模型研發速度需要被獨立量測,內部模型的時間序列能補上公開發布的延遲。我仍存疑:1.9 倍的指數斜率,能有多少轉成廣泛研究價值;以及在關鍵證據遭刪節時,AI 的因果占比究竟能估得多準。合理反應是提高量測與驗證強度,而非把一個估計直接寫成未來路徑。

六、下一份報告,追這三筆帳

第一筆是成果帳:後續模型能否維持較快的進步,且在新的、較貼近實際工作的題目上成立?保留相同評測預算與方法,才知道斜率是否真的改變。

第二筆是歸因帳:能否把 AI 輔助與人力、算力、資料和流程改變分開?至少讓外部評估者檢查具體貢獻、重做關鍵估計,並公開彼此分歧的範圍。

第三筆是驗收帳:人類要花多少時間才能確認更多實驗的結果?若產生想法的速度上升,審核時間卻沒有跟上,團隊可能只是把工作移到下一個排隊點。

對自己的研究或開發工作,也可以從一個小紀錄開始:同類任務分別記下完成時間、最後是否驗收通過,以及人工修正耗時。先看 AI 是否讓可靠成果更早出現,再談效率倍率。這比拿別人的 12 倍感受,替自己的工作排程更有用。

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。