2026 年 11 月 18 日,OpenAI 在官網發布了〈Research acceleration: The jagged frontier〉。這份 OpenAI 研究加速報告最值得細讀的,不只是兩到四小時任務的估計零介入成功率,從三月的 23% 升至十月的 46%;還有新版方法如何處理那些「看不到明確結果」的工作。

先記住一個差別:把不明結果算進分母,和把它們逐一驗成成功,是兩件事。下面先看原文新增了什麼,再核對成功率的算法,最後判斷這些證據能讓我們把研究自動化的信心往前推多少。
九月的報告與「自動化研究實習生」里程碑,已在站內的 前篇分析交代。本篇聚焦十一月新增的結果不明處理、任務分類與能力產出指標;新舊口徑改了,不能把兩張圖的百分比直接串成同一條成長線。
一、46% 是什麼:先把「結果不明」放回來
all outcomes, including uncertain outcomes
中文:所有結果都納入,包括結果不明的任務。
OpenAI,2026 年 11 月 18 日研究報告
這是原圖對成功率分母的說明。原文方法與圖表先把符合抽樣與研究任務範圍的工作納入,再對結果不明者建立上下界:下界把它們當失敗;上界只把其中「零次記錄介入」的任務當成功。已有介入的任務,無論最終成果是否可用,都不算零介入成功。
圖中的空心點在上下界中間,相當於假設零介入但結果不明者,有一半成功。每個觀測到的使用者月份等權重。因此這不是把所有任務堆在一起,除出一個已核驗成功比例;它是一個保留不確定性的內部估計。
| 估計需人類 2–4 小時的任務 | 三月 | 十月 1–18 日 |
|---|---|---|
| 識別下界至上界 | 17.9%–28.2% | 40.7%–50.6% |
| 中點估計 | 23.0% | 45.7%(摘要約 46%) |
| 加入抽樣不確定性的約 95% 區間 | 15.8%–30.8% | 33.0%–58.5% |

這張表支持一個有份量、也有邊界的結論:按新版估計程序,這類被委派任務的零介入表現改善了。連保守處理不明結果的下界也提高,不能把整個變化一筆勾銷成「只是取中點」。但上下界和信賴區間,都不是模型下一次執行你這份工作的成功保證。
二、兩到四小時,是誰的時間?「零介入」又驗到了哪裡?
這裡的工時,由分析 Agent 估計一位具備知識、工具與起始脈絡的專業人士,不用 AI 完成工作需要多久;它不是 Agent 實際跑了兩到四小時,也不是研究員真的先做一次的碼表紀錄。OpenAI 方法還承認,時間估計仍需更多驗證,三月至六月使用的是較新的研究人員名冊。
結果判定也有層次。公開的分類規則要求往後追查使用者回饋、程式合併、成果被後續工作採用等訊號;簡單查詢才允許另外核對答案。它明確要求別直接相信原 Agent 宣稱完成。這比「它說做完就算成功」嚴謹,但分類器能找到的持久紀錄,仍只是研究品質的部分證據。
例如「這份分析被貼進工作頻道」,可以支持交件行為完成;若要相信分析中的因果推論,還需要另外檢查資料、排除規則與實驗設計。把結果被使用、結果正確、結果有研究價值分成三欄,會比一個總成功率更能找到錯誤。這是本文建議的驗收分工,不是原報告另做的一項品質實驗。
還有選擇效應:研究員可能逐漸學會哪些工作適合交出去。假設原本會把模糊的整包工作直接委派,後來改成先由人拆成邊界清楚的小題,即使標籤仍是兩到四小時,題目組成也可能改變。成功率提高可以同時來自模型進步、工具改善與人類更會派工;要拆開各自貢獻,需要固定題組或更完整的對照。
三、79% 與 25% 之間,藏著整條研究流程的瓶頸
原文在 8 月 1 日至 10 月 18 日的任務拆解中,回報監看訓練問題的估計零介入成功率為 79%、啟動訓練為 35%、撰寫推論與服務堆疊程式為 25%。四到八小時任務的中點估計也由三月 13% 升至十月約 35%。這些是不同任務群的內部估計,不能解讀成相同難度下的公平擂台,也不能用監看任務替整段研發背書。

Epoch 的 AI 研發任務分類原文,本來就是為了減少只追容易量測項目的偏差。監看、設計、建置、分析與溝通各有責任;一張程式榜單很難代表全部。OpenAI 採用這套分類,讓我們可以問更好的問題:哪一段改善,真的縮短了最後交付時間?
想像一條串行流程,原本 100 小時,容易加速的前段占 20 小時,剩下 80 小時必須等待其他環節。即使前段快到近乎不花時間,整體也只從 100 變成 80 小時,提速上限為 1.25 倍。這是刻意簡化的算術示例,並非 OpenAI 流程占比;它說明為什麼局部成功率翻倍,不能直接換成整個研究部門快兩倍。
四、用量、實驗數與能力指數,各交出哪一份證據?
OpenAI 研究加速報告把材料分成投入、過程與產出。十月(資料截至 18 日)的 API 標價換算用量中位數達每日約 2,400 美元,反映使用強度,並非公司的實際內部成本;問卷裡願意交換人力或算力,反映受訪者的主觀價值,不是已完成的裁員或資源重配。安全與對齊的紀錄貢獻增加,也不能單靠活動量判定風險下降。
| 原文補充指標 | 合理讀法 |
|---|---|
| 每位研究員每日累計約 5.7 個 Agent 工作日 | 八小時執行量算一日,並行可相加;不是 5.7 倍成果。 |
| 101 人問卷中,換回前沿 Agent 的人力與算力中位回答為 40% 與 30% | 兩個分開的假設問題,衡量主觀價值,不能相加。 |
| 截至 10 月 18 日的四週,每位活躍實驗者的實驗量為 2025 基準約 1.68 倍 | 有跑實驗的人平均跑多少;不能直接換成有效發現數。 |
| OECI 的 OpenAI 前沿自 2025 年 8 月起,擬合增速約每年 16.4 點 | 內外部評測混合的能力量尺;不能直接與另一機構的指數斜率作因果比較。 |
產出端新增的 OECI,把公開與內部評測合成能力指數;它比程式行數更接近能力結果,但評測組合仍會影響公司相對位置。讀者應先固定同一把尺、同一段期間,再看進步斜率;不能把不同機構版本的指數,當成完全相同的速度表。
外部證據值得放在旁邊,而非混成同一張成績單。METR 11 月 5 日對 Anthropic 的評估認為該公司特定能力進展出現加速,並把相當部分歸因於 AI 研發協助;它同時強調歸因不確定性與大量關鍵證據遭刪節。那是另一家公司、另一套存取權與量尺,無法獨立核實 OpenAI 的 46%。
更近的 METR 11 月 20 日公開模型評估則呈現另一面:在所測模型的綜合公共前沿指標上,未看到強烈的加速或減速;缺乏明確快速回饋的判斷任務,也比可驗證任務棘手。這並不反駁公司內部流程改善,而是提醒:內部工作流、個別公司的斜率與公共前沿,是三個不同問題。
報告也回到研究構想從哪裡來:受訪者把多項重要想法歸給人類,另描述了與 Codex 對話後得到關鍵修改的案例。這是選定貢獻者的回顧,適合展示合作方式,不能據此推算整間公司的 AI 原創占比。OpenAI 的訴求是讓實驗室持續公開自我改進指標,並繼續比較能力與安全研究如何加速;這是後續應對帳的方向,尚非一個已兌現的自主研究循環。
五、AlphaLab 的判讀:先讓驗收證據跟得上候選產量
我同意:把不明結果保留下來,比只報看得見的成功更有用
這次方法更新的價值,是讓未知有一個可見的位置。假如最難、最久或最容易被擱置的工作,剛好也最難留下完成證據,把它們排除後,報表就可能過於好看。公開上下界,讓樂觀與保守假設都能被檢查;接下來應追的是不明比例為何改變,以及抽查後落在哪一側。
我存疑:把任務接住,就等於把研究問題解開
研究會出錯的地方,常常在「應該問什麼」與「這個結果值得相信嗎」。程式跑通可以很快驗;一個資料篩選規則是否偷偷刪掉失敗樣本,可能要等重跑才看見。若生成候選變便宜、檢查仍然昂貴,工作量就會流向審閱者。擴大並行量之前,應先量每一份被接受成果吃掉多少驗收時間。
humans remain a core part of the AI research loop.
中文:人類仍是 AI 研究迴圈的核心部分。
OpenAI,2026 年 11 月 18 日研究報告
原文的這個界定應保留。它不代表 AI 的貢獻很小,也不能拿來保證人類永遠握有控制。若後續系統更會提出題目、設計測試並驗證下一代成果,證據也需要隨之更新;到時要看的,是多輪改進能否反覆交出可檢查的淨收益,而不是單次任務留下多少漂亮輸出。
下一份有說服力的報告,應該能回答三個追問
第一,同一組固定任務,模型、工具與派工方式分別改變時,結果如何?第二,成功之外,結果不明、回滾與延後發現的錯誤各占多少?第三,扣除人工驗收、實驗算力與安全事件成本後,一個被接受的研究結果到底省了多少總投入?這三問分別對付選擇效應、結果遺失與成本轉移。
六、現在就能用的做法:替成功率多留兩個欄位
如果你在帶團隊,先選一類有權使用、結果可檢查的小任務。在執行前固定通過條件,留下模型與工具版本;執行後把零介入成功、介入後成功、失敗、結果不明分開記。不要為了報表好看,把最後一類刪掉。
再多留「人工總投入」與「延後查出的問題」兩欄。前者涵蓋寫需求、修正、審閱與整合,後者在隔天或下一輪使用時補記。重點不是替每個動作打卡,而是看任務看似完成後,是否把工作悄悄搬到別人身上。測試集可從 AI Evals 的驗收流程開始。
讀新聞的人也可以用同樣方法:看到 OpenAI 研究加速報告中的 46%,先問分母有誰、不明怎麼算、是否仍是相同題目。當答案能連到可追查的資料,百分比才開始變成能幫你作決定的證據。
接著閱讀
左右滑動查看更多推薦
