跳到主要內容

OpenAI 研究加速報告:46% 成功率,為何要連「結果不明」一起看?(2026)

最後更新: ·
OpenAI 研究加速報告:46% 怎麼算?結果不明與估計區間的概念插畫

2026 年 11 月 18 日,OpenAI 在官網發布了〈Research acceleration: The jagged frontier〉。這份 OpenAI 研究加速報告最值得細讀的,不只是兩到四小時任務的估計零介入成功率,從三月的 23% 升至十月的 46%;還有新版方法如何處理那些「看不到明確結果」的工作。

OpenAI 研究加速報告原文頁首與發布日期
圖/OpenAI 官方研究報告;AlphaLab 擷取頁首並加上瀏覽器外框,點圖可讀原文。封面為 AlphaLab 原創概念示意,非實驗室照片。

先記住一個差別:把不明結果算進分母,和把它們逐一驗成成功,是兩件事。下面先看原文新增了什麼,再核對成功率的算法,最後判斷這些證據能讓我們把研究自動化的信心往前推多少。

九月的報告與「自動化研究實習生」里程碑,已在站內的 前篇分析交代。本篇聚焦十一月新增的結果不明處理、任務分類與能力產出指標;新舊口徑改了,不能把兩張圖的百分比直接串成同一條成長線。

一、46% 是什麼:先把「結果不明」放回來

all outcomes, including uncertain outcomes

中文:所有結果都納入,包括結果不明的任務。

OpenAI,2026 年 11 月 18 日研究報告

這是原圖對成功率分母的說明。原文方法與圖表先把符合抽樣與研究任務範圍的工作納入,再對結果不明者建立上下界:下界把它們當失敗;上界只把其中「零次記錄介入」的任務當成功。已有介入的任務,無論最終成果是否可用,都不算零介入成功。

圖中的空心點在上下界中間,相當於假設零介入但結果不明者,有一半成功。每個觀測到的使用者月份等權重。因此這不是把所有任務堆在一起,除出一個已核驗成功比例;它是一個保留不確定性的內部估計。

估計需人類 2–4 小時的任務三月十月 1–18 日
識別下界至上界17.9%–28.2%40.7%–50.6%
中點估計23.0%45.7%(摘要約 46%)
加入抽樣不確定性的約 95% 區間15.8%–30.8%33.0%–58.5%
依 OpenAI 原頁圖表資料整理;粗區間與抽樣區間是兩層不同的不確定性。
OpenAI 原圖:不同人類等效工時的零介入成功率與不確定區間
圖/OpenAI,原頁互動圖的成功率面板;保留標題、月份、座標與圖例。空心點是中點估計,粗線是識別上下界,細線加入抽樣不確定性。

這張表支持一個有份量、也有邊界的結論:按新版估計程序,這類被委派任務的零介入表現改善了。連保守處理不明結果的下界也提高,不能把整個變化一筆勾銷成「只是取中點」。但上下界和信賴區間,都不是模型下一次執行你這份工作的成功保證。

二、兩到四小時,是誰的時間?「零介入」又驗到了哪裡?

這裡的工時,由分析 Agent 估計一位具備知識、工具與起始脈絡的專業人士,不用 AI 完成工作需要多久;它不是 Agent 實際跑了兩到四小時,也不是研究員真的先做一次的碼表紀錄。OpenAI 方法還承認,時間估計仍需更多驗證,三月至六月使用的是較新的研究人員名冊。

結果判定也有層次。公開的分類規則要求往後追查使用者回饋、程式合併、成果被後續工作採用等訊號;簡單查詢才允許另外核對答案。它明確要求別直接相信原 Agent 宣稱完成。這比「它說做完就算成功」嚴謹,但分類器能找到的持久紀錄,仍只是研究品質的部分證據。

例如「這份分析被貼進工作頻道」,可以支持交件行為完成;若要相信分析中的因果推論,還需要另外檢查資料、排除規則與實驗設計。把結果被使用、結果正確、結果有研究價值分成三欄,會比一個總成功率更能找到錯誤。這是本文建議的驗收分工,不是原報告另做的一項品質實驗。

還有選擇效應:研究員可能逐漸學會哪些工作適合交出去。假設原本會把模糊的整包工作直接委派,後來改成先由人拆成邊界清楚的小題,即使標籤仍是兩到四小時,題目組成也可能改變。成功率提高可以同時來自模型進步、工具改善與人類更會派工;要拆開各自貢獻,需要固定題組或更完整的對照。

三、79% 與 25% 之間,藏著整條研究流程的瓶頸

原文在 8 月 1 日至 10 月 18 日的任務拆解中,回報監看訓練問題的估計零介入成功率為 79%、啟動訓練為 35%、撰寫推論與服務堆疊程式為 25%。四到八小時任務的中點估計也由三月 13% 升至十月約 35%。這些是不同任務群的內部估計,不能解讀成相同難度下的公平擂台,也不能用監看任務替整段研發背書。

OpenAI 原圖:六類研究任務的零介入成功率及區間
圖/OpenAI,2026 年 8 月 1 日至 10 月 18 日的分類估計。類別平均仍會混合不同題目,區間較寬者尤其不宜只憑中點排名。

Epoch 的 AI 研發任務分類原文,本來就是為了減少只追容易量測項目的偏差。監看、設計、建置、分析與溝通各有責任;一張程式榜單很難代表全部。OpenAI 採用這套分類,讓我們可以問更好的問題:哪一段改善,真的縮短了最後交付時間?

想像一條串行流程,原本 100 小時,容易加速的前段占 20 小時,剩下 80 小時必須等待其他環節。即使前段快到近乎不花時間,整體也只從 100 變成 80 小時,提速上限為 1.25 倍。這是刻意簡化的算術示例,並非 OpenAI 流程占比;它說明為什麼局部成功率翻倍,不能直接換成整個研究部門快兩倍。

四、用量、實驗數與能力指數,各交出哪一份證據?

OpenAI 研究加速報告把材料分成投入、過程與產出。十月(資料截至 18 日)的 API 標價換算用量中位數達每日約 2,400 美元,反映使用強度,並非公司的實際內部成本;問卷裡願意交換人力或算力,反映受訪者的主觀價值,不是已完成的裁員或資源重配。安全與對齊的紀錄貢獻增加,也不能單靠活動量判定風險下降。

原文補充指標合理讀法
每位研究員每日累計約 5.7 個 Agent 工作日八小時執行量算一日,並行可相加;不是 5.7 倍成果。
101 人問卷中,換回前沿 Agent 的人力與算力中位回答為 40% 與 30%兩個分開的假設問題,衡量主觀價值,不能相加。
截至 10 月 18 日的四週,每位活躍實驗者的實驗量為 2025 基準約 1.68 倍有跑實驗的人平均跑多少;不能直接換成有效發現數。
OECI 的 OpenAI 前沿自 2025 年 8 月起,擬合增速約每年 16.4 點內外部評測混合的能力量尺;不能直接與另一機構的指數斜率作因果比較。
數字均為 OpenAI 本次報告的內部量測或問卷回報。

產出端新增的 OECI,把公開與內部評測合成能力指數;它比程式行數更接近能力結果,但評測組合仍會影響公司相對位置。讀者應先固定同一把尺、同一段期間,再看進步斜率;不能把不同機構版本的指數,當成完全相同的速度表。

外部證據值得放在旁邊,而非混成同一張成績單。METR 11 月 5 日對 Anthropic 的評估認為該公司特定能力進展出現加速,並把相當部分歸因於 AI 研發協助;它同時強調歸因不確定性與大量關鍵證據遭刪節。那是另一家公司、另一套存取權與量尺,無法獨立核實 OpenAI 的 46%。

更近的 METR 11 月 20 日公開模型評估則呈現另一面:在所測模型的綜合公共前沿指標上,未看到強烈的加速或減速;缺乏明確快速回饋的判斷任務,也比可驗證任務棘手。這並不反駁公司內部流程改善,而是提醒:內部工作流、個別公司的斜率與公共前沿,是三個不同問題。

報告也回到研究構想從哪裡來:受訪者把多項重要想法歸給人類,另描述了與 Codex 對話後得到關鍵修改的案例。這是選定貢獻者的回顧,適合展示合作方式,不能據此推算整間公司的 AI 原創占比。OpenAI 的訴求是讓實驗室持續公開自我改進指標,並繼續比較能力與安全研究如何加速;這是後續應對帳的方向,尚非一個已兌現的自主研究循環。

五、AlphaLab 的判讀:先讓驗收證據跟得上候選產量

我同意:把不明結果保留下來,比只報看得見的成功更有用

這次方法更新的價值,是讓未知有一個可見的位置。假如最難、最久或最容易被擱置的工作,剛好也最難留下完成證據,把它們排除後,報表就可能過於好看。公開上下界,讓樂觀與保守假設都能被檢查;接下來應追的是不明比例為何改變,以及抽查後落在哪一側。

我存疑:把任務接住,就等於把研究問題解開

研究會出錯的地方,常常在「應該問什麼」與「這個結果值得相信嗎」。程式跑通可以很快驗;一個資料篩選規則是否偷偷刪掉失敗樣本,可能要等重跑才看見。若生成候選變便宜、檢查仍然昂貴,工作量就會流向審閱者。擴大並行量之前,應先量每一份被接受成果吃掉多少驗收時間。

humans remain a core part of the AI research loop.

中文:人類仍是 AI 研究迴圈的核心部分。

OpenAI,2026 年 11 月 18 日研究報告

原文的這個界定應保留。它不代表 AI 的貢獻很小,也不能拿來保證人類永遠握有控制。若後續系統更會提出題目、設計測試並驗證下一代成果,證據也需要隨之更新;到時要看的,是多輪改進能否反覆交出可檢查的淨收益,而不是單次任務留下多少漂亮輸出。

下一份有說服力的報告,應該能回答三個追問

第一,同一組固定任務,模型、工具與派工方式分別改變時,結果如何?第二,成功之外,結果不明、回滾與延後發現的錯誤各占多少?第三,扣除人工驗收、實驗算力與安全事件成本後,一個被接受的研究結果到底省了多少總投入?這三問分別對付選擇效應、結果遺失與成本轉移。

六、現在就能用的做法:替成功率多留兩個欄位

如果你在帶團隊,先選一類有權使用、結果可檢查的小任務。在執行前固定通過條件,留下模型與工具版本;執行後把零介入成功、介入後成功、失敗、結果不明分開記。不要為了報表好看,把最後一類刪掉。

再多留「人工總投入」與「延後查出的問題」兩欄。前者涵蓋寫需求、修正、審閱與整合,後者在隔天或下一輪使用時補記。重點不是替每個動作打卡,而是看任務看似完成後,是否把工作悄悄搬到別人身上。測試集可從 AI Evals 的驗收流程開始。

讀新聞的人也可以用同樣方法:看到 OpenAI 研究加速報告中的 46%,先問分母有誰、不明怎麼算、是否仍是相同題目。當答案能連到可追查的資料,百分比才開始變成能幫你作決定的證據。

接著閱讀

左右滑動查看更多推薦

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。