GDPx 評測解讀：領先模型僅 12%，專業 Agent 卡在哪？（2026）

2026 年 11 月 2 日，SemiAnalysis 的 Max Kan、Andrew Megalaa 與 Dylan Patel 在 Substack 發表了〈GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains〉。這份 GDPx 評測把問題推向專業現場：當 Agent 得自己找資料、操作工具並交出可驗收的成果，領先模型還剩多少把握？

先把最容易誤讀的地方說清楚：12% 是這套測試的綜合分數，不能換算成全球工作有 12% 能被自動化，也不能直接當成 206 題裡通過了 12%。下面先還原作者的主張，再對照評分規則與公開執行紀錄，最後討論怎麼把這張榜單用在自己的決策。

GDPx 評測在挑戰什麼？從「交一份文件」走向「完成一段工作」

SemiAnalysis 的核心看法是：值得用前沿模型處理的高報酬領域，未必按整體經濟的產業比重分布。它因此挑選專業環境來出題，而非把 GDPx 設計成職業人口的縮影。這是一種關於 AI 會先在哪裡產生價值的判斷，也決定了榜單照得到哪些工作。

官方領域頁列出 206 項任務、11 個領域、14 個合作方。範圍包括遞迴自我改進、晶片設計、資安、生物、金融、法律、量化交易、硬體設計、材料科學、對齊與軟體工程。這裡的 Agent，可以先理解成會連續使用工具、根據結果調整下一步的 AI 系統。

差別可以用整理報表來想像：一種考法把資料與要求放在桌上，請你做出文件；另一種把你放進一間有大量檔案與工具的辦公室，讓你判斷該看哪份資料、哪個版本可信、改動會影響誰。後者把「找到工作所需的上下文」也列入考試。

對 GDPval 的批評，哪些能由原始論文核對？

原文用 OpenAI 的 GDPval 當對照。查閱 GDPval 原始論文的限制章節，作者確實說明：初版提供完整任務脈絡，任務明確指定、一次性交付，尚未涵蓋真實工作中找出上下文的完整過程。這支持 SemiAnalysis 對評估範圍的質疑。

Tasks are precisely-specified and one-shot, not interactive:

中文：任務被明確指定，而且採一次性交付，並非互動式任務。

GDPval 原始論文，限制章節小標

但該論文也採用專業人士的盲評，比較交付物品質，並承認其範圍限制。我的判斷是：這兩套測試在回答不同問題。一套偏重明確條件下的交付品質，另一套加入更深的環境探索。即使新考卷更難，也不足以單獨證明舊考卷的全部結果失去意義，更不能把兩邊百分比直接相減。

GDPx 評測的 12% 怎麼讀？先看分母、權重與三次嘗試

截至 2026 年 11 月 4 日，GDPx v1.0 預設榜單在 All domains、Score 下顯示下列前三名。金額是評測所報的每項任務平均花費，並非產品訂閱費，也不是完成一項合格專案的成本。

模型	綜合分數	每任務平均花費（美元）
Claude Opus 5.5	12.0%	51.41
Gemini 4 Carbon	10.9%	16.29
GPT-6 Astra	9.6%	53.99

All domains are weighted equally.

中文：所有領域採相同權重。

SemiAnalysis，GDPx 方法說明

官網進一步說明：同領域內的合作方也等權；各題依原定設計，採二元通過／失敗或連續給分，預設分數取三次嘗試的平均。因此不能把它當成「嘗試三次、選最好一次」的成績，更不能把加權得分當成完成件數。

一個純示意例子就能看出差別：如果兩個領域等權，甲領域 10 題平均 20 分，乙領域 30 題平均 0 分，綜合就是 10 分；把全部 40 題混在一起平均，則是 5 分。權重改變的是你想衡量什麼，不只是計算的小細節。這個例子不是 GDPx 的實際領域成績。

還有兩個條件要一起讀。SemiAnalysis 說，任務預設時限為八小時，部分更短；有原生 Agent 執行框架的模型使用其原生框架。換句話說，這比較的是模型連同工具與執行框架的表現。若要把差距歸因為模型本身，還得在相同框架、預算與設定下另做比較。

總分以外，領域圖與公開紀錄才是有用的下一頁

這張圖的意義是，各模型的能力輪廓並不平滑。總平均相近，可能由不同的強項組合而成。選模型時，應先找到自己要交付的任務屬於哪個領域，再往下看題目與評分；若把各領域高點拼成一個想像中的「全能 AI」，就把多個系統的表現混成了同一個系統。

公開執行紀錄頁說，每個合作方公開一項任務的紀錄，其餘保留私有以減少針對測試調整。這提供了檢視推理、工具與交付過程的窗口，也意味著外部讀者能查到的切片，與完整測試集合有範圍差異。本文解讀公開證據，沒有重新執行完整 GDPx。

把「做了一大段」與「交得出去」分開

例如 Compressor Housing 公開任務要求在 SolidWorks 設計壓縮機外殼，連同圖面及製造計畫交付；Git LFS on Partial Clones 任務則要求歷史查詢在部分與完整複製的版本庫中保持相同行為。兩者都在提醒同一件事：成果要同時滿足多項限制。

依這些任務的驗收邏輯推論，局部功能正確，與整份成果可以接受，可能有很大距離。你可能願意採用 AI 做出的部分工作，再由專家修完；也可能需要它一次交出完整可靠的結果。這兩種使用情境應各有自己的指標。部分給分能顯示進步，完整驗收則決定能否交付。

安全機制可能影響得分，但拿掉領域不等於測出「真實智力」

SemiAnalysis 認為，部分模型在資安、生物及對齊領域的成績受到安全分類器影響，並提供排除這三個領域的比較。這應保留為測試作者對結果的解釋；它尚不足以讓本文把各個落差都歸因於安全機制，更不足以採納「某模型生物分數較高，就是防護較弱」的推測。

理由很直接：移除三個領域，先改變了題目集合與總分的意義。要分清「不會做」與「拒絕做」，需要逐次拒答標記、相同題目與設定下的對照，並核對任務授權。排除後的榜單可以回答另一個選型問題，不能直接視為原榜單的因果校正。

而且安全也不只表現在拒答。Current Payments 公開任務把探索範圍與可使用的證據列入限制。對委託者來說，完成目標與守住授權邊界，本來就是同一份交付要求的兩部分。若一個系統靠越界完成工作，能力評分與可部署性仍得分開看。

AlphaLab 的判讀：這是找能力缺口的地圖，不能當作經濟自動化率

一、低分先證明這張考卷還有辨識空間

我同意讓測試保留困難任務：當分數都擠在頂端，改進容易被藏起來。但低分本身不是品質保證。要判斷它測到真本事，仍要追問題能否由現有資料解出、參考解是否通過同一套驗收，以及合理的替代解法會不會被錯殺。可以把它和 AlphaLab 的 Information Support Graph 任務資料檢查一起看：考生失誤與題目缺資料，應各有證據。

二、測試框架是成績的一部分，也是一條改善路徑

如果模型在讀檔、工具呼叫或最後驗收處失手，換更大的模型與改善框架，是兩種可以比較的介入。Anthropic 的 Agent 評估研究也強調，應同時檢查執行紀錄、評分器和最終環境狀態，避免把評測缺陷誤認成能力缺陷。這支持的是查證方法，並非對 GDPx 每一道題目的獨立背書。

實作上，可以用 Agent Harness 的分工理解模型之外的零件，再參考 最小 Harness 實作，讓交付結果有一個可執行的驗收出口。框架改版後也要重新測，才知道改善來自哪裡。

三、商業價值要接上人類覆核與失敗成本

綜合 12 分的系統，可能在某種工作上替專家省下時間；分數更高的系統，也可能因一次高代價失誤而不適合獨立運作。這不是在替低分找藉口，而是決策的分母不同：測試把任務得分加總，使用者還要支付覆核、返工、延遲與失誤的成本。

因此我會把商業判斷寫成一張工單：同一件工作，原本需要多久，AI 初稿花多久，專家修正多久，最後是否驗收，以及哪一類錯誤必須阻止交付。只有這些欄位連起來，榜單上的能力差距才開始連到實際價值。

四、我同意的與仍存疑的

我同意把環境探索、跨檔案判斷與完整交付放回 Agent 評估中心；只看漂亮的最終回答，很容易漏掉過程中的錯誤。我存疑的是，把一組刻意挑選的專業任務，推廣成對所有職業或經濟產出的結論。若要比較人類與 AI 的替代關係，我還會要求相同工具、資料、時間與驗收規則下的人類基線。

SemiAnalysis 在原文也把領域選擇連到其商業需求模型，並展示合作方的任務。這個背景說明它為何選這些問題；是否選得好，仍應由題目、評分與後續表現檢驗。既不應把商業動機當成數據錯誤的證據，也不應把「高價值領域」當成已證實的營收預測。

下一次模型換代，先用同一張小考卷追五個欄位

一般讀者可以先在官方榜單切到自己關心的領域，打開一項公開任務，依序找：要交什麼、哪些條件才算通過、用了什麼工具、失敗在哪裡、花了多少時間與成本。想建立自己的小型測試，可從 AI Evals 評估教學接著做。

團隊則先挑一小組已獲授權、答案與交付標準可檢查的日常任務，固定資料、版本與預算。分別記錄完整驗收、局部正確、拒答或越界、覆核時間、總成本，在模型或框架更換時重跑。不要把測試做成只驗證自己剛寫出的解法；可用 Graph Engineering 工作圖先釐清依賴，再設計會讓錯誤解法失敗的情境。