【2026 最新】AA v5 怎麼看？三張工作表分清評測版本、任務權重與 IRT

你追蹤的模型沒有宣布更新，排行榜一換版，分數卻掉了。看到 AA v5，先別急著把它解讀成「模型退步」：就像同一位學生，昨天考生活常識，今天改考科學實作，兩張成績單的數字要先對帳。

這篇寫給第一次讀模型評測的讀者，不需要程式背景。準備一份空白試算表，跟著做三張工作表：先登錄比較條件，再改權重重算，最後理解 IRT 如何把不同試卷接到共同尺度。你會帶走一套能逐格檢查的判讀方法。

以下按 2026 年 10 月 31 日查閱的官方方法整理。文中的 M、N、題目與練習分數都是 AlphaLab 設計的合成資料；它們用來拆解計分機制，與 AA 的實際模型成績分開。

先說結論：先對帳，才談升降

分數＝模型配置 × 題目與評分 × 聚合方法。這是一句檢查口訣，乘號表示三者共同決定結果，不是把三個數字直接相乘。任何一層換了，都要先標記，再判斷變動的意思。

• 今天選模型：看同版本 Intelligence Index 的分項，再用自己的任務驗收。
• 研究多年進展：看採用共同尺度的 Progress Index，保留估計方法與快照日期。
• 看到空白：先寫「缺測／待查」；零分、未測與未公開，各自留一格。

一、AA v5 換了什麼？先把量尺寫清楚

AA 在 10 月 27 日的 v5 公告說明，更新加入兩項新評測、升級三項；目前按知識工作、程式、科學、一般能力四大類，各占 25%。公告所稱 60%，是使用私有測試集或保留答案的指數權重，別讀成 60% 的題目數。

這些變動像重新設計升學考試：除了調整各科配分，也替換部分考科。把舊總分減去新總分，混合了試卷與計分制度的差異。即使差值算得完全正確，仍不足以把原因歸給模型本身。

官方 現行方法頁把 v5 列為九項評測的組合，主要是英文、文字導向，部分題目會給能看圖的模型圖片。你的工作如果是繁中摘要、方言客服或視覺設計，先核對分項與輸入型態是否接近。總榜可以提供候選，實際工作還需要自己的證據。

想先分清偏好榜、能力榜與使用量榜，可讀 AI 模型排行榜三榜判讀。這次我們把範圍縮到一件事：同一個評測體系改版後，如何保存可比較的資料。

二、工作表 1：建立 AA v5 比較登錄表

痛點是什麼？兩張圖都寫同一個模型名，看起來就像可以直接相比。解法是一列只放一個完整測量配置，把容易被圖表省略的條件補回來。

• 在第一列建立欄名：日期、模型完整 ID／revision、指數名稱、方法版本、effort、harness／工具、供應商、分數、狀態、來源網址。revision 是可追蹤的模型修訂版本；未取得就填「待查」。
• effort 是推理投入設定；harness 是讓模型執行任務、使用工具與停止的外層流程。第一次遇到這個詞，可看 Agent Harness 白話解說。
• 把兩筆資料分列，不覆寫舊數字。逐格比對：方法、effort 或執行流程不同，另欄標記「變因未對齊」。
• 狀態限定為「有效分數／測量失敗／未取得／不適用」。這是你的工作表分類；來源未交代原因時，保留待查，別替平台補故事。

驗收方法很簡單：把任意兩列交給朋友，請他指出每個差異。若他只能回答「都是 M」，資料就還不夠。能清楚說出「v4.3／v5 不同，effort 也不同」，才算把比較對象登錄完整。

還要寫下問題層級：你在比較模型的同設定變化，還是兩套產品的最佳配置？後者可以使用各自最適合的工具，但結論要寫「這兩套系統在這個工作負載上的結果」，不要偷偷縮成裸模型能力。

三、工作表 2：只改權重，看看排名怎麼翻轉

痛點是「綜合分數很客觀，所以冠軍應該固定」。解法是先鎖住分項成績，只改任務比例。以下兩科「文件、程式」都先假設為相同 0～100 量尺，完全是教學資料。AA 真實評測含不同評分單位，這份算例不重算它的官方總分。

在 A1:F3 依圖輸入模型、文件分數、程式分數、文件權重、程式權重、總分。M 的兩科填 90、50；N 填 65、85。先讓兩科各占一半。F2 輸入 =B2*D2+C2*E2，再往下複製到 F3；兩列權重都要填齊。

第一輪：各占 50%，M 得 90×0.5＋50×0.5＝70；N 得 65×0.5＋85×0.5＝75。第二輪只把兩列權重都改為文件 80%、程式 20%，M 變 82，N 變 69。成績完全沒改，領先者已經交換。

換句話說，權重在回答「你的工作更像哪一科」。這不是發現某模型偷偷變強，而是改了想解決的問題。試著把文件權重由 0% 每次加 10%，另一科設為 =1-D2；兩個模型都套相同權重。此例文件權重超過 35/60≈58.33% 時，M 才會超過 N。

再做第三輪：把兩科權重還原各半，保留文件分數，另設「較難程式題」一組合成成績，M 為 30、N 為 45。新總分變 60、55。這次改的是題集與觀察分數，和第二輪只改權重是兩種實驗。新題表現更低，仍不足以判定權重未變的模型退步。

完成後，替每輪寫一句結論：「固定成績、改任務比例」或「固定比例、換題集」。一次動多個旋鈕，就記為混合變動。若你真正要量模型更新的效果，應先保留同一題庫、判分與配置，再比較更新前後。

四、工作表 3：IRT 如何把不同試卷接起來？

痛點是舊模型只做過舊考卷，新模型只在新考卷上有成績。解法思路是找共同測量的橋。IRT（試題反應理論）把模型能力與題目難度放在共同尺度上估計；可想成用幾位兩邊都考過的學生，協助校準兩份試卷。

這種方法在 AI 評測已有研究脈絡。Rodriguez 等人的 2021 年原始論文討論，題目提供的資訊不同，榜單可同時估計受測者能力與題目難度；Ho 等人的 A Rosetta Stone for AI Benchmarks則把跨評測連接用於長期趨勢。這些是統計建模方法，並非把每份卷子的百分比直接平均。

先照圖建立觀察矩陣：M 做了 T1、T2，N 做了 T1、T2、T3，P 做了 T2、T3。格內 1 表示這次答對、0 表示這次答錯，破折號留作未測。N 與共同題讓兩邊產生連結；若另加一個模型 Q，只做完全不同、無任何連接的題，單靠這些觀察就難以校準它的相對位置。

再建一塊獨立計算區。為了只看曲線，把鑑別度固定為 1、猜測底線設為 0，指定能力 θ 與難度 b，使用 p=1/(1+EXP(-(θ-b)))。若 θ 放 B2、b 放 C2，D2 就輸入 =1/(1+EXP(-(B2-C2)))。這段是給定參數後的機率計算，沒有從上方矩陣估計參數。

θ＝0、b＝0 時，預期機率是 50%；只把 b 改成 1，就約 26.9%；能力固定、題目更難，預期得分會下降。再把 θ 也改成 1，兩者相等，機率回到 50%。這就是「低分可能來自難題」的最小示意，而單次作答仍只有對或錯，不會因預期機率是 50% 就必定答對一半。

Epoch 的 IRT 方法說明也以能力、難度及斜率解釋這條曲線。要留意：ECI 與 AA Progress Index 各有自己的擬合、資料與刻度；把它們當同一個分數互減，等於又把兩把尺混在一起。

依 AA Progress Index v1 方法，它用共同評測的結果聯合估計能力與難度，採可取得的逐題或彙總資料；每個模型的各 benchmark 等權。各 effort 變體分開擬合，展示模型時取最高分變體。這和 Intelligence Index 的四類配權是不同的聚合設計。

因此這張工作表的驗收目標是：你能指出哪幾格把試卷接起來，以及哪裡是模型假設。真正擬合還需要足量觀察、正規化、約束與檢查；幾格合成資料不能產生官方 Progress Index。

五、缺測、零分、私有題：選型前的四格檢查

第一格寫缺測原因。某模型沒出現在你看到的圖中，先保存圖的日期、篩選與完整清單，再查個別模型頁。你有的證據是「這張圖未列」，不能直接推成「官方沒測」「能力為零」或「因為某種動機而刪除」。本篇也不替社群提出的個別缺席模型猜原因。

第二格寫零分規則。空白通常先保留，具體方法另有明定時再處理。例如 AA Progress Index 方法對 context window 小於 100,000 tokens 的模型，在 AA-LCR 明定補零。這是指定評測的規則，不是所有缺測格都能填零的通行證。

第三格寫可取得什麼。API 可用、宣布將開放權重、實際可下載權重與授權可否商用，是不同問題。每一格都貼對應發布者的當前證據；只有 benchmark 分數時，就先讓部署與授權欄留待查。

第四格寫你能驗什麼。私有題能降低題目曝光，外部讀者也較難逐題核算。這份工作表能驗計算與推論界線，卻不能取得私有題來重跑。想採購，就挑自己有權使用的真實工作，預先訂驗收，再保存原始輸出與成本。

還有一個容易漏的限制：共同尺度也依賴資料與擬合。Epoch 的 FAQ明確說明，聯合擬合加入新資料後，既有模型的 ECI 也可能小幅移動。這是 ECI 的說明，不能搬成 AA 的具體修訂承諾；它提醒我們保存方法版本與日期，連長期指數也有估計層。

常見問題：八個先講答案的判讀

1. AA v5 比舊版低，就是模型退步嗎？

不能單靠這個差值判定。先把方法、題集、配置逐格對齊；若要檢驗退步，保留相同測量條件再看前後結果。

2. 四大類各 25%，代表每題都等權嗎？

不是。類別權重與題目權重是不同層級；回到各評測的聚合規則，別拿題數直接代替配分。

3. 我重配權重，能稱為新的 AA 官方總分嗎？

不可以。本篇算的是自訂合成指標；真實評測量尺與官方轉換還要另外核對，標清自己的公式與用途。

4. Progress Index 分數能當成功率嗎？

不能直接當。它是能力尺度；要回到特定任務難度、模型與機率映射，才談預期表現。

5. 共同題只有一題，就夠準嗎？

不足以憑此保證。連得上與估得穩是兩件事；我們的小矩陣只教連接結構，不替稀少樣本背書。

6. IRT 是不是完全消除了偏差？

不是這個結論。選哪些測試、資料品質與單一能力假設，都仍會影響解讀；專項能力要另看分項。

7. 私有題比例高，就證明榜單被操控嗎？

沒有這樣的推論。可核算性受限是具體問題；動機指控還需要獨立證據，不能從權重直接跳過去。

8. 今天選模型，先看哪個指數？

先用同版本 Intelligence Index 縮小候選，再以自己的任務比較；跨年的進展研究才是 Progress Index 的主要用途。

給新手的三個重點

• 先登錄，再相減：配置、題集、判分與方法都是成績的一部分。
• 先固定一層，再動另一層：工作比例與考題難度會透過不同路徑影響結果。
• 先寫可下結論的範圍：當下選型、長期趨勢、權重取得與實際部署各要不同證據。