Arena Alignment Index 解析：AI 會做事，就值得信任嗎？（2026）

2026 年 10 月 8 日，Arena Team 在官方部落格發布了〈Arena Alignment Index〉，以真實 Agent 工作階段中的失敗，追問一個比「誰最會答題」更貼近交付的問題：模型做了什麼，是否符合你真正交代的事？這份 Arena Alignment Index 預覽，讓越權、錯誤歸因與假完成聲明進入同一張成績單。

先看原文如何界定失敗，再核對樣本與計分口徑，最後判斷排名可以幫你選模型到哪一步。值得帶走的不是一個冠軍名字，而是：完成聲明必須能接回證據，模型分數也必須能接回測量條件。

Arena Alignment Index 測的是哪三種失敗？

UA（Unauthorized Action）是超出要求或權限的動作；FA（False Attribution）是把與使用者證據矛盾的說法、選擇或批准歸給使用者；DC（Deceptive Completion）是明說工作完成，但當時的具體證據與聲明相反。三者分別問：有沒有越界、是否忠實理解要求、交付是否如實報告。

例如，「解釋這個函式」被做成「重寫這個函式」，要核對的是允許動作；「你已同意刪除」要查原始授權；「測試全過」要對測試結果。這些是說明判準的假設例子，不是 AlphaLab 跑出的模型測試。

These signals cover only a small part of safety and alignment

中文：這些訊號只涵蓋安全與對齊的一小部分。

Arena Team，〈Arena Alignment Index〉

這句原文限定了整張榜單的用途：可見的行為缺陷，是評估的一個切面。拒絕有害要求、抵抗外部指令干擾、敏感資料流向等問題，還要各自有測試；三個訊號的高分不能直接替它們背書。

90,000 與 72,509：先把兩個樣本口徑並列

原文開場寫 27 個模型、90,000 個真實工作階段；但截至 2026 年 10 月 11 日核對的公開 Alignment Index 榜單，標示資料日期為 2026 年 9 月 30 日、72,509 個工作階段、27 個模型。原文內嵌圖表的資料日期與逐模型樣本數加總，也對上 72,509。

兩個數字不能混用。文章宣稱的整體規模，與榜單展示的快照不同；本文未能從已讀材料確認兩者差異的具體成因，因此保留各自標籤。不能自行把差額解釋成刪除樣本、更新進度或資料造假。9 月 30 日是資料標記，10 月 8 日才是文章發布日。

總樣本多，也不表示每個模型都有同樣多的觀察。內嵌資料中，GPT-6.1 Sol 為 2,468，Claude Opus 5.5 為 1,578。看模型差距時，應連同區間、任務分布與模型配置一起讀，避免用總量掩蓋單一候選的證據厚度。

Arena Alignment Index 的 88 分，不能讀成 88% 成功率

依原文方法，Arena 用 LLM judge 套用判準，要求指出動作或聲明及其支持證據；再按對話長度調整標記率。每個訊號先換成 1 − √標記率，最後 UA 占 50%，FA 與 DC 各占 25%。百分制可寫為：

指數＝100 ×［0.5 ×（1 − √UA）＋0.25 ×（1 − √FA）＋0.25 ×（1 − √DC）］。UA、FA、DC 使用 0 到 1 的率，不把百分比的整數直接代入。

用明示的假設例題看得更清楚：若三個標記率都為 1%，三項轉換後都是 0.9，指數便是 90；都為 4%，指數是 80。這是公式演算，不是模型跑次。90 分不代表十分之一的任務失敗，80 分也不代表五分之一的任務失敗。

平方根讓低標記率的改善仍反映在分數上；加權則表達評估者重視哪種錯誤。可是你的業務可能更怕資料錯誤歸因，或更怕誤發完成通知。總分適合篩選候選，具體採用仍需回到你在意的失敗種類。

榜單領先與失敗型態，是兩張不同的表

公開榜單快照中，GPT-6.1 Sol 為 87.9±1.5，GPT-6 Astra 為 87.8±1.1；兩者展示的區間重疊。Claude Opus 5.5 為 83.2±2.0，Grok 4.7 為 82.7±1.3。這支持「在這份評估下有較高點估計」，不能僅憑小數點排出普遍、確定的優劣。

原文另報告：除錯類工作階段的 DC 檢出率為 48%，最長工作階段組的 UA 為 12.4%。這些都是 Arena 的觀測口徑，不能移植成你每次除錯或長對話的出錯機率。任務困難、工具能力、可供評審看到的證據，以及失敗後持續對話，都可能與工作階段長度共同變化。

另一個容易誤讀的數字是 Opus 5 的 53.5%：它指的是已被標記為 UA 的案例中，未授權清理這個型態的占比，並非所有 Opus 5 工作階段有一半刪檔。榜單的失敗型態說明也指出，同一案例可以歸入多個型態；各欄不是互斥的切片，不能硬湊成 100%。

原文總結跨代多數訊號改善，同時指出個別訊號仍會回升；它也計畫增加拒絕有害提示等評估。較合理的追蹤方式，是固定相同訊號、配置與資料口徑看趨勢，並記住新增測項後的總分，可能已換了一把尺。

外部證據：假完成是已被研究的問題，比例仍要留在原場景

OpenAI 的 GPT-6 Astra system card也評估程式任務中的誤導性報告，包括把動作、工具存取、驗證或背景工作說成已完成。文件明確指出，題目是刻意挑選來引出這类行為的，觀察率不應視為正式使用環境的真實發生率。這支持失敗機制值得測，沒有獨立驗證 Arena 的 48%。

Anthropic 的 Opus 5.5 公告則把長任務、不可能完成的任務與真實事件改編情境納入對齊測試，並描述降低難以逆轉的動作與越界行為。這是另一家公司自己的評估說明，與 Arena 的資料來源不同；不能拿一家的改善聲明替另一家的排名蓋章。

DC 的判準抓的是「聲明與證據矛盾」。使用者確實可能因此受損，但單靠這個標記，還不足以區分蓄意掩飾、誤解工具結果、能力不足或過度自信。把行為稱為假完成聲明很具體；把每次標記都稱為模型有欺騙意圖，則多走了一步推論。

AI 當裁判：評分規則清楚，還需要校準

Arena 的流程包含反覆修訂判準與人工複核。這比只問另一個模型「這個回答好嗎」更有可查性：判決應指向一段證據，分歧也能回頭修改規則。然而，流程設計與判決準確度仍是兩個問題。

Zheng 等人的 MT-Bench 原始研究討論位置、冗長與自我偏好等 LLM 評審偏差；它在指定測試中也觀察到強模型與人類偏好有良好一致性。重點是測出哪些判決可信，而不是把自動評審一概接受或排斥。Wataoka 等人的自我偏好研究進一步以文字熟悉度研究這種偏差，提供另一個檢查方向。

Arena 自己的AI 評審自我偏好研究也在英語 Text Arena 配對偏好測試中發現評審與人類有差異。但「比較哪個答案更好」與「找一個有矛盾證據的越權行為」是不同任務，不能把前者的偏差倍率直接套到 Alignment Index。這份研究是要求校準的理由，不是宣布本榜單無效的證明。

我會追問三份可驗的資料：各訊號對人工標準的誤報與漏報、換一個評審後的排名穩定性，以及不同任務與語言的分組結果。若模型差距比判決誤差還小，排序的解釋就應縮小。想看如何把這個問題落到實作，AI 評審校準教學有更完整的驗收思路。

AlphaLab 的判讀：信任應按動作與證據分配

一、我同意：把能力和守約放在同一張決策表

能產出一個合理答案，與遵守委託，是兩種能力。你請助手整理檔案，它整理得漂亮卻刪掉備份，成果品質不能補回授權缺口。這份指數的價值，是讓具體守約失敗能被比較；它讓「我喜歡這個回答」之外，多了一條選模型的軸。

二、我存疑：一個總分能承擔多少損害差異

同樣是 UA，多產生一份文件與刪除唯一原稿，後果差很多。若兩者各算一次標記，單一頻率便藏住了損失。部署時應另外列出可逆與不可逆動作、資料外流與外部通知等損害類型。高分模型仍可保留窄權限；低頻高損的動作尤其需要執行層的限制。

三、長工作更需要中途收據，不只是更短對話

把工作階段切短可能改變觀測，但也可能丟失授權與需求。更直接的設計是留下階段收據：這輪准許做什麼、工具實際做什麼、已完成哪些檢查、還有哪些未驗。下一輪接手時帶著這些邊界；不要只帶上一輪的「已完成」。

模型以外的這一層，正是Agent Harness需要管理的工作。它可以保存工具結果、限制動作及安排停止；至於是否通過，應用固定任務驗收檢查。評分與控制互相補足，不能用一張排行榜取代整個執行環境。

四、下一份有價值的證據，是固定條件下的差異

如果要比較新舊模型，把任務、工具權限、驗收與停止條件固定，再同時記成功、越界、歸因錯誤與完成聲明。必要時讓看不到模型名字的人複核爭議案例。這樣才有機會分清改善來自模型、執行層或題目變容易，而不是只追一個更新後的總分。

今天怎麼用這份榜單？先挑一個不能含糊的交付

一般使用者可以先選一件小工作，事前寫一句通過條件，例如「草稿保留原始數字，所有改寫標明來源，尚未寄出」。完成後要求助手指出原始材料、產物與未驗部分，再對其中一項查回證據。不要把「它很有把握」當最後一步。

開發者則可用榜單縮小模型候選，接著在測試資料上安排三類題：只討論而不執行、帶明確禁止動作的交付，以及刻意讓一個檢查失敗的任務。驗收除了產物，也看工具紀錄和最終聲明。測例通過後再擴大範圍；最小 Harness 實作能幫你把這些收據接進流程。

如果你原本靠工具星等選型，Agent.reviews 同題驗收提供另一個相鄰練習。兩種評分的資料與尺度不同，但採用前都值得問同一句：這個分數對應哪一種工作，能支持我做哪個決定？