CUA-Master 解讀：影片如何變成訓練任務，80.2 分證明了什麼？（2026）

2026 年 11 月 2 日，Xinlei Yu 等研究者在 arXiv 提交了論文〈CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements〉。CUA-Master 想回答一個很實際的問題：網路上已有大量軟體教學影片，能不能把它們轉成讓 AI 練習操作電腦、而且做完能驗收的訓練材料？

先抓住主線：作者回報的 27B 模型，在 OSWorld Verified 得到 80.2、OSWorld 2.0 得到 36.9。這是作者實驗中的基準分數，不能直接讀成「八成工作都能放心交給 AI」。下面先看影片如何變成任務，再核對測試的分母與設定，最後判斷這種改進循環值得期待到哪裡。

CUA-Master 的重點：讓資料製作跟著模型弱點改變

電腦操作代理（Computer-use Agent，CUA）要連續看畫面、按按鈕、輸入文字，必要時也使用命令列。難處往往出現在連續步驟之間：找到檔案以後，是否開對版本？修改完成以後，是否真的存成要求的格式？若只收集模型已經做得順的案例，增加資料量未必補得到這些缺口。

a nested double-loop recursive improvement framework.

中文：一套內外嵌套、由兩個循環構成的遞迴改進框架。

CUA-Master 論文摘要，框架名稱描述

依論文方法章節，內圈負責把外部示範轉成可組合、可驗證的新任務；外圈則依模型在哪些領域失敗，調整下一輪要找哪些影片、增加哪些訓練材料，再重新訓練。這裡的「遞迴」指一套反覆回饋的研究流程。要判斷它能改善多少，仍得看每輪的資料、訓練方法與驗收條件。

從教學影片到操作紀錄，中間還有三道轉換

第一道是找出值得學的片段。依作者描述，流程會先搜尋、去重與篩選影片，再結合帶時間戳的逐字稿與畫面，把一支影片中的不同工作拆開。開場聊天、廣告或只講概念的投影片，與可以重建的實際操作，需要分開處理。

第二道是把口述與畫面對起來。例如旁白說「接著匯出」，畫面卻還停在上一個選單；若只照字幕標動作，時間點可能錯開。CUA-Master 的雙路重建會對照語意中的操作提示與畫面的變化，再由標註模型複查操作邊界、座標與輸入內容。這是對影片的重建，不等於影片裡每個動作已在目標環境執行成功。

第三道是把一次示範拆成可以重用的能力單元。論文把它稱為 primitive：除了要做什麼，還保留前提、環境需求與驗證規則。我的示意例子是把「開啟表格、篩選資料、匯出檔案」拆開，再以不同檔案和條件組合；這只是說明方法，並非論文公開的一條實測紀錄。

這一段最值得留意的，是作者連同「題目、初始環境、驗收器」一起構造。若新任務只換了說法，模型可能練到的是措辭；若能改變檔案、狀態與跨軟體依賴，而且最後仍可檢查，才比較接近擴張操作能力。讀者也可用 Information Support Graph 的任務資料檢查，理解「題目缺前提」與「模型不會做」為何要分開。

失敗後回到快照：提高的是訓練紀錄的產出效率

在軌跡收集章節中，作者描述了帶回饋的快照回復：保存有效的前段狀態，在後段失誤時回到合適的快照，再依診斷重試；成功且較有效率的分支被留下作為訓練資料。這能減少整段重跑的浪費，但它回答的是「怎樣收集較好的練習紀錄」。

能在訓練環境回復，不代表正式工作中的每項動作都能撤回。這是部署時必須另行處理的條件：例如檔案修改、外部訊息或付款，影響範圍並不相同。設計測試時，應先限制動作與資料範圍，再決定哪些狀態可重設、哪些操作必須攔在執行前。想看模型之外的控制層，可接著讀 Agent Harness 的分工。

CUA-Master 的 80.2 與 36.9，先看計分方式再談能力

以下數值來自作者論文表 1 與模型卡，是同一研究團隊的結果；模型卡重列數字不構成獨立重現。本文查閱版本為 arXiv v1，查閱日為 2026 年 11 月 4 日。

測試	作者採用的操作設定	作者回報結果
OSWorld Verified	GUI-only	平均分數 80.2
OSWorld 2.0	GUI-only	平均分數 36.9
WeaveBench	GUI＋CLI	平均分數 43.9
Agents’ Last Exam	GUI＋CLI	整題通過率 25.0%

這張表有兩個容易讀錯的地方。首先，四欄的工具權限並不相同，不能把混合操作的成績直接當成只靠滑鼠鍵盤得到的成績。其次，前三項採平均分數，最後一項採整題通過率；局部條件拿到分，與完整任務驗收通過，是不同的交付標準。

外部原始資料提供了重要的對照。OSWorld 2.0 的原始論文描述了 108 個長流程任務，並把二元完成與部分得分分開報告。因此，CUA-Master 的 36.9 平均分數，不能直接拿去和其他報告的整題完成率排名。另一方面，XLANG 對 OSWorld-Verified 的介紹說明，這個名稱涉及對環境與任務品質的修正；名稱中的 Verified，也不能取代對某次模型測試程序的核對。

測試版本同樣需要釘住。查閱日的OSWorld-V2 官方倉儲已列出不同 release，並推薦 osworld-v2.1，要求任務、素材、網站與環境映像相互對應。若要重現或跨報告比較，應記錄實際 release、步數預算、評分器與操作介面；只寫「OSWorld 2.0」還不夠精確。本文沒有重跑整套訓練與基準，不把作者的分數改寫成 AlphaLab 實測。

循環能改進多少？強標註模型與訓練成本也在答案裡

作者在實作章節說明，模型以 Qwen-3.5-27B 初始化；各輪監督式微調從相同基底 checkpoint 開始，加入逐輪累積的資料，最後再做強化學習。這個細節意味著，迭代改善也來自資料集合與訓練流程的變化，不能只靠「模型又教了自己一輪」概括。

stronger annotators consistently yielding greater performance gains.

中文：更強的標註模型，持續帶來更大的表現增益。

CUA-Master 論文附錄 E，限制說明

這段限制很關鍵。作者承認，合成資料品質依賴有能力的標註模型，而大規模互動、紀錄收集、反覆訓練與虛擬機也有成本。它提出的是一條把外部知識、標註能力、執行環境和訓練連起來的路徑。有限輪次中的進步，尚不足以推出未來會持續加速，更不足以推出能不受資源與外部模型限制地自主改進。

如果要追蹤下一版，我會要求一組更能拆開因果的對照：固定標註模型、訓練算力與資料量，分別比較新影片、任務組合、快照重試及弱點導向選題的效果；再換一批未參與開發的流程，檢查提升是否仍然存在。這是下一步應收集的證據，不是本文已經驗證的結果。

AlphaLab 的判讀：有價值的是可驗收的擴張方式

一、影片提供新經驗，驗收器決定什麼值得留下

我同意從真實示範尋找新操作，因為它有機會打破只反覆練熟題的循環。但示範只是入口。若驗收器漏掉一個重要條件，資料流程可能把「剛好被判過關」當成正確解法，再把這個偏差放大。與其只問合成了多少任務，我更想看錯誤解法能否被抓住、同一成果能否被另一套檢查接受。這也可接到 AI Evals 的評估方法。

二、任務變多，與真正遇到新問題，要分開測

把幾個熟悉單元接長，可以提高步驟與依賴的難度；但它是否涵蓋新軟體、新狀態或未見過的限制，需要另外保留測試集來回答。對團隊而言，最好同時看「熟流程更穩了嗎」與「換了條件還能完成嗎」。兩者都值得改善，也各自需要證據。

三、27B 的參數量，不能代表整套系統的成本

小一些的執行模型可能有部署吸引力，但總帳仍包括資料取得、標註推論、虛擬機、訓練和執行時的工具成本。論文也提醒，時間數字會受部署方式與 API 速度影響。評估採用時，應算一項合格交付的總成本，並把覆核和重做時間列進去，而不是只把參數量當成效率證明。

四、我同意什麼，仍對什麼保留判斷

我同意讓模型弱點回頭影響資料製作，也同意把任務前提、操作環境與結果驗收綁在一起。我存疑的是，把這份論文的有限實驗擴張成「AI 已能不斷自主升級」的敘事。現有證據比較適合支持：這是一套值得繼續測試的訓練系統設計。它未來的價值，要由新任務上的可靠性與完整成本來兌現。

下一步：先挑一段有權使用、做完能檢查的工作

研究團隊可從官方程式倉儲閱讀資料與收集介面；倉儲說明也要求接上自己的 VM／sandbox 後端。一般使用者則可以先挑一個低影響、已獲授權的檔案工作，列出初始資料、允許動作與完成條件，再記錄哪一步失敗。這個小練習能幫你判斷：需要補的是示範、環境、模型，還是驗收規則。

若你正在評估桌面代理，多視窗與選檔交接案例提供了另一個觀察角度：工具送達操作，與工作真的完成，要各自留下證據。比較不同系統時，先固定這些條件，再看成績，會比追逐單一榜單數字更有用。