跳到主要內容

OpenAI Performance Factory:Codex 找到根因後,誰確認真的修好?(2026)

最後更新: ·
Performance Factory 效能修復後的驗收:OpenAI 官方流程視覺與修好以後誰來驗收鉤子

2026 年 11 月 19 日,OpenAI 的 Okay Zed 與 Cyrus Forbes 在官網發布〈How OpenAI’s Performance Factory keeps ChatGPT fast〉,介紹用 Codex 處理正式服務效能退化的 Performance Factory。這份工程案例最值得追問的是:AI 找到一個看似合理的原因之後,誰負責證明它真的修好了?

OpenAI Performance Factory 工程文章原始頁面與發布日期
畫面/OpenAI 官方原文;AlphaLab 依當次取得的網頁內容擷取並加上瀏覽器外框。點圖可開啟原文。封面流程視覺亦取自這篇文章,經裁切排版。

先看原文提出的工作分工,再核對數字與因果證據,最後討論哪些設計值得帶進自己的 Agent 系統。這裡談的是 OpenAI 已在內部使用的流程;公開的是工程經驗,讀者不應把這篇公告理解成一項現成服務的開放申請。

一、Performance Factory 把工作接到哪裡?

原文描述的路徑,是從工程師自己看監控、請 Codex 協查,走到把經驗寫成可重用的調查技能,最後由系統接收警報、保存任務並安排後續工作。核心改變在於:一份診斷交出去後,任務還有下一站。

OpenAI 從人工排查走向 Agent 工廠的六階段示意
圖/OpenAI。這是原文對工作方式演進的示意,不是各階段生產力的量化比較。

把它想成一張持續流轉的維修工單:警報只是開單;原因、修法、批准與驗收,各自要留下證據。人下班、Agent 結束一輪、等待部署時,工單仍應交代目前卡在哪裡。若想先理解模型與外層系統的分工,可接著讀Agent Harness 白話入門。

二、四個零件:讓任務能等,也能接著做

依原文,系統由任務服務、派工迴圈、雲端 Codex 執行與事件訂閱組成:工單保存進度,派工器找出可以繼續的工作,雲端環境提供程式與觀測工具,事件則在評論或部署後喚醒任務。調查資料留在單一 Agent 上下文之外,才方便換人接手。

Performance Factory 的任務服務、派工、雲端執行與事件訂閱架構
圖/OpenAI,原生架構圖。實線表示工作與進度,虛線表示喚醒事件;雲端執行與事件等待是不同部分。

這裡可以提出一個設計檢查:如果同一個部署事件送來兩次,系統會不會重做同一項修改?如果 Agent 跑到一半中斷,下一輪能否知道哪些動作已經發生?這些是本文從架構推導的實作問題,並非宣稱原文已公開每個重試與鎖定細節。

因此,持久任務應保存的不只是聊天摘要,還包括證據所在位置、已執行動作、下一步條件與停止理由。模型可以替換,這些交接紀錄仍要能讀懂;否則把一次長對話切成多次短執行,只是把遺忘的位置換了地方。

三、1,700 次調查,不等於修好 1,700 件事

OpenAI 回報,在三個多月內追蹤逾 1,700 次調查、替逾 600 個案例找出根因;另在人工審閱的 100 份根因建議中,將 70% 評為準確,30% 仍需補強或未充分建立因果。這些是公司內部統計與評分,本文未取得可獨立重算的逐案資料。

三種分母要分開:調查次數衡量處理量;根因建議的人工評分衡量指定樣本的診斷品質;上線後的恢復,才接近使用者是否少受影響。前兩個「超過」數字相除,也不能推出一個精確成功率,更不能把 70% 套成自動修復成功率。

若要評估一套同類系統,我會另外要四欄:全部案件中哪些真正結案、從警報到恢復花多久、工程師審查與返工花多久,以及修改引入多少新問題。這是建議的驗收口徑;這篇公告的調查量,並沒有替這四欄逐一作答。

四、反駁診斷,比再找一位同意者更重要

原文把另一輪 Codex 審查放進流程,專門挑戰先前的解釋。這個安排值得注意的原因,是「找到一個說得通的故事」與「排除其他故事」需要不同的證據。審查若只是重讀同一份摘要,很容易連同最初的盲點一起接收。

Google SRE 的故障排查章節早已把診斷描述成反覆提出假說、尋找支持或反駁證據的過程,也提醒共同原因與巧合可能造成相關。這支持的是排查方法的合理性,並不獨立證實 OpenAI 的內部準確率。

例如,假設一個版本上線後延遲變高:要先查實際接到新版的請求,再找相近、未接到新版的請求對照。還要問流量組成是否改變,以及回退後同一類請求是否恢復。這是說明因果檢查的假設情境,不是 AlphaLab 重現的事故。

我會要求審查者交出「哪份證據會推翻這個診斷」,並允許任務回到調查中。這樣,第二位 Agent 的價值才來自新的檢驗,而非多一張贊成票。這種區分也適用於新模型的編碼與交付評估:回答流暢、測試通過、工作完成,各有自己的判準。

五、修法交給工程師,驗收仍要回到服務

Getting fixes right has been harder than finding the cause.

中文:把修法做對,比找出原因更困難。

OpenAI,2026 年 11 月 19 日工程文章

這句原文比「自動化整個流程」更能交代現況。找到一段可疑程式,不代表修改它就兼顧效能、資料正確性與維護成本。快取可以減少等待,也可能改變資料的新鮮度;是否值得,取決於服務承諾。

decides whether to merge it.

中文:決定是否合併這項修改。

OpenAI,2026 年 11 月 19 日工程文章

這個片語的主詞是工程師:原文說由工程師審查 PR 並決定合併,部署後再由 Agent 檢查恢復;它把進一步自動放行低風險修改列為探索方向。目前的案例,不能被改寫成 AI 已全面自行決定正式環境上線。

驗收也要問「跟誰比」。Google SRE 的 Canary 部署章節指出,單純比較變更前後容易混入時間與流量差異,對照組也可能受共用依賴影響。因此,指標下降是重要觀察,還要核對受影響請求、觀察窗口與其他同時發生的變動。

我的判斷是,恢復檢查應在修改前寫好:追哪個服務指標、看哪群請求、觀察多久,以及什麼條件需要回退。等看到一條漂亮曲線後才選驗收口徑,會讓「修好了」變得太容易。這與AI 晶片設計的分層驗收相通:提案被採納與整體成果改善,需要不同證據。

六、AlphaLab 的判讀:瓶頸可能移到人的注意力

我同意:把等待與交接寫進系統,才接近能長期運作

這份案例有價值之處,是把調查、質疑、修改與恢復放在同一張工作單裡。公司還描述了案件去重與排序、歷史事故回測、交接摘要評估,以及找出工具與權限故障的日常檢查。它們共同指向一件事:做事的 Agent,也需要被觀測與維護。

從這裡推論,團隊採用 Agent 的投資不宜全放在提示詞。若監控取不到資料、權限失效、事件漏接,再強的模型也可能停在不完整證據上。應把「工具壞了」與「沒有找到原因」分開,才知道下一輪要修系統還是修診斷。

我存疑:調查變多,是否真的讓服務恢復更快?

一份可信的診斷仍要有人看。若供給增加的是報告,審查容量卻沒有跟上,佇列可能變長;如果摘要省掉關鍵不確定性,又可能以較快批准換來更昂貴返工。這是工作流程的容量問題,不能靠增加 Agent 數量直接回答。

OpenAI 同時是這套流程的使用者與 Codex 的供應者,因此案例既有實際營運經驗,也有展示自家工具價值的動機。動機不會讓數字自動失真;它提醒讀者,正式採用仍應檢查自己服務上的總投入與改善,而不是借用對方的調查量。

下一份值得追的證據:同一批事故,少了多少總損失?

最能改變我判斷的,是固定案件範圍後,同時報告恢復時間、受影響請求、人工投入、回退與重複開案。原文提出更主動找問題、擴充工作流與提高自主性的方向;要判斷它們是否成功,就讓這些承諾接受同一套對帳。若關心更長期的演變,可讀AI 自我改進的敘事分析,同樣保留每一層的證據邊界。

七、現在怎麼借鏡:先讓一張工單能被接手

開發團隊可以先挑一類已知、可回放的事故,在隔離環境練習。第一輪先用只讀觀測權限交出診斷與可追查的證據,再由另一輪嘗試推翻它;提出修法時,另附測試、預期副作用與回退條件。這是建議的試行方式,本文未連入 OpenAI 內部系統或執行效能修復。

替這張工單填好五件事:目前狀態、支持與反對證據、誰有權批准、下一個喚醒事件,以及怎樣才算恢復。刻意測一次工具失敗、一次重複事件、一次診斷錯誤;確認系統會留下未完成事項,而不是替自己宣布成功。涉及正式服務時,依既有事故處置流程優先減少使用者影響,別為了等待完整診斷延後必要止血。

只想理解趨勢的讀者,則可以用同一個問題讀下一篇 Agent 新聞:它交出了一份答案、一個修改,還是一個經過驗證的結果?Performance Factory 最值得留下的啟發,是把「完成」綁到外部證據,並讓錯誤判斷有路可退。

接著閱讀

左右滑動查看更多推薦

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。