跳到主要內容

OpenAI 共同 AI 訓練偏好解析:robots.txt 新訊號,誰來確保遵守?(2026)

最後更新: ·
AI 訓練偏好共同訊號示意:拒絕訓練,誰來執行?

2026 年 10 月 30 日,OpenAI 在官網發布了〈Making it easier for websites to express AI training preferences〉,承諾採納共同的 AI 訓練偏好訊號。網站經營者有望少維護幾份廠商規則;但公告的時態很重要:這是一項準備實作的自願承諾,不能當成已啟用的全網退出開關。

OpenAI AI 訓練偏好公告的原文標題與發布日期
圖/OpenAI 官方公告;AlphaLab 擷取原文頁首並加上瀏覽器外框。點圖閱讀原文。

先看 OpenAI 究竟承諾什麼,再沿著公告連到技術草案與其他業者的原始說明,最後回答一個實際問題:當網站說「別拿去訓練」,從表達意願到真正被遵守,中間還缺哪幾步?

AI 訓練偏好的新承諾:少寫幾份規則,保留原有控制

原文的核心很簡單:讓參與業者讀取同一個 robots.txt 訊號,減輕網站逐家維護設定的負擔。OpenAI 將實作目標放在未來幾個月,並表示實作時會再公布細節;現有控制會繼續適用。它也把這一步放進 IETF AI Preferences 工作組持續討論的背景,邀請更多業者加入。

This new signal will not replace the controls we already provide through robots.txt.

中文:這個新訊號不會取代我們目前透過 robots.txt 提供的控制。

OpenAI,2026 年 10 月 30 日公告

這句保留條款,比「統一退出」的口號更適合拿來做決策。共同訊號提供一個廣泛選擇,廠商專屬規則則可能處理例外。要評估的因此有兩件事:共同語言是否減少維護工作,以及遇到衝突時,每家究竟怎麼讀。

AI 訓練偏好草案說了什麼?用途與抓取分開看

公告連到的 Machine-Readable Training Preference Signal 第 00 版,於 2026 年 10 月 30 日發布,作者為 Kevin Kelley,列出的任職機構是 Anthropic。Datatracker 把它標成 個人提交的 Internet-Draft,並明示未獲 IETF 背書。草案參考工作組成果,與已成為正式標準,是兩個不同階段。

這份草案以 __usage_ai-training 作為用途 token,沿用 robots 的群組與路徑語法。「訓練」在這裡指用內容修改生成式模型的已學參數。以下示例表達整站反對這種用途;它描述草案語法,並非 OpenAI 已上線的操作保證。

User-agent: __usage_ai-training
Disallow: /

This policy token is not a directive for crawling behavior.

中文:這個用途 token 不是爬取行為的指令。

草案第 4.4 節

草案把用途偏好與各 crawler 的抓取規則分開;第 4.2 節也特別規定,User-agent: * 不匹配這個用途 token。若網站只寫萬用群組,不能據此聲稱已透過新機制表達訓練偏好。第 4.5 節則容許業者把專屬用途規則視為更具體,也容許私人協議優先。共同語法的價值,是讓選擇可被一致傳達;要理解最後結果,仍需閱讀業者的優先順序。

其他業者的原始公告,證明了參與,也揭示差異

Google 同日公告提供了一個具體例子:在未明列 Google-Extended 時,它計畫把共同訊號的退出選擇解讀成禁止 Google-Extended;既有專屬控制仍會並存,目標支援時間是 2027 年。這份說明支持「共同訊號可以被多家採用」,也提醒我們不能只看共用 token,忽略個別實作。

Microsoft Bing 的同日公告則把訓練與 grounding 分成獨立偏好。Grounding 可理解成在產生回答時,把網頁內容拿來作為依據。Microsoft 表示,將從 2027 年 2 月 1 日起隨重新爬取開始尊重新設定,並提供頁面層級選項。這是 Microsoft 的時程與擴充,不能搬成 OpenAI 的功能或上線日期。

這兩份原始公告,是其他參與者的公開承諾,並非對 OpenAI 實作成效的外部稽核。它們讓新聞更具體,也把下一個該追問的問題指出來:同一個選擇,能否在不同資料管線得到可解釋、可追查的處理?

現有 OpenAI 控制,已經把搜尋與訓練拆開

OpenAI 爬蟲文件把 OAI-SearchBot 與 GPTBot 的 robots 設定列為獨立選項:前者服務搜尋,後者抓取可能用於生成式基礎模型訓練的內容。文件明示,網站可以允許搜尋,同時拒絕訓練用途。ChatGPT-User 另用於使用者觸發的動作,文件說明這類請求可能不適用 robots 規則。這些差異值得分欄記錄,避免把三種活動都叫作「AI 來抓」。

如果你想比較「表達偏好」與「直接拒絕進站請求」,可接著讀 RFC 9309。它明確指出,robots 規則並不是存取授權機制。AlphaLab 的 Cloudflare AI 爬蟲政策解析則從 CDN 控制角度處理這兩層;那是另一種執行問題,不能只靠共用語法解決。

AlphaLab 的判讀:共同語言有價值,下一關是可問責

一、降低表達成本,能讓更多網站做出真正的選擇

對小型網站而言,逐家追規則本身就是成本:要認名稱、讀文件、處理新業者,再確認舊設定有沒有變義。共同訊號若被廣泛採用,就能把大部分人的一般意願先表達出來,再用少數例外補充。這個收益不需要先證明模型變聰明,也不應用模型能力的尺度衡量。

二、少了一份設定,不表示少了一份責任

網站看到請求,只能先觀察誰來、何時來、取走哪個路徑。資料之後流向搜尋索引、回答上下文或訓練資料集,要靠接收方的系統記錄補齊。我的判斷是:真正值得增加信任的里程碑,應包含資料取得時的偏好版本、下游用途隔離,以及發現誤用後如何處理;只有公告參與,證據還停在承諾層。從 Wikimedia 與公共網路成本的案例往回看,也可以練習站在網站營運者一側,列出自己希望對方提供哪些可核對的紀錄。

這與 OpenAI 失配監控解析裡的問題相通:觀察到訊號,與系統真的採取行動,需要分別驗證。若你的團隊自己開發讀網頁的 Agent,Agent Harness提供理解執行責任的起點;偏好應進入資料處理規則,不能只停在模型讀過的一段文字。

三、我同意共同介面,對「已拿回控制權」保留判斷

我同意的部分:讓網站一次表達廣泛意願、再保留個別業者例外,是比無限增加廠商清單更合理的方向。共同介面也讓外界較容易提出明確問題:這個路徑、這個時間、這個偏好,應得到什麼處理?

我存疑的部分:把參與聲明直接等同全面保護。評估它是否成功,我會分三階段看:公開實作規則;到達承諾時間後可核對系統行為;最後讓適當的外部檢查碰得到下游用途證據。這是建議的驗收標準,不是本文已量到的成效。

現在能做的事:先寫選擇,再整理待驗收的承諾

網站經營者可以先做一張簡單的政策表:哪些公開內容希望被搜尋找到、哪些願意供回答引用、哪些願意參與訓練;再對照各家現有控制,保留目前有效設定與備份。若準備加入草案 token,把它記成新增的用途聲明,逐家登記承諾時間與優先順序,不要因新公告而先刪掉舊規則。

機密文件則應放在實際的存取控制後面。對已公開的內容,保存 robots 變更時間、路徑與可觀察的請求證據;對無法從本站日誌看見的訓練用途,明列需要供應商回答的部分。要建立驗收方法,可參考 AI Evals 入門:把「聽起來有保護」拆成可回答的小問題。

這則新聞值得期待的,是讓網站的意願更容易被聽懂;下一次值得報導的,則是業者如何證明自己真的照做。今天先把「已表達」「業者已承諾」「已驗證遵循」分成三欄,你就比較不會把未來式讀成既成事實。

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。