Waypoint-OPD 解析：教師改口時，學生還要照學嗎？（2026）

2026 年 10 月 15 日，Bingxi Hou 等七位作者在 arXiv 提交了〈Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation〉。這篇 Waypoint-OPD 解析追問一個有意思的問題：教師最後比以前更強，是否代表它一路上的每種改變，都值得學生照著學？

先看作者如何利用訓練中途留下的版本，再拆開六組數學與程式成績，最後判斷這套篩選方法值不值得追。最值得留下的想法，是把「最後改了多少」與「前後是否朝同一方向改」分開看。

Waypoint-OPD 解析：學生要學的是教師的改變

蒸餾可以理解為讓一個模型向另一個模型學習。On-policy 的意思，是學生先生成自己的回答，教師再評估學生實際走到的文字前綴，而不是只讓學生背教師寫好的範文。Agarwal 等人的原始研究已把這種學生自行生成、教師提供回饋的設計說清楚。需要補底層概念，可以先讀 大型語言模型如何運作。

下一步，是不要把教師的整套偏好都當成目標。Direct-OPD 原論文比較同一教師在強化學習前後的機率：哪些下一個 token 變得較可能，哪些變得較不可能，再把這個差異當成學生的學習訊號。這條路甚至可以由較小的教師，把訓練得到的改變傳給較大的學生。

另一篇 On-Policy Delta Distillation（OPD²）也研究教師與基礎模型之間的差異，並用它與一般蒸餾訊號的符號是否一致來篩選更新。因此，Waypoint-OPD 的新意要放在「多看訓練時間軸的一個點」，不能只說成發明了選擇性蒸餾。

多留一個中途版本，能看見終點藏住的折返

想像兩個人都從起點向右移動一格。甲先右移半格，再右移半格；乙先右移兩格，再左移一格。只看起點與終點，兩人相同；看中途位置，就知道乙曾折返。這是方向資訊的示意，不是模型實測數字。

作者保留同一次教師強化學習的 Initial、Waypoint、Final 三個 checkpoint：起始、中途與最後。學生每生成一段前綴，取它最可能接續的 16 個 token，由三個凍結的教師版本評分。比較的對象，是這些候選之間的相對偏好如何改變，不是教師整段回答看起來是否一致。

Waypoint supplies consistency evidence rather than an imitation target.

中文：中途版本提供的是一致性證據，而不是要學生模仿的目標。

Waypoint-OPD，Section 3

具體做法是先扣除候選的學生機率加權平均，再用加權餘弦比較早期與晚期的改變。兩段方向越一致，gate 越大；在可定義方向時，餘弦小於或等於零就把這個前綴的端點訊號關掉。同一個 gate 套在該前綴的所有候選上，不是逐字判定哪個 token 說得對。

有一個容易漏掉的例外：任一段變化的加權範數不超過 10⁻⁸ 時，作者把 gate 設為 1，保留原訊號。之後另做批次縮放，穩定平均 gate 尺度；縮放後的有效乘數可以超過 1。因此，把它描述成「所有不一致都刪掉」或「只會降低學習強度」都不準確。

用簡式記，就是「候選的學生權重 × gate × 起點到終點的中心化改變」，再乘上批次縮放。學生更新還保留相對自身初始版本的 KL 約束，避免只追教師訊號而偏移過遠。想先分清訓練與推論，可以接著看 AI 模型如何學習。

Waypoint-OPD 解析成績：六組平均領先，不是每一項都贏

作者分別以數學與程式強化學習訓練 Qwen3-4B 教師，預設中途與終點是第 600、1,200 步；學生為 Qwen3-8B、14B、30B-A3B。三種學生乘兩個領域，構成六組設定。以下是論文表 1、表 2 的作者自報結果，AlphaLab 未執行這組 GPU 訓練。

領域／學生	Direct-OPD	Waypoint-OPD	差值（百分點）
數學／8B	53.96	56.14	＋2.18
數學／14B	57.61	59.20	＋1.59
數學／30B-A3B	55.96	57.85	＋1.89
程式／8B	50.59	53.25	＋2.66
程式／14B	56.30	57.82	＋1.52
程式／30B-A3B	56.35	57.54	＋1.19

數學是七個基準的等權平均，各題先平均 32 次生成的正確與否，稱 mean@32；程式則平均八次生成，稱 mean@8，再等權平均五個評分。它不是「32 次裡只要有一次答對」的成功率。多次生成也不能直接當成多個訓練隨機種子的重跑。

六組平均都高於所比較的蒸餾方法，是這份表能支持的主張。逐項看則有例外：14B 的 HMMT 2025 年 11 月由 Direct-OPD 的 47.60 降至 47.08；30B-A3B 的 HMMT 2026 年 2 月由 33.05 降至 32.77。程式表也有 OPD² 在個別項目較高的情況。平均改善與局部退步可以同時成立。

程式的「五個評分」也不是五套完全獨立的題目：MBPP 與 MBPP+ 使用同一批題，後者加上更多測試。EvalPlus 維護者文件確認 MBPP+ 的 378 題版本及強化測試設計。這支持作者的評測描述，不替 Waypoint 的分數提供獨立重現；把兩種測試各算一欄，等於讓這批題在平均裡有兩個位置。

消融讓機制更可信，但不能把增益全算給 gate

在 Qwen3-8B 數學設定，完整方法平均 56.14；移除 gate 為 53.50，打亂 gate 與前綴的配對為 51.20，移除批次縮放則為 55.22。這組對照支持「權重應該放回產生它的那個前綴」，也顯示縮放帶來額外的平均效益。

不過，移除 gate 的版本仍保留中心化及縮放規則；Direct-OPD 與完整方法間也有其他差異。不能把它們的全部差距叫作 gate 的純貢獻，更不能把不同消融的差值直接相加。這是作者在 Section 5.3 自己交代的邊界。

中途位置的測試也有用：第 500、600、700 步的數學平均分別為 56.18、56.14、56.13，相差 0.05 個百分點。這支持「這個設定下附近幾個位置都可用」，但要推廣到任意訓練路徑或任意模型家族，仍需更廣的對照。

額外一次評分，為何作者反而量到略短的總時間？

相較端點方法，Waypoint 多了一個凍結教師的評分 pass。這是額外運算，不等於總訓練時間必然增加；生成長度與執行安排也會影響總耗時。附錄 H報告 Qwen3-8B 數學的 100 步訓練，在八張 H20 上由 8 小時 21 分 3 秒變為 8 小時 2 分 21 秒，少 18 分 42 秒，約 3.73%；時間不含評測。

同一次報告裡，Waypoint 在多數步的平均回答較短，平均觸及 16,384-token 上限的比例由 14.83% 降至 11.97%。這提供總時間較短的一個相容解釋，還不是把因果拆乾淨的證明。評分成本、生成成本、硬體利用率與評測時間應分開量；不能把 3.73% 當成各種設備通用的省時承諾。

AlphaLab 的判讀：值得保留訓練路徑，還要讓正確性另有裁判

一、我同意：端點一樣，沿途證據仍可能改變教法

起點與終點的差異，能告訴你總共改了多少；中途版本則增加方向資訊。Waypoint 的機制最有力之處，是把這個額外資訊變成可拆解的權重，而不是把中途版本直接當成更好的教師。對訓練團隊，這讓保存 checkpoint 多了一項可測的用途。

Directional agreement alone does not guarantee beneficial supervision.

中文：方向一致，本身不保證監督訊號有益。

Waypoint-OPD，Section 3.2

二、我存疑：走得一致，是否就走對了？

一個錯誤偏好也可以一路增強；一次正確修正也可能看起來像折返。gate 測的是方向關係，正確答案則是另一種資訊。作者在學生轉移階段使用教師分數，答案判分用於評測；教師先前的強化學習仍有自己的訓練資料與回饋。不能把「轉移時不用 verifier」擴寫成整條研究流程不需正確性檢查。

三、驗證集也進總分，應另看未參與選版的題目

論文 Section 4.1 明說，數學與程式學生都用 AIME 2024 的驗證準確率挑選 checkpoint；數學總平均又包含 AIME 2024。這不等於造假，但該欄不適合作為完全未參與選擇的泛化證據。更有說服力的下一步，是把選版集與最終測試分開，並在相同訓練種子與多次獨立訓練下比較平均和波動。AI Evals 入門能幫你把題目、分母與驗收條件分清楚。

四、可讀的程式碼，是重現的起點

截至 2026 年 10 月 18 日，作者程式庫的 README列出 Linux、Python 3.12、NVIDIA GPU 與相容 CUDA 環境，預設一個節點八張 GPU；也明說權重未隨庫提供，且全新環境的安裝尚未驗證。重現者要先取得所需教師與學生 checkpoint，核對資料及執行環境；不能把公開程式庫直接讀成一鍵可重現。

Hugging Face 的推薦與投票，可以幫人發現論文，無法回答這些比較是否在別的團隊成立。本篇因此不把社群票數當作成效證據，也不把作者的六組平均改寫成所有模型都有效。

下一步：讓一個額外 checkpoint，回答一個額外問題

如果你只是使用模型，這篇研究還不足以讓你更換日常工具。可以先在原表挑一個平均領先、單項退步的例子，練習問「我在意的任務，會不會正好是那一欄？」本機模型評測表提供把總分拆成自己工作條件的另一個起點。

若你正在訓練模型，先盤點是否已有同一條 RL 路徑的三個版本、相容 tokenizer 與可承擔的評分資源，再設計 Direct-OPD、完整方法、移除 gate 與打亂 gate 的同條件對照。固定未參與選版的考卷，保留訓練波動、完整耗時與逐題退步，不只保留最漂亮的平均。量化選擇指南則提醒，後續部署還有精度與資源的另一層交換，不能由蒸餾成績代答。

Waypoint-OPD 值得追，是因為它讓「教師改變的過程」成為可檢查的訓練材料。下一份能提高信心的證據，是不同團隊、不同家族與獨立考卷仍保留優勢；在那之前，先把方向一致與答案正確，各自放回自己的成績單。