DISCOVER 符號結構：神經網路向量裡真的有符號嗎？（2026）

2026 年 8 月 30 日，R. Thomas McCoy、Paul Soulos、Tal Linzen 與 Paul Smolensky 在 arXiv 發布預印本〈The Emergent Symbolic Structure of Artificial Neural Networks〉。這篇 DISCOVER 符號結構研究問了一個很老、卻始終沒有好答案的問題：神經網路看似只是在搬運高維向量，裡面是否仍藏著「誰在什麼位置、扮演什麼角色」的可讀結構？

答案比「有」或「沒有」更有意思。研究團隊提出 DISCOVER，把人類事先假設的「內容（filler）」與「角色（role）」組合，擬合成神經網路的隱藏表徵；在受控的算術、邏輯、程式與語言任務中，這些近似向量不只常能接回原模型繼續工作，定向改寫它們還會讓答案朝預期方向改變。這使證據跨過了「能解碼」的門檻，走到「可以替換、可以介入」；但它仍不是整個 LLM 已被還原成符號程式的證明。

這份研究在發布後迅速引起討論。Hacker News 討論串在 2026 年 9 月 3 日 06:17（台北時間）的官方 API 快照中為 269 點、95 則子留言；熱度之外，更重要的是把範圍說準：七個模型的廣度測試，和 GPT-OSS-20B 的六任務深度測試，是兩組不同實驗。

先把原文放在桌上。點擊下面截圖會在新分頁打開 arXiv 全文；接下來我會先還原 DISCOVER 到底做了什麼，再分開檢查三層證據，最後說明這項結果真正改變了什麼、又有哪些頭條讀法跨得太遠。

---

DISCOVER 找到的不是「符號」，而是一套能工作的座標系

先用一個通訊錄來想。名字「小林」是內容；「收件人」「寄件人」「主管」是角色。只知道句子裡出現小林還不夠，真正影響意思的是小林被綁在哪一個角色上。Tensor Product Representation（TPR）的基本做法，就是把每個內容向量與角色向量綁定，再把所有配對相加。

這不是 2026 年突然冒出的概念。Fodor 與 Pylyshyn 在 1988 年以「系統性」難題挑戰連結主義：如果一個系統能理解「甲愛乙」，為何通常也能處理角色對調的「乙愛甲」？本篇共同作者 Paul Smolensky 隨後在 1990 年提出TPR 的角色—內容綁定方案。36 年後的真正新意，不是再設計一個有符號能力的網路，而是反過來問：沒有內建 TPR 的普通神經網路，訓練完後是否也會長出與 TPR 等價的幾何？

DISCOVER 再多做一步：學一個仿射轉換，把這套明確的符號座標映射回目標神經網路的向量空間。這也是 DISCOVER 符號結構假說的核心，式子可寫成 ETPR = W Σ(fi ⊗ ri) + b。這條式子看起來簡潔，背後卻仍有內容嵌入、角色嵌入與大型映射矩陣要學；「閉式表達」不等於參數很少，更不等於推理成本已下降。

流程的關鍵不在把向量畫得漂亮，而在最後一步：先讓原本的目標模型產生表徵，訓練 DISCOVER 去貼近它，然後把 DISCOVER 產生的近似向量塞回原本的解碼器。如果答案仍正確，表示這套角色—內容分解至少保留了下游任務真正會用到的資訊。

但這裡有一條不能略過的紅線：目前版本是監督式的。研究者先決定要找哪些內容、哪些角色，再問這種結構能不能重建表徵。以算術為例，角色會包含數字位於哪個運算子旁；以語言為例，角色來自研究者寫的剖析規則。DISCOVER 因此比較像一台嚴格的「假說測試器」，而不是把未知概念自動從模型腦中挖出來的顯微鏡。

---

三層證據要分開看：小模型、七個 LLM、再到一個 GPT-OSS

這篇論文容易被一句「跨七個 LLM、橫跨四大領域」壓扁，但實驗其實分成三層，而且每層回答的問題不同。

證據層級	實際測試	結果能支持什麼
四種小型架構	MLP、GRU、Transformer、瓶頸 Transformer；複製、反轉、交錯字母序列	把近似向量接回原 decoder 後，12 組架構×任務中最弱的雙向角色平均任務準確率為 0.973，其餘 11 組高於 0.99
七個開放權重 LLM	每個模型取五層，主要分析清單或句子結尾句點的一個向量，再由另訓的解碼器還原內容	不同家族的句末表徵可被角色—內容結構近似；這不是七個模型都跑六項推理任務
GPT-OSS-20B 深度測試	一個模型、25 層、六項受控任務；替換變動輸入 token 的各層向量，保留固定指令與原本生成網路	最佳的任務專屬角色方案，在六項任務都最接近原模型；最大平均差距是算術的 2.36 個百分點

這個分層帶來兩個重要修正。第一，七模型實驗很廣，但它透過另行訓練的句點解包器讀取一個句點狀態，沒有直接證明原 LLM 的生成行為可被完整替換。第二，最直接、最昂貴的全層替換只做在 GPT-OSS-20B；研究者為這部分投入超過 3,000 個 H100／H200 GPU 小時，而且每個任務、每一層都有分開擬合的 DISCOVER 模型。

「接近原模型」也要看分母：GPT-OSS 原本在三段論只有 0.76、被動化 0.94，其餘四項高於 0.96。最佳的 task-specific (all) 在六項中的五項擁有更多角色；附錄提出反例，顯示角色數量不足以單獨解釋勝出，但沒有為每項任務提供完全容量匹配的對照。

重現單位也不同。小模型實驗每組有 10 個獨立初始化的目標網路；GPT-OSS 的結果與介入誤差棒主要來自五次 DISCOVER 擬合，並不是五個獨立預訓練的 GPT-OSS。七模型則是每個家族一個 checkpoint、各取五個深度點。圖中的正負兩個標準差是描述最佳化重跑的離散程度，不是母體信賴區間，論文也沒有正式顯著性檢定。

換句話說，它替換的是受控任務裡「變動輸入」的隱藏表徵介面，不是整個 GPT-OSS。固定指令與示例仍保留，後面的輸出生成仍由 GPT-OSS 完成。這就像你證明一份文件轉成另一種格式後，原本的閱讀器仍能正確顯示；它告訴你兩種格式在這些測試上近似功能等價，卻不代表閱讀器內部原本就是用那種格式運算。

---

真正讓人興奮的不是擬合，而是「改向量，答案跟著改」

任何高容量探針都可能從向量裡讀出某些訊息；讀得到，不代表模型真的用它。DISCOVER 的強項，是把三把鎖放在一起：

• 重建：近似的是完整目標向量，不只是預測一個標籤。
• 替換：把近似向量接回下游計算，檢查原本任務是否仍能完成。
• 介入與新配對：減掉舊角色—內容、加上新配對，看答案是否按預期變化；另把部分角色—內容組合從 DISCOVER 訓練資料拿掉，測試它是否只在背答案。

在 GPT-OSS 的六項任務裡，研究團隊做了 31 類因果介入，每類 100 個例子，平均介入準確率為 0.903。例如交換算式裡兩個數字的位置，平均準確率 0.978；把 Python 裡一個字母從一份清單搬到另一份清單是 0.950；把句子中的形容詞、介系詞片語或關係子句搬動，也常能讓輸出跟著改寫。

這確實比普通的線性探針更強，因為它要求一個結構同時通過「可讀、可替換、可操縱」三關。附錄的對照還顯示：只改目標 token 往往足以換掉內容身分，卻不足以搬動句法角色；結構性資訊似乎分散在後續多個 token 上。這是一個具體、可反駁的機制線索。

然而 0.903 也不是 1.000。部分複雜改寫失敗得很明顯：被動化任務中移動介系詞片語與關係子句，準確率分別只有 0.696 與 0.638。三段論的名詞角色交換，對預定正解的準確率只有 0.422；但 GPT-OSS 直接看到改寫後題目時也只有 0.520，介入輸出與該目標輸出的 agreement 則是 0.902，因此不能把全部落差都算成介入失敗。連同局部介入與結構錯配對照，0.903 的描述性平均支持介入並非任意擾動都會成功；尾端失敗則提醒我們，這不是精確、完整、隨處可用的符號控制面板。

---

未見配對削弱了「DISCOVER 只死背」的解釋，但不等於目標模型會 OOD 泛化

DISCOVER 還做了一個很重要的壓力測試：訓練近似器時，刻意拿掉某些角色—內容配對，例如某個字從未出現在某個位置；測試時再把這些新組合放回來。如果 DISCOVER 近似器只為每個完整配對記一個暗號，這時就應該失敗。結果在大多數設定都高於「把剩下內容隨機塞進剩下位置」的強機率基準。

但被拿掉配對的，只是DISCOVER 的訓練資料；原本的小模型或預訓練 LLM 並沒有同步被禁止看過那些組合。在高於強機率基準的條件裡，結果支持目標表徵與可拆分、可重組的角色—內容因子相容；它不是目標模型從未見組合學會任務的證明，也沒有識別唯一因子化。而且效果並非全面：GPT-OSS 的算術設定沒有隨著未見配對增加而明顯勝過基準，交錯任務的 Transformer 與部分最早句點層也有例外。

這些 OOD 實驗會在 DISCOVER 的角色與內容嵌入上加 L2,1 正則化。多數設定用另一組未見配對挑選強度；但七模型句點實驗只在三個模型／層設定搜尋後，把 0.001 轉用到其他模型與層，而句子 OOD 條件又沿用清單條件選出的強度。三個列出的句點設定在不加正則時為 0.00，加上後為 0.86、0.90、0.86。這不否定結果，但表示「DISCOVER 能恢復並外推這套因子化」明顯依賴估計器的稀疏偏好；不能據此說目標模型本身的可組合性是正則化造出來的。

---

作者自己留下的最重要但書：測的都是可被完美規則化的世界

論文最誠實、也最該被放進每一則轉述的一句話，出現在結論：

“All the domains that we have analyzed are fully systematic”

中文：「我們分析過的所有領域，都完全具有系統性。」

— McCoy et al., Conclusion, p. 30

字母反轉、短算式、模板化三段論、簡化 Python 清單、由文法生成的句子，本來就能由一個小型符號程式完美解決。這是測試方法的好起點，因為「正確結構」相對清楚；同時也是外推的最大限制。日常語言充滿歧義、程度差異、背景常識與不完整規則，研究尚未證明 DISCOVER 能在那種世界裡找到同樣乾淨的角色。

還有三個邊界必須一起保留：

• 表示方式不等於生成機制：成功擬合 TPR，沒有證明神經網路內部真的用 tensor product 算出那些向量，更沒有找出向量如何形成的電路。
• 可行解不等於唯一解：豐富的角色方案可能包含目標模型根本沒用到的資訊；論文沒有把它削成唯一、最小的符號說明。
• 預印本不等於已重現：截至 2026 年 9 月 3 日，論文把作者公開的 GitHub標成部分程式碼；當天的 README 只說明字母序列與句點表徵流程，未提供 GPT-OSS 六任務的完整重現步驟。arXiv 當天也只列 v1，且頁面未列期刊或會議錄用資訊。

---

AlphaLab 的判讀：這是「介面層」的重要進展，不是黑箱已被打開

我同意：它把符號性從漂亮比喻推進到可干預假說

過去說「神經網路可能學到句法或角色」很容易停在相關性：訓練一個探針，讀得出來，就宣布模型知道。DISCOVER 要求同一套結構重建完整向量、支撐原任務、承受未見配對，還能用向量手術改變行為。這幾道門檻合在一起，使「部分受測表徵具有近似的符號結構」成為一個有重量的結論。

我存疑：研究者先提供了題目的文法，DISCOVER 才找答案

若你已經知道算式的運算子、程式變數的位置與句法樹，證明這些角色能貼近向量，和從陌生模型裡發現「它自己真正使用的概念」仍有很大距離。最有價值的下一步，不只是加入更多任務，而是讓候選角色更少依賴手工解析，並用容量相當的替代結構互相比較，看哪一個解最小、最穩、最能預測新的介入。

我反對：把閉式表達翻成「模型更小、更快、更便宜」

論文沒有報告壓縮後的模型大小、端到端延遲、吞吐、推理記憶體或推理成本。GPT-OSS 實驗仍需要原本模型生成答案，而且每個任務的 25 層分別擬合；「一條式子」是概念描述簡潔，不是已完成的推理引擎。若未來有人以這篇研究推銷模型壓縮，最簡單的追問就是：請給出移除原模型後的端到端速度、成本與準確率。目前答案不存在於這篇論文裡。

最值得追的預測：若結構是真的，它應該離開模板後仍能預測行為

下一輪證據應該更難：在自然文本、真實程式與開放式推理中，先凍結角色方案與超參數，再看它能否跨資料、跨模型、跨語言重現；讓獨立團隊用完整程式碼複驗；把隨機方向、容量匹配的替代分解與離開自然 activation manifold 的距離一起列入控制。若這些測試仍能維持替換與因果介入，DISCOVER 才會從漂亮的受控實驗，變成真正通用的可解釋工具。

---

現在該怎麼使用這項研究？

• 做可解釋性研究：把 DISCOVER 當假說檢驗器。事先寫清楚角色從哪來，加入容量匹配的替代方案，並把「替換、介入、未見配對」視為一組最低證據，而不是只秀重建分數。
• 評估論文或產品宣稱：先問「測了哪個模型、哪種資料、哪一段表徵、誰還留在計算迴路裡？」只要這四題沒答完，就不要把局部介面近似升格成整個模型等價。
• 追蹤這條路線：盯住三個可驗證里程碑——完整 GPT-OSS 程式碼釋出、獨立重現、自然資料上的預先註冊測試。它們比下一輪更大的平均分數更重要。

所以，這篇 DISCOVER 符號結構研究最合理的讀法不是「神經網路終於被證明就是符號系統」，而是：在一些規則清楚的任務裡，我們已經能找到一套近似的角色—內容座標，不只描述向量，還能有限度地替換與操縱它。這座橋已經搭出第一段；距離穿越自然語言與整個 LLM，還有很長一段尚未施工。