Goodfire 可解釋性：神經網路其實有序？拆解 90% 估計與證據邊界（2026）

2026 年 10 月 15 日，Nick Cammarata 在 Goodfire 發布了〈Neural Networks Are Already Clean〉。這篇 Goodfire 可解釋性長文，重新追問一個讓研究者困擾多年的問題：神經網路裡那些看似混雜的反應，究竟是模型把無關概念塞在一起，還是我們一直用錯了觀察方法？

先說它最有價值、也最容易被誤讀的地方：原生神經元可能比預期更值得直接研究；這與整個 AI 已被讀懂，仍隔著好幾道證據。以下先整理作者如何翻案，再把他的初步稽核放回既有研究，最後判斷什麼結果才值得改變我們對模型安全的信心。發表日期可由 Goodfire 研究索引 核對。

Goodfire 可解釋性的主張：先研究原本的零件

Neural networks are already clean.

中文：神經網路本來就有可理解的秩序。

Nick Cammarata，原文核心主張

這裡的 clean，不是資料已清洗、回答不會出錯，也不是安全認證。作者想說的是：模型的零件可能沿著可追查的關係組織起來，不必一開始就假定它是一團需要拆散重建的亂結。

神經元可先想成計算中的一個小單位；特徵則是研究者用來描述某種模式的概念。兩者未必一對一。大型語言模型運作原理 可以補上向量與下一字預測的背景。機制可解釋性更進一步問：哪些內部計算讓這次答案出現？把一個零件取名為「誠實」，與證明它如何改變行為，是不同工作。

常見研究路線之一，是訓練稀疏自編碼器（SAE），把活化重新表達為較容易辨認的特徵。Cammarata 希望提高另一條路線的優先度：直接查看原模型的神經元、上下游連接、正負兩側反應，再讓研究代理提出解釋、設計反例與做干預。這項提案的重點，是研究起點該放在哪裡。

貓臉與車頭：一個舊例子，兩種解釋

2020 年的 〈Zoom In〉原文 確實把 InceptionV1 的 4e:55 當成多義神經元：它會對貓臉、車頭與貓腿反應，當時並明確否定共同特徵的解釋。Cammarata 是該文共同作者，因此這次是在修正自己參與建立的例子。

他的新版解釋是尖銳的 V 形與較圓的形狀之間的區別；貓、車與狐狸可能只是共享這個模式。原文也重新檢查了車訊號通往「狗神經元」的電路，認為部分混亂來自特徵視覺化偏向畫出狗，以及先前忽略的共同姿態。這些是作者對指定電路的重新判讀，不能直接推廣為所有模型都不存在任意混合。

這個例子教我們改問更窄的問題。如果它真的在辨認 V 形，換成未用來命名的新幹線或桌角，反應應有可預測的方向；圓形對照也應不同。若只挑貓與車，兩種解釋都可能說得通。最有力的驗證，是事先挑出能把兩種說法分開的例子。

遞迴泛化：相關的分枝，也會長得像混雜

作者把另一種模式稱為遞迴泛化：一個單位先學到某個模式，之後沿著相近路徑長出分枝；多次延伸後，兩端看起來可能相距很遠。原文用 iy、diy 到 do it yourself 的變化說明：字形相似先建立連接，再延伸到語意相關、卻不再共享原字串的用法。這是他的發展假說，不是對每個大型模型都已驗完的定律。

在視覺模型部分，作者也將架構、訓練與觀察工具分開處理。他報告：改善工具可以提高舊模型的可讀性；換成相近規模的現代架構，末層則更容易解釋。文中的約 99% 數字，指他研究的現代視覺模型末層，不能貼到 Qwen 或所有神經網路身上。壓窄模型後神經元變得較粗略，則是他用來支持「先合併相關模式」的另一組作者實驗。

另一個容易漏掉的工程細節，是觀察正負兩側，以及分開 SwiGLU 的閘門與數值。若兩者都是負，乘積仍為正；只按最終正活化排序，可能把不同路徑混成同一份樣本。這能解釋為何工具調整可能改變標籤，但不能僅憑算式，就確定每一個混雜案例都已獲解。

Goodfire 可解釋性的 90%：分母是神經元的極性

the precise number depends on where you set thresholds

中文：精確數字取決於你把門檻設在哪裡。

Nick Cammarata，原文對估計口徑的限制

原文對 Qwen3-32B 的說法，是初步稽核估計約 90% 的 neuron poles 有一個主要工作，另約 7% 有兩個相關工作，約 2–4% 尚未理解。pole 可理解為神經元正、負反應的一側；它不是參數比例、回答準確率，也不是整個模型已有九成被完整解釋。這些約數也不適合硬湊成一張精確的百分比分配表。

作者自己列出幾個會改變結果的旋鈕：要追到多弱的活化、取樣在哪一層，以及如何把相近用法算成「一件事」。把「泰坦尼克號」擴到「航行」，算同一主職的類比，還是第二項工作？不同規則會給不同分數。原文另展示神經元研究集與反例測試，但不能逕自把展示篇數當成這個估計的統計分母。

盲測最大活化例子，可以檢查一份解釋是否預測到神經元的核心；刻意寫相近但不該命中的例子，則檢查邊界。兩者仍可能漏掉另一個少見用途。要評估 90% 這個數字，還需要事先固定的抽樣、標記規則、評分者差異與失敗樣本。本篇依公開材料分析，未執行模型訓練或重跑這批稽核，因此將比例保留為作者報告。

外部研究怎麼看：疊加不是一個單一命題

2022 年〈Toy Models of Superposition〉 在受控網路中展示：稀疏特徵可以透過不完全正交的方向，共享有限維度。這是特定設定裡觀察到的現象；原論文本身也提醒，哪些結果能外推到真實網路仍不清楚。Cammarata 的附錄承認那些實驗成立，質疑的是它們能否解釋自然資料下主要的組織方式。

因此，「比維度更多的特徵」與「神經元把無關用途任意擠在一起」，要分開判斷。Chris Olah 在 2023 年的原始說明 已將組合與疊加區分，並討論兩者可以混用。用紅色、圓形組合成很多物件，並不要求每個物件都有自己的神經元；同時，相關模式可組合，也沒有排除其他位置仍使用共享編碼。

最強的對照，應該拿同一模型、同一資料、同一行為問題來比。2024 年 Claude 3 Sonnet 的 SAE 研究 報告，抽出的多數特徵並沒有高度相關的單一先前神經元。它研究的是中間層殘差流，與這篇長文主要討論的原生神經元不完全相同。這項差別既阻止我們草率判定 Goodfire 被駁倒，也阻止我們只靠可讀神經元，就宣布字典方法失去價值。

2025 年 Circuit Tracing 方法論 更直接指出：替代模型可能與原模型使用不同機制，所以需要干預驗證；同一篇也明說 MLP 神經元可以用來產生有用洞見。原生零件與重新分解各有成本，研究問題應決定用哪個觀察面，而不是先把整個領域畫成二選一。

從一個零件，到整座城市，還差什麼？

原文後半將目標從「列完所有特徵」移到「帶著問題探索模型」：在神經元、連接、資料與高層模式之間縮放，讓每個抽象都能回到原始計算。這個城市比喻很有吸引力，但地圖有用與地圖完整，是不同要求。知道每條街的大致用途，仍不足以預測某天一場事故會如何沿交通網擴散。

作者對注意力的進展較保守，也將殘差流中的連續表示另外討論。這些部分提醒我們：單一神經元的主職標籤，只涵蓋解釋工作的某一層。次序、強度、上下文與零件互動，仍會影響最後輸出。對安全問題，尤其要追到同一行為在新情境、不同長度與干預後，是否按解釋預測改變。

Highly speculative

中文：高度推測。

Nick Cammarata，原文對「可能已接近解決主要可解釋性難題」這一推論的標示

原文進一步設想由大量研究代理管理實驗室，讓對模型的理解像解填字題般相互約束，甚至協助找出需要修改的訓練環境。這是它真正的遠景，而不是 90% 那張成績單本身。作者在附錄也承認未全面稽核所有網路，並把更多語言模型實驗細節留給技術論文。近期是否能擴展到前沿模型，應當作後續可對帳的預測。

AlphaLab 的判讀：值得改研究起點，還不能改安全結論

一、我同意：先給原生神經元一個公平的比較

如果比較對象一直是早期的小型架構、舊工具與只看正活化的樣本，可讀性很可能同時反映模型與儀器的限制。把現代原生神經元放回基線，能回答一個具體的成本問題：為了解決這項行為，我們真的需要先訓練另一個分解器嗎？這是值得立即檢驗的研究調整。

二、我存疑：命名容易了多少，與解釋完整了多少

一份很漂亮的標籤，可能抓住常見用途，卻漏掉某次決策最重要的條件。評分單位若是一側神經元，結論也應留在那個單位。要跨到電路，便要預測零件互動；要跨到整個模型，還要說明跨情境的行為。這幾層證據不能用同一個百分比代換。

三、保留原模型，仍需防範解釋者自己的故事

少一層替代模型，可以少一種重建誤差；人或代理替原神經元命名時，依然會帶入自己的分類。若每個例外都能事後變成「更遠的分枝」，假說就會越來越難輸。更有力的研究，是先寫下分枝的預測，再用未參與命名的資料、不同評分者與預定干預找它的錯。

四、可讀性是安全研究的工具，保證要由另一張考卷回答

若能發現某個機制，並在指定任務中改變它，就取得了干預證據。接著仍須測：危險行為是否在新情境回來、修改是否傷及其他能力，以及失敗時是否能被發現。局部機制越容易研究，這張考卷就越值得認真做；不能因為零件看起來有秩序，就省掉整體驗收。DISCOVER 符號結構的分析，也從另一條路線說明讀出、替換與干預各自能支持多少結論。

下一步：讓「看懂」交出三種可檢查的結果

一般讀者可以從原文挑一個案例，依序問：這個解釋看過哪些例子才形成？它事先預測了什麼新例子？改動哪些零件後，答案朝什麼方向改變？若手上只有第一項，先把它當有啟發性的觀察。AI Evals 入門 能幫你把這三問寫成固定考題。

已有合法權重、資料與算力的研究者，可以固定同一 checkpoint 與資料，把原生神經元、字典特徵及簡單對照放在一起。凍結標記規則後，分開報告強弱活化、正負極性、盲測與反例，以及干預的成功和副作用。再公布耗時、成本與未解釋案例，才有辦法判斷哪條路線更有效率。想分清訓練、推論與驗收，可先看 AI 模型如何學習。

Goodfire 以可解釋性工具為業，這讓它有理由探索更可讀的模型，也有理由強調這個方向的機會；公司立場應讓我們多問證據，不能代替對證據的判斷。最值得等的進展，是不同團隊用固定規則得到相近結果，並能用解釋預測原本未測的行為。