權重空間編程：Astra 修好 Qwen 迴圈，離 AI 自我改進多遠？（2026）

2026 年 11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 與 Omar Khattab 發布了〈Sparks of Weight-Space Programming〉，提出「權重空間編程」：讓語言模型分析、修改另一個神經網路的權重。最受關注的是 Astra 對 Qwen3.5-0.8B 的修補；但分數上升，究竟代表學會新數學，還是終於能把答案寫完？

這篇先把不同實驗的條件分開，再對照公開日誌、Qwen 模型卡與批評文章，最後討論這類修補值得怎麼驗收。我的判斷是：這是一個值得追蹤的模型維修案例；要把它升格成普遍的能力增長，還需要另一組證據。

一、權重空間編程：同一篇研究，三種不同的工作

權重可以想成模型內部運算的設定值。一般訓練以損失函數和梯度調整這些數字；這次研究問的是：一個通用語言模型能不能根據任務描述，推理出該讀哪一部分、又該改哪一部分？

原文串起三條實驗線：辨認小網路學過的任務、替失敗的控制策略加上修正，以及從零寫出遊戲策略。往語言模型擴展時，工具與行為觀察也加入了。它們共同探索「把想做的事翻成權重」，但每一條線取得的資訊不同。

例如原文的模擬車案例，是修正卡在坡道的策略。下面這幅原圖呈現的是那個控制任務，並非 Qwen 的推理流程。

想分辨其他「把資訊寫進權重」的構想，可以搭配 Infinite-Parameter LLM 解析：那篇談資料生成低秩補丁，與本次診斷既有故障的問題不同。

二、Qwen 的 7.9% 到 48.1%，先把考試條件放回來

研究團隊的 實驗 8 公開日誌說明 記載：Astra 可在持續存在的 Python 工作階段讀取、運算並儲存權重，也有附答案的練習題與受限的前向測試。規則禁止梯度下降、反向傳播與以損失反覆擬合；這仍是一個有測試回饋的診斷流程，不能理解成把數億個數字看一眼就修好。

「50 次」是工具的批次預算。一批生成最多可有 512 個輸出，另一類呼叫可讀取文字並回傳內部訊號。日誌列出，50 次預算那一輪共有 158 輪互動、80 次 Python 執行；因此它既不是 50 道題，也不是一次回答。這裡的前向測試，就是把輸入送進網路，觀察運算結果。

下表依作者公開結果整理。條件固定為 thinking 開啟、temperature 0.6、top-p 0.95、top-k 20、presence penalty 1.5，輸出上限 32,768 tokens；MATH-500 每題取 4 個樣本後平均，並非四次取最好的一次。Token 是模型生成文字的計量單位，上限用完仍未交出最終答案，也會影響得分。

作者評估項目	原模型	50 次預算後
MATH-500 正確率	7.9%	48.1%
GSM8K 正確率	13.8%	67.1%
IFEval 指令遵循	21.0%	62.3%
MATH-500 輸出碰到長度上限	93.0%	33.1%

從 7.9% 到 48.1% 是增加 40.2 個百分點。與此同時，大量輸出不再撞上長度上限。兩欄放在一起，支持「成功完成回答的機會增加」這個解釋；單憑總分，則分不出新推理能力與原有能力被釋放各佔多少。若想練習讀懂另一種研究指標，可接著看 JEPA 表徵對齊的 42 倍樣本差距。

三、批評的核心：別把各種「直接」接成一種能力

spaCy 作者 Matthew Honnibal 在 11 月 3 日的 批評文章，把各實驗按「原始數字是否放進上下文、是否用 Python、是否運行網路」拆開。他認為，原文的敘事容易使讀者把小網路的純權重閱讀，連接到 Qwen 的工程修補，誤以為兩者展示同一種完整能力。

But those latter two aren’t just working with raw weights, they write Python programs.

中文：但後面那兩類工作並不只是處理原始權重，它們會撰寫 Python 程式。

Matthew Honnibal，2026 年 11 月 3 日

這個提醒有力，因為「直接改權重」至少有兩種讀法：一種是修改的對象確實是權重；另一種是模型僅靠原始權重便理解整個網路。Qwen 日誌支持前者；它同時展示程式分析和測試回饋，故不能拿來單獨證成後者。

但使用 Python 本身，也不足以否定成果。工程上的問題是：在給定工具、練習資料與預算下，是否能找到可解釋、可重建、能在保留評估中奏效的修正？原文已列出工具條件，較公平的批評應針對摘要如何引導讀者，而非把工具使用改寫成數字必然無效。

四、三份原始材料，讓「修好了」更容易核對

1. 已知的迴圈問題，與選定的基準線

截至 2026 年 11 月 4 日查閱，Qwen 官方模型卡 明確提醒：0.8B 型號在 thinking 模式較容易進入推理迴圈，並建議依用途調整取樣與及時中斷異常生成。這使「先處理迴圈」有獨立於研究作者的問題依據。

同一張卡目前建議文字 thinking 使用 temperature 1.0；多數問題上限 32,768 tokens，複雜競賽題則建議 81,920。研究固定的 0.6 與 32,768，回答的是同一配置下改權重有何效果。若要決定是否採用補丁，還應加上「原模型調整取樣與長度後」的對照；本篇未執行這組比較，不能替它預填輸贏。

2. 131,072 個位置，與實際儲存差異

作者將修補定位於第 15、19 層 MLP 的輸出投影。公開 差異清單 顯示兩個張量被更改。操作涉及 131,072 個位置；轉為 bfloat16 儲存後，實際與原版位元不同的是 130,188 個。原文約 0.016% 的說法宜理解為修補規模，不能把「碰到的位置」與「儲存後改變的數值」混用。

另外，Arditi 等人的單一方向研究 早已展示，某些模型行為可以和低維方向相關聯，並受到定向干預影響。這提供方法背景；本次值得檢查的增量，在於通用模型能否參與診斷和選擇修補，而非宣稱權重編輯本身剛剛出現。

3. 有公開重建，但完整雙邊重現仍要分開說

編輯版的 Hugging Face 模型卡 記錄，Ahsen Khaliq 以 ML Intern 從日誌重建並核對張量雜湊；2026 年 11 月 2 日的重跑，採原文協議，MATH-500 共 500 題、每題 4 樣本，編輯版得到 51.0%，碰到長度上限的比例為 31.6%。

同份紀錄的原模型檢查僅有 25 題。這支持公開補丁能重建、編輯版高分可再出現；不能把它叫作原版與編輯版兩邊都完成的 500 題獨立對照。重跑還使用完整多模態釋出版；卡片說明其語言張量經雜湊核對。這些結果出自該紀錄的執行者，本篇沒有執行模型推論。

五、權重空間編程的上限，原文自己的反例最有用

Fixing loops, however, is not the same as making a model better at math

中文：然而，修復迴圈不等同於讓模型更擅長數學。

Rikiya Takehi 等人，原文追加實驗

團隊也測試了較少迴圈的 Gemma 3 270M。追加實驗日誌 列出的 MATH-500 分數是原版 6.8%，各預算編輯後 7.0% 至 7.7%；作者未建立明確改善。這些數字採較寬鬆的答案抽取方式，不能直接和前面的 Qwen 分數當作同一排行榜。

這個反例的重要性，在於故障種類不同：如果失敗是反覆卡住，局部干預可能使原有運算走到終點；如果失敗是算錯或推導錯，阻止重複並不會自動補出正確步驟。目前結果支持繼續研究「找得到原因的維修」，不足以承諾「任何能力都能直接寫入」。

原文還報告，在辨別迎合使用者的語言模型時，純權重條件失敗，加入注意力觀察後才成功。它把審計、降低優化成本、能力增減與遞迴式自我改進列為未來方向。這些方向的吸引力，應與已完成的實驗分開；要追蹤更廣的自我改進論述，可讀 當 AI 開始打造 AI。

六、AlphaLab 的判讀：把維修能力當成工程成果來驗收

我同意：能交出可檢查的補丁，已經有價值

一個系統反覆卡住，即使「原本就會算」，能讓它把答案交出來仍會改變可用性。真正有用的成果，是從失敗輸出提出假說，選定內部位置，做干預，再用保留題目驗收。人類熟悉這條路，不會使自動完成這條路變得沒有價值。

我存疑：局部成功還不能接成持續的能力飛躍

「編輯另一個模型」到「反覆提升自己」，中間至少還隔著辨認更廣泛故障、在不同模型上穩定修復、控制副作用，以及證明下一輪仍有淨收益。單次維修可以很成功，這條長鏈仍須逐段交證據。更大模型也可能把同一行為分散到更多位置，不能用修改比例小就推定未來成本小。

修改少，也要另考保留能力

權重數量少，是變更範圍的描述，不是安全性或零副作用的保證。少數位置可能連到多種行為；反過來，大範圍更新也可能保持你在乎的任務。採用前應看自己的語言、格式與工具任務，連同出錯類型一起測。Heretic 的繁中盲評與能力保留方法，可以補上這一層驗收思路。

七、接下來追四項證據，讓研究熱度變成可比較的進展

• 基準線：保留同一權重與評分器，加入合理的取樣、長度和非 thinking 對照，分清解碼配置與權重修補的貢獻。
• 保留能力：同時記正確率、截斷率、實際輸出長度與回歸錯誤；讓「比較快交卷」和「交得比較正確」各有欄位。
• 可重建性：固定原版 revision、補丁雜湊與推論版本；先確認別人拿到的是同一份模型。
• 適用範圍：觀察不同模型、不同故障，以及較少迴圈的任務，能否持續得到超過測量波動的改善。

對研究讀者，下一步是讀一段完整日誌，找出假說如何被測試修正；對模型維護者，先留下自己的失敗案例與原版基準線。下一次看到「AI 自己改權重」，先問它看到了什麼、能用哪些工具、改完在哪些新題上仍然有效。這三個答案，比一個倍數更能說明突破到了哪裡。