【2026 最新】WikiTrace 教學：Agent 加了記憶反而答錯？四組對照拆解進步與退步

你替 AI 助手加了一本「上次學到的教訓」，原本會做的任務卻答錯了。問題可能出在教訓本身，也可能是把好教訓套到錯地方。這篇 WikiTrace 教學，帶你用四組小對照，把「記憶救回幾題」和「記憶弄壞幾題」分開看。

本文寫給第一次設計 Agent 評測的新手。先用虛構卡片分箱理解機制，再用既有聊天介面與試算表建立考卷、記錄回查和計算成績。這是自製的記憶採用練習；工具型 Agent 可沿用評分設計，但聊天練習本身不等於完整 Agent 基準。

依 2026 年 11 月 12 日查閱的論文、作者程式與評分文件整理。以下提供可照做的方法與算術示例，未填入 AlphaLab 的模型執行成績，也不把四組設計稱為 WikiTrace 論文重現。

先說結論：可靠記憶＝教訓＋適用條件＋回查證據

把記憶想成同事留下的便利貼：「這種情況先做 A。」便利貼很省時；但你還得知道「哪種情況」，以及當時做 A 後到底發生什麼。記得多，是容量；用得對，是另外一張考卷。

今天的交付很小：同一批題目，分別測無記憶、只給教訓、可回查證據、先核對適用條件。最後留下逐題答案、進步率 Gain、退步率 Regression，以及多花的時間。先把判分做對，再談哪組值得保留。

一、WikiTrace 教學先認三層：便利貼、事後整理、監視器

WikiTrace 的 2026 年 11 月 10 日預印本研究的是經驗記憶：把過去任務的動作與回應整理成下次可用的教訓。作者稱「無記憶能完成、加入記憶卻失敗」的現象為 Memory-Induced Degradation，也就是記憶引發的表現退化。它描述結果變化；要判斷某次失敗是否由特定教訓造成，還要讀執行紀錄。

• ① Insight「便利貼」：一句可重用的建議，附適用情況和來源編號。短而容易讀，也容易省略例外。
• ② Compilation「事後整理」：把重要決策、成功或可能失敗原因寫出來。這仍是對紀錄的解釋，不能因為語氣肯定就當成已驗證原因。
• ③ Raw trajectory「原始紀錄」：保留那次任務、每步動作、環境回應及成敗。它讓你核對便利貼是否曲解了當時發生的事。

依官方記憶文件，教訓連到整理與原始紀錄；測試時檔案以唯讀方式提供。論文的做法先放入所有 insights，遇到細節不足、來源是失敗任務、教訓互相衝突等情況，鼓勵 Agent 向下查。有連結增加查證機會，並不自動把教訓變成真理。

本篇不再展開泛用記憶系統：想查「證據是否找齊、找齊仍答錯」可讀 RAW-RAG 的 Reader 診斷；這次要問的是「加上教訓後，哪些原本會做的題目退步了」。

二、建立四組對照：一次只改記憶的使用方式

為什麼需要第四組？如果回查較有效，也可能只是提醒模型先想想適用範圍就夠了。AutoGuide 的原始研究早已把指引寫成帶情境的條件句。因此，把「只檢查條件」加作低成本對照很合理；本篇第四組是教學設計，並非完整實作 AutoGuide。

• A「空白便利貼」：只有本題規則與題目，沒有過去教訓。
• B「照讀便利貼」：本題加上 insight 與其中原有的適用欄位，不提供 compilation、trace，也不加專門核對指令。
• C「可以翻卷宗」：和 B 完全相同，再提供唯讀整理及 trace 的取用路徑，要求遇到疑點回查。
• D「先看適用範圍」：和 B 相同，再要求逐項核對適用條件；不給整理與 trace。

C 同時增加證據存取和回查指令，所以 C 勝過 B 時，先稱為「整套回查設計的差異」，別把所有效果都歸給多了一份檔案。想進一步拆因果，可以之後增加「只有回查提醒、卻拿不到證據」的第五組；第一輪先完成四組。

三、WikiTrace 教學實作：五步做一份假任務考卷

第 1 步：「怎樣才算對？」先寫答案本

用兩套分箱規則做最小環境。v1 規則是「紅卡放 A 箱，藍卡放 B 箱，形狀不影響」；v2 則是「紅卡放 B 箱，藍卡放 A 箱，形狀不影響」。先把規則、版本、題號和正確箱子存成自己的答案本，別把答案欄餵給模型。

建議八題固定為：T01＝v1 紅圓、T02＝v1 藍圓、T03＝v1 紅三角、T04＝v1 藍三角；T05＝v2 紅圓、T06＝v2 藍圓、T07＝v2 紅三角、T08＝v2 藍三角。答案依序為 A,B,A,B,B,A,B,A。這八題故意簡單，方便人工核對。

每題共同提示可貼：這是虛構卡片分箱。以本題規則為準，記憶是待檢查的過去經驗。本題版本：v1；規則：紅→A，藍→B；卡片：藍色圓形。只回覆最終箱子與一句依據。換題時只替換版本、完整規則與卡片。固定輸出格式，才不會因多寫解釋而改變判分。

第 2 步：「錯在內容，還是用錯地方？」做兩包記憶

把兩種失敗分開測。記憶包 W 放錯誤教訓：I-W：圓形卡一律放 A；適用：圓形卡；來源：R-W。其 compilation 寫「曾猜測形狀決定箱子，但那次失敗」；raw 寫「v1 藍圓→選 A→環境判錯，正確箱為 B」。這是手工設計的錯誤，不是假裝模型曾這樣跑過。

記憶包 S 放正確但有範圍的教訓：I-S：紅卡放 A；適用：v1；來源：R-S。compilation 寫「依 v1 顏色規則成功」；raw 寫「v1 紅三角→選 A→環境判對」。在 v2 紅卡題上照搬就錯。W、S 各自跑同一張八題考卷，別先混在一起，否則難判斷是哪種機制。

把每包做成三份文字：insight.txt、compilation.txt、trace.txt，來源編號互相對得上。對這次人工練習，C 組可在模型明確要求 R-W 或 R-S 後，由你原樣貼上對應證據；保存要求與貼入時間。這模擬按需存取，尚未測到終端工具本身的可靠性。

第 3 步：「四組真的只差一件事？」固定提示與權限

每題開全新對話。使用同一個可用模型、同一版規則、相同題序與答案格式；關閉介面可關閉的個人記憶及自動跨聊天引用。若無法控制，就記錄這個限制，該介面先用來練流程。工具型環境則固定模型 ID、提示版本、取樣設定、工具與步數上限。

C 組追加：若教訓有矛盾、條件不清或來自失敗，先要求該來源的 compilation／trace，讀完再決定；過去紀錄不得改寫。D 組追加：採用教訓前，逐項比對適用欄位與本題；不相符就不用，條件不足就依本題規則作答。B 與 D 拿到的 insight 必須逐字相同，不能偷偷替 D 補上更多提示。

不要在測試後改寫便利貼再繼續算同一輪。記憶整理與記憶測試分開，保留固定副本；否則後面的題目已經看過前面的答案，成績失去可比性。這個分工可接到 最小 Agent Harness 的紀錄與停止機制。

第 4 步：「只是剛好答對？」先建基線，再配對重跑

先把 A 組每題獨立跑三次。用三次的多數結果作該題基準 B：至少兩次答對記 1，否則記 0。再把 B、C、D 各跑三輪；另跑三輪全新的 A，測量即使不加記憶也會出現多少結果翻轉。這與官方分析文件的多數基準與 rerun floor 思路一致，但這份八題練習不是原始 benchmark。

配對鍵固定為 memory_pack＋task_id＋trial，同一輪四組使用相同題目。以目前八題、兩包記憶的設計，A 的建立基準三輪和額外三輪可共用；記憶組各自測 W、S。完整安排共 192 次獨立作答，C 組回傳證據另計訊息；先練一輪，再決定是否投入完整次數。順序事先排好並跨輪交錯，避免把服務時段或版本變更誤當成組別效果。

這套簡單題可能讓 A 全對。那樣 Gain 的分母為零，應填「不適用」，而不是 0%。你仍可學會測 Regression；要研究 Gain，之後另加事先封存的多步任務，例如先交換卡片顏色再分箱，並把這批題目的成績分開。別為了做出漂亮提升而事後挑題。

第 5 步：「多讀一次值不值？」保存結果和查證成本

每個回答留一列。欄位至少有 pack,task_id,trial,arm,answer,correct,baseline,opened_source,seconds。correct 依答案本填 1／0；baseline 是該題固定的多數基準。格式不合但箱子能清楚辨認時，照事前約定判分；本次規格約定空白或取用失敗一律 correct＝0，另記「未完成」原因，不能從分母消失。

人工聊天版記錄總耗時、要求證據次數與實際提供字數；有 API 用量時再記輸入／輸出 Token 和金額。這些是不同單位，別用中文字數冒充 Token。C 若比較準卻慢很多，保留兩個事實；D 若相近又較省，才有理由在你的任務評估先用 D。

四、兩張分母分開算，才看得見退步

Gain＝基準答錯、這次答對的題數 ÷ 基準答錯題數；Regression＝基準答對、這次答錯的題數 ÷ 基準答對題數。各記憶包、各組、各輪分別算，再報三輪平均與範圍；額外 A 也用同一基準算。退步率接近 A 的波動時，先留下不確定性，別只憑一次翻轉判記憶有害。

在 Excel 為每一包、每一組、每一輪另建八列工作表，A 欄放 task_id，B 欄放 baseline，C 欄放 correct。先確認 B、C 的八格全是數字 0 或 1，再用 COUNTIFS 的多條件計數。Gain 可貼 =IF(COUNTIF(B2:B9,0)=0,"不適用",COUNTIFS(B2:B9,0,C2:C9,1)/COUNTIF(B2:B9,0))；Regression 把分母條件換成 1、分子換成 B＝1 且 C＝0：=IF(COUNTIF(B2:B9,1)=0,"不適用",COUNTIFS(B2:B9,1,C2:C9,0)/COUNTIF(B2:B9,1))。

把儲存格設為百分比。若你的地區設定以分號分隔參數，就將公式中的逗號改成分號。空白格可能干擾計數，因此未完成先依約填 0，另留原因；不要讓「還沒測」被當成成功或悄悄排除。

正式比較時，再考慮對 task_id 成組重抽的 bootstrap 信賴區間：同一題的不同組與不同輪要一起抽，保住配對關係。作者分析工具也提供區間；這裡八個玩具題的三輪範圍，只是學習用摘要，不能當成嚴格顯著性檢定。

五、怎麼看結論：先追第一個分岔，再選策略

先挑一題「A 的基準對、B 這次錯」：模型是否真的引用了那張錯便利貼？C 有沒有要求正確來源、讀到反例、改變最終箱子？D 是否識別 v1／v2 範圍？保留回答中的一句依據即可；自述理由是線索，仍要和實際答案、回查紀錄一起看。

W 若被 D 擋住，可能是本題規則已與錯教訓直接矛盾；S 若被 D 擋住，則可能是範圍檢查足夠。C 有讀檔卻仍答錯，表示「能回查」到「會修正」之間還有缺口。讓結果告訴你需要哪一層，不要先選贏家再找證據。

截至本次查閱，論文把全部 insights 放進初始訊息，並在限制段落把超出可容納規模後的檢索問題留作後續工作。因此這篇不把它描述成已解決無限記憶。要移植官方程式，先讀README 的 Python、Node、Docker 與 API 前置條件；本次練習不要求下載資料集或建立付費憑證。

常見問題：八個先講答案的判斷

1. 記憶越多，就越準嗎？

不一定。數量沒有回答適用性；先看你的固定考卷是否同時改善 Gain 和 Regression。

2. C 組就是官方 WikiTrace 嗎？

不是。它借用證據連結的想法，使用手工記憶、人工回傳與玩具題；完整系統還有記憶編譯、工具、環境與資料切分。

3. D 組是本文新發明的演算法嗎？

不是。條件式指引已有研究；此處只是加入容易操作的對照，檢查回查的額外價值。

4. Gain 的分母是全部題目嗎？

不是。分母是基準答錯的題目；Regression 的分母則是基準答對的題目。兩者不能直接相減當成正確率提升。

5. A 全對，是不是實驗失敗？

不是。你仍能檢查退步與成本；Gain 記不適用，另設更有挑戰的保留題再研究改善。

6. 三輪都一樣，能保證以後也一樣嗎？

不能由這份小考推出保證。它提供本次版本與題目的紀錄，換模型、提示或任務要另留一輪結果。

7. 可以把真實客戶紀錄當 trace 嗎？

先用假資料。實際接入時，來源檔的存取權、個資處理與刪除規則必須跟著連結一起管理；唯讀只限制修改，不限制誰看得到。

8. 完全不寫程式，今天先做什麼？

先建立八題答案本，用一包記憶完成一輪四組，核對每筆答案。流程熟悉後補齊基線與重跑，再解讀成績。

給新手的三個重點

• 先封存題目與答案，讓四組站在同一起點。
• 先分開錯教訓與用錯範圍，再分開進步與退步。
• 先保留逐題紀錄與成本，再決定哪種記憶流程值得擴大。