【2026 最新】人工審查漏錯率怎麼量？用十張虛構發票完成 Agent 批准佇列五步校準

你的 Agent 已經會讀發票，還加了人工批准。每天佇列都被清空，看起來很順；但一筆少了一個零的金額，也跟著被放行了。這篇人工審查漏錯率教學，要回答的是：人在流程裡，究竟攔下了哪些錯？

專為第一次設計審查流程的讀者寫。你會用十張繁中虛構單據、固定抽取結果及一份試算表，完成小型對照的準備與計分。不需要模型 API，也不必寫程式。以下是可照做的評估方法；文中的算式使用明列的假設數字，本次沒有招募審查者或取得人類實驗結果。

先說結論：有效審查＝獨立答案＋可核對證據＋錯誤去向

批准紀錄回答「誰按了按鈕」；漏錯率回答「錯誤是否帶著通行證出去」。像檢查作業，簽名和改對答案要分開看。先鎖住機器交來的同一份作業，再比較不同批改方式，才比較接近你想問的問題。

• 先完成真值表，再製作含錯的固定輸出，避免拿機器的答案當答案。
• 同一份輸出在兩種介面保持相同；改的是審查方式，並記下題組和先後順序。
• 把放行、修正、拒絕、升級與耗時一起記；十題用來找流程問題，不能外推長期安全性。

一、人工審查漏錯率量的是哪一段？

Agent 是會使用工具推進任務的系統；Approval Queue 就是等待有權限的人決定下一步的佇列。Human-in-the-Loop（HITL，人在流程中介入）可以讓動作暫停，但審查品質還要另外量。若想先認識執行層，可讀 Agent Harness 的六個零件。

本篇把流程切成「原始單據 → 固定抽取 → 人工決定 → 最終放行內容」。OCR 是把圖片文字讀出來的技術；這次直接指定抽取結果，先隔離模型與 OCR 變動。站內的 發票 OCR 來源證據與算術驗收 教你驗機器輸出；這裡改驗人在介面裡怎麼處理已知錯誤。

研究能給設計線索，不能預先替你的介面宣布勝負。Buçinca 等人的 2021 年研究 在飲食替換任務中，發現要求使用者先思考的介入可改善部分過度依賴指標，也帶來使用體驗取捨；它並非發票審查試驗。逐欄顯示證據因此是值得測的假設，效果留給你的紀錄回答。

二、第一步：備好十張單據，先寫獨立真值

建立三個分開的檔案：source 放原始單據，truth 放正確答案，proposal 放固定抽取。由出題者保管真值；審查者只拿原始單據與對應介面。單獨練習也可以，但自己早已知道錯在哪，結果只適合檢查流程能不能走通。

每張只放供應商、日期、總額三欄。用白底文件各建一頁，標示「虛構練習單／不入帳」，不用真公司、稅籍編號、付款帳戶或真客戶資料。以下十筆是原始單據內容；金額統一為 USD，日期統一西元年月日：

1. DEMO-001：練習供應商甲；2026-10-01；USD 1200。
2. DEMO-002：練習供應商乙；2026-10-02；USD 2450。
3. DEMO-003：練習供應商丙；2026-10-03；USD 3600。
4. DEMO-004：練習供應商丁；2026-10-04；USD 4800。
5. DEMO-005：練習供應商戊；2026-10-05；USD 5250。
6. DEMO-006：練習供應商己；2026-10-11；USD 1300。
7. DEMO-007：練習供應商庚；2026-10-12；USD 2550。
8. DEMO-008：練習供應商辛；2026-10-13；USD 3700。
9. DEMO-009：練習供應商壬；2026-10-14；USD 4900。
10. DEMO-010：練習供應商癸；2026-10-15；USD 5350。

先讓另一位出題者逐張對照原始頁，確認真值表三欄與單據相同，再鎖定版本。若目前只有一人，至少分兩輪重讀原始頁並註明未做獨立雙人核對。真值出錯，後面的高分也會失去意義。

三、第二步：固定六個錯，保留四張全對的對照

先複製真值成為 proposal，再只改六處。這六處是出題者的答案，測試時另存並隱藏。001、005、006、010 保持全部正確；其餘按下列設定：

• 002：供應商乙改成供應商丙；007：供應商庚改成供應商辛。
• 003：日期 2026-10-03 改成 2026-10-30；008：2026-10-13 改成 2026-10-31。
• 004：總額 4800 改成 480；009：4900 改成 490。

現在共有十張、三十欄、六個錯誤欄位；六張有錯、四張全對。不要每次切換介面就重新叫模型抽取，否則同時更換考卷，介面效果會和模型效果混在一起。把三份檔案各存唯讀副本，記版本與日期，兩個介面都載入同一份 proposal。

把 001–005 當甲題組、006–010 當乙題組；兩組各有一個供應商錯、一個日期錯、一個金額錯及兩張全對。這只是讓錯誤種類與數量對齊，並不代表兩組難度已經相等。正式比較還要加入版面、字跡、模糊與多頁等真實變化。

四、第三步：人工審查漏錯率的兩種介面怎麼搭？

用現有試算表或內部表單就能做原型。A、B 都要看得到完整原始單據、同一份 proposal，以及更正、拒絕與升級入口；同樣的字級、放大能力和可用時間也要記錄。兩者的差別集中在來源證據如何呈現，以及是否要求逐欄留下決定。

• A「整張判斷」：左側原始頁、右側三個抽取值；底部是一組整張的動作。若改值，記下修改前後內容。別刻意把原始頁藏起來，否則測到的是資料可得性差異。
• B「逐欄查對」：每個抽取值旁放對應原文片段與可回看的完整頁位置；供應商、日期、總額各選「確認／更正／無法判定」。三欄都有決定後，才允許整張放行。來源片段不要直接標出正確與錯誤。

以 DEMO-004 走一次：打開原始頁，找到「總額 USD 4800」，再對照抽取的 480。選更正、輸入 4800、保留原文位置，最後放行更正版。若原始頁看不清楚，就選升級並保持暫停；這一筆是被攔住、尚未解決，不能記成已修正。

B 同時改了證據位置與逐欄要求，這個小練習比較的是整套設計。若 B 表現較好，下一輪再拆成「只把證據移近」和「只要求逐欄決定」，才能更細地找原因。點開來源或停留很久也只是行為紀錄，不能直接當成理解證據。

五、第四步：輪替題組與順序，先告知再校準

開始前對參與者說明：這是介面校準，有合成單據與預埋錯誤，會記正確性與時間；可以拒絕或升級，結果先用來改善流程。不要把測例偷偷混進真付款佇列，也別拿這十題做員工績效排名。練習單的外觀標示應一致，避免哪張是測題一眼就被辨認。

若有四位自願參與者，可抽籤各配一個順序：① A＋甲，再 B＋乙；② B＋乙，再 A＋甲；③ A＋乙，再 B＋甲；④ B＋甲，再 A＋乙。同一人各看十張，每張只看一次；每個題組也都能在不同人身上遇到兩種介面。兩段結束前不公布答案，另用不計分的單據熟悉操作。

這個輪替是本篇的小型設計建議，借用 NIST 區集與隨機化 控制干擾因素的思路。記下誰先用哪種介面、題目出現位置、是否做過類似題；人數不足時照實保留缺格，別把結果寫成已排除熟悉效應。

六、第五步：先數錯誤去向，再算比例與時間

每次提交記一列：reviewer_id、document_id、題組、介面、順序、原值、最終值、動作、來源位置、開始／提交時間。用參與者代號，事先限定紀錄用途、可讀取者與保存期限。若有人中途退出，保留未完成狀態，不把缺資料算成全對。

• 錯誤放行率：已實際呈現的原始錯誤欄位中，有多少最後仍帶錯放行。分母是有錯的欄位次數，不是所有欄位；只看五張的人，這份題組分母是 3。
• 修正率：原始錯誤欄位中，最後改成真值且完成放行的比例。拒絕與升級分開列，維持 pending 的錯誤也另外計數。
• 誤改率與誤攔：原本正確的欄位，有多少被改錯放行；原本全對的單據，有多少被拒絕或升級。避免靠「全部擋下」換取零漏錯。
• 時間：A、B 都記每張開始到提交的時間，排除或另列中斷。B 可加記每欄操作區間；A 沒有直接量到的每欄時間就留空，不拿整張時間除以三冒充實際注意時間。

先用一份算式練習檢查報表：假設某介面累積呈現六個錯誤欄位，兩個帶錯放行、三個修正後放行、一個升級；則錯誤放行率 2÷6＝33.3%、修正率 3÷6＝50%。升級仍是待處理，兩個比例不必相加為 100%。這些是指定數字的演算，不是參與者成績。

同時留一份「整張有錯卻放行」的計數。未來一張可能有多個錯，欄位比例和單據比例就會回答不同問題。原本正確的二十四欄也要核對，才知道審查是否新增錯誤。若合併多位參與者，同一張被多人看過就屬重複呈現，請保留人、題與介面的分組，不要把三十欄當三十個獨立樣本。

十張能抓出明顯介面問題，卻很難估穩定的長期比例。NIST 的比例信賴區間說明 特別處理小樣本與少數失敗；而本練習還有同人、同單據的相依性。先報「漏了幾欄／看過幾個錯誤欄位」及個別紀錄，比只有一個百分比清楚。

七、把結果接回 Agent：三個常見坑

• 修了畫面，執行的卻是舊值。每次批准綁定單據版本與最終欄位快照；若內容變更，回到待審。先在測試環境確認 DEMO-004 寫入的是 4800，並核對後端紀錄。
• 升級被當成默認同意。把狀態寫清楚：pending、approved、rejected、escalated；升級交給指定角色，逾時繼續保持未批准。實際付款或入帳另由有權限的執行層核准，這批練習不連真工具。
• 重送同一批准，重做同一動作。後端核對審查者權限、版本、決定與唯一執行識別碼，拒收重複提交；這些要另做系統測試，介面校準本身驗不到它們。

如果團隊使用 LangChain，官方 HITL 文件 說明工具動作可配置 approve、edit、reject、respond 等決定；本篇的「升級」是應用程式的工作流狀態，別直接當成框架內建決定值。LangGraph interrupt 文件 則說明持久化暫停與恢復，以及恢復時節點會重新執行的注意事項。連外副作用要另外防重。

下一輪只改一個問題最大的地方，例如把金額證據移到值旁邊，再換未曝光題目、保留同版基線重測。NIST Playbook 的 人工監督量測建議 包括覆寫、錯誤與升級等統計；它提供紀錄方向；門檻仍須依具體使用情境與風險訂定。

常見問題：八個先講答案的判斷

1. 可以只看批准率嗎？

不足以回答偵錯問題。批准率的分母包含原本正確的單據，請另列已知錯誤的放行去向。

2. B 介面一定比較好嗎？

要測。它可能增加負擔，也可能讓人逐欄機械點選；正確性、誤改及耗時一起看。

3. 來源框就等於真值嗎？

要核對。來源框可能選錯，這一輪先由出題者檢查框的位置；之後再設計框錯位的壓力測試。

4. 可以請 LLM 扮演審查者嗎？

可用來測表單和計分程式，不能拿它的結果代替人類審查效能。兩者是不同評估對象。

5. 全部升級、零錯誤放行算成功嗎？

還要看待處理量。把升級率、解決時間與正確單據被攔的數量一起報，才看得見代價。

6. 可以把同一張再給同一個人看嗎？

可以做流程練習，但要標示重看。正式介面比較優先用未曝光題目，並保留順序資訊。

7. 十題全抓到就能連正式付款嗎？

證據還不夠。接著補不同版面、低錯誤盛行率、長時間工作與執行層驗收，再依具體風險訂門檻。

8. 一個人也能開始嗎？

可以先做檔案、欄位與更正後寫入的自查。找自願且未看答案的人參與後，才開始記人類偵錯結果。

給新手的三個重點

• 把模型答案凍結，才知道這次主要換了哪個條件。
• 以已知錯誤為分母，保留放行、修正、攔阻與未完成各自的去向。
• 先修一個可觀察的介面問題，再用新題重測；不要用十題替真實工作下保證。