【2026 最新】Shears 教學：Gemma 專家裁剪後，怎麼分清一致率與正確率？

你看到有人把大模型裁掉大部分權重，答案卻還和原版很像，第一個念頭可能是：我的筆電終於能用小模型接手工作了？這篇 Shears 教學帶你先問另一件事：像原版，和真的做對，是不是同一張成績單？

這篇寫給第一次接觸模型壓縮、願意在終端機貼兩行指令的讀者。你會分清裁剪、修復和量化，認識公開的英日翻譯權重，再準備一份同域與域外考卷。重點是做出可核對的採用決定，不需要自己訓練大模型。

以下依 2026 年 11 月 7 日查閱的 Shears 原始碼、作者工程文章、模型卡與推論工具文件整理。本次環境未備妥 Ollama 與對應權重，因此採來源式操作與評估設計；作者的成績與下方待執行的練習分開呈現。

先說結論：像老師 ≠ 做對工作

小模型可採用＝指定任務答對＋資源符合預算＋域外失敗有去處。教師一致率像「學生和老師選一樣的答案」；正確率像「學生和獨立答案本相符」。老師也會錯，兩個人一起選錯仍然算一致。

• 先固定工作與提示，再比較原模型、小模型。
• 分開記整句合格、教師一致與延遲；逐 Token 相符又是另一種指標。
• 先限於英語輸入、日語輸出的短句；繁中轉用與知識答題各自驗收。

一、Shears 教學先拆開三件事：裁剪、修復、量化

把 MoE（Mixture of Experts，混合專家）想成一間公司：公司有很多工作小組，每處理一小段文字，路由器挑幾組出勤。專家是神經網路的子網路，不等於「日文專家」「數學專家」這種固定職稱。Google 的 Gemma 4 模型卡可用來核對原架構；每步出勤較少，和整份權重較小，仍是不同概念。

①「真的減少人手」：專家裁剪。Shears會挑選保留的專家，匯出時切掉其餘權重。公開翻譯模型卡記載，每層的可路由專家由 128 個保留 8 個，30 層都這樣處理。由於原本每個 Token 就啟用 8 個，保留後的專家集合全數參與，作者把它描述成約 3.8B 參數的密集模型。這是該成品的配置，不是所有 MoE 的必然結果。

②「讓留下的人重新分工」：healing。裁完直接上工，原本的計算容易失配。block-local healing 文件描述的做法，是把模型分段，讓裁剪後的一段接收教師在該段的輸入，再學著產生接近教師的段末表示。表示就是中間計算狀態，不是人能直接讀懂的思考稿。

這像接力隊先分段練習：每一棒先拿到教練給的標準交棒，再練如何跑到段末。它能減少練習時前段錯誤干擾後段，但正式整隊接力仍要另外測。公開英日成品在五個區塊做局部修復，並未做端到端修復；也不要把「全域注意力層會自然治好錯誤」當定律，作者已在文章中撤回這個早期解釋。

③「把每個數值存得更省」：量化。量化是降低儲存權重的數值精度。裁剪改變保留哪些計算元件，修復調整留下的計算，量化再改變數值表示。公開 GGUF 使用 Q4_K_M，並非每個數值都恰好四位元。尤其 工具目前有量化感知修復功能，不代表這份公開翻譯成品就用過；模型卡明載它先修復、後量化。

二、先看清成績單：92% 究竟在量什麼？

作者 2026 年 10 月 22 日的 工程文章記錄：在 Tolby 的 906 筆保留分類資料上，修復後 bf16 模型有 831 筆與 26B 教師同判，約 91.7%；Q4_K_M 是 828 筆，約 91.4%。它量的是特定分類任務的教師一致率，不是翻譯正確率，也不是一般能力保留率。

公開英日翻譯模型是另一份訓練成果。其模型卡報告，在 960 段 WMT24++ 英日資料、51,595 個位置上，餵入教師既有譯文後，比較下一個 Token 的首選，得到 74.25% 一致。這項數字來自合併後 bf16 模型，並非下載的 Q4_K_M 檔；模型卡另明載未做人工譯文品質評估。

同一卡片也另做 150 段自由生成：整句與教師逐字相同的只有 2 段。這不代表其餘都翻錯，因為一句話可以有多種合理譯法；它提醒你，下一字預測相近、整句相同、意思正確，分別需要自己的分母與判準。別把不同任務、版本和解碼方式排成能力排行榜。

三、Shears 教學上手：先跑通公開英日模型

第一步不是編譯訓練工具，而是看 發布者模型卡與檔案。記下權重版本、檔名、大小與 SHA-256。這個 Q4_K_M 檔約 2.75 GB；下載大小不是執行峰值記憶體，還有執行器、上下文快取等開銷。先關閉其他大型模型，確認磁碟與可用記憶體。

若電腦已有 Ollama，先執行 ollama --version 記下版本；尚未安裝者，可由 Ollama 官方下載頁選對作業系統。到模型庫的 Files and versions 下載 shears-translate-en-ja-Q4_K_M.gguf 與同版 Modelfile，放進同一個新資料夾，再在該資料夾開終端機。

依發布者提供的路徑，依序執行 ollama create shears-translate-en-ja -f Modelfile，再執行 ollama run shears-translate-en-ja --think=false。Ollama 匯入文件可核對 GGUF 與 Modelfile 的關係。發布者只記錄曾用 Ollama 0.40.8 檢查單一句子；讀者這一輪仍須保存自己的啟動結果。若匯入時報不認得 RENDERER 或 PARSER，先記錄版本與錯誤，把這輪啟動列為未通過；不要刪掉格式設定後仍當成相同配置。

先貼 The meeting starts at three.，看它是否只輸出日語譯文；這一步驗的是管線跑通，還不是品質通過。保留 Modelfile 原本的完整 system prompt、temperature 0，並關閉 thinking。不要只改提示第一行就宣稱完成繁中版本：那已改變它受訓的工作格式。

接著建立原模型基準。要接近作者的教師，模型卡指定的是 mlx-community/gemma-4-26B-A4B-it-qat-4bit。原模型與小模型依序載入，不要為了並排測試讓兩者互相擠壓記憶體。若改用其他 GGUF 或執行器，完整記下差異，將它稱為「本次基準」，而非重現作者的教師配置。記憶體不足就先留空基準欄，完成小模型的獨立品質檢查。

四、五步做考卷：先寫答案，再開模型

①「先鎖定任務」：把要做什麼寫成一句話

痛點是測試途中一會兒翻譯、一會兒聊天。先寫任務合約：英語短訊翻成日語，只輸出譯文，保留數字、名稱與格式。工作表先建 題號、組別、輸入、合格條件、教師輸出、小模型輸出、判分、耗時、設定。每題開新對話，避免前一題改變後一題。

②「同域題」：測它受訓的工作

痛點是只有漂亮示範。先準備十題短英語，覆蓋時間、數字、否定、姓名與日常歧義。例題 A1：Please change the label from 25 to 2.5.；合格條件先寫「日文意思是把標籤由 25 改為 2.5、方向正確、小數點保留」。A2：Do not cancel the meeting.；條件是保留否定、不要誤成取消會議。這些是題目與評分規則，尚未填入模型成績。

③「域外題」：繁中轉用與知識分開

痛點是英日通過，就直接拿去翻繁中。另建十題繁中輸入、日語輸出，例如 B1「請把標籤從 25 改成 2.5。」保留同一 system prompt，先只改輸入語言；因此能較清楚觀察語言轉用。若你要的是英語翻繁中，則新開一組目標語言變更測試，原模型與小模型一起換提示，分開報告。

知識題更容易測錯。原提示要求把每句使用者文字翻成日語，所以 What is 2+2? 應被翻譯；直接回答 4 反而違反翻譯合約。想測知識，另建 C 組「直接回答問題」提示，兩個模型一起切換，再用預先寫好的答案本評分。這叫任務與提示轉移，不要把它當成單純英日翻譯退化。

④「兩把尺」：人工合格與教師一致分欄

痛點是用教師答案兼當真值。先藏起教師輸出，再依合格條件批改。翻譯可以請熟悉兩種語言的人核對，容許合理同義句；漏掉否定、改變數字或增添要求則記不合格。獨立合格率＝合格句數÷實際測試句數。教師一致率則先指定是分類答案一致或整句逐字一致，再另算，不要假裝有逐 Token 機率就能由聊天介面重現。

例如假設十句裡八句合格、七句與教師逐字相同，兩欄是 80% 與 70%，而不是平均成 75%。這只是算式演示。真正執行時，教師和小模型都要對照同一份獨立標準；保留「都對但不同寫法」「一起錯」「只有小模型錯」三種案例，比單一百分比更能指向下一步。

⑤「資源與去處」：通過才談省多少

痛點是只看檔案變小。先記冷啟動，再分開量暖機後：固定電源模式、輸入長度、輸出上限與上下文，每組重跑相同題目，保留每次紀錄。用碼表記整段等待時間；在 macOS 活動監視器的記憶體頁觀察執行模型的相關程序與記憶體壓力。若只是間隔觀察，就稱為觀測最高值，別寫成精確峰值。

有 API 使用經驗，可依 Ollama Chat API保存回應中的載入、輸入處理與生成耗時；API 回傳的時間欄位與自己從送出到收到的牆鐘時間分欄。換執行器後的速度差同時包含軟體差異，不應全歸功於裁剪。

五、怎樣決定採用？先限定工作，再安排失敗去處

先決定自己容許哪些錯。日常短訊可先用一小批人工核對；數字、否定與名字是獨立檢查項。有一題把 2.5 變成 25，就暫停自動交付該類內容，回到原模型或人工處理。這是你事先訂的採用規則，不是模型會自動知道自己哪題錯了。

模型卡已記錄數字改寫、專有詞與非英語輸入的弱點；因此先把它限定為低風險英日短句候選。長文件、繁中工作與知識答題要取得各組自己的證據。想接 Agent，也要測工具格式與完整任務；單次翻譯通過，與 Agent Harness 的執行流程能穩定交件，是不同層次。

保留一批未用來調提示的題目，最後才打開。十題適合找明顯失敗，不足以估出長期可靠度；反覆針對同一十題改提示，容易只是把考卷教會。若同域可接受、域外較差，就把可用範圍寫進流程，別把所有輸入默認送給同一小模型。

六、常見問題：八個先講答案的判斷

裁掉 85% 權重，等於少掉 85% 能力嗎？

不能這樣換算。權重比例是大小；能力要依任務、提示與獨立標準分開測。

約 92% 就是翻譯正確率嗎？

不是。該數字屬 Tolby 分類的一致率；公開翻譯模型另有下一 Token 一致測量，兩者分母不同。

老師和學生輸出不一樣，就判小模型錯嗎？

不一定。先看意思、數字與要求是否完整；合理同義句可以都對。

下載 2.75 GB，就代表記憶體只需 2.75 GB 嗎？

不代表。執行器、快取與輸入長度也會用記憶體，請量自己那一組設定。

可以直接改成繁中翻譯引擎嗎？

可以另設測試，但先取得繁中評分標準。公開英日成品的受訓格式與你的新任務不同。

問 2+2 沒回答 4，就算知識失敗嗎？

在原翻譯提示下不算。它的工作是翻譯題目；答題能力需另開任務提示與答案本。

工具有 QAT，這份 GGUF 就有做嗎？

沒有這個推論關係。這份成品模型卡明載 healing 未包含量化感知訓練；驗的是最後下載檔。

小模型同域通過，能換掉整個 Agent 的模型嗎？

先做完整任務驗收。工具選擇、參數、失敗恢復與格式都可能增加新的出錯點。

給新手的三個重點

• 裁剪減元件，修復調計算，量化省數值儲存；三步各有自己的效果。
• 先定工作，再定答案；同域、語言轉用、任務轉移分開報告。
• 是否採用看最終檔、合格率、資源與失敗去處，教師只是對照之一。