【2026 最新】Heretic 去 AI 味有用嗎？搞懂 noslop、英文詞表與繁中盲評方法

你想讓本機模型少寫空泛修辭，看到 Heretic 2.0 的「noslop」設定，直覺可能是：跑完就能去掉 AI 味。這篇 Heretic 去 AI 味教學先問一個更實際的問題：它量到的改善，和你讀繁中文章時在意的改善，是同一件事嗎？

本文寫給第一次接觸模型修改、願意照著檢查設定的新手。你會認識評分器與修改器，學會保存原模型，並把英文詞表、繁中盲評和一般問答分開驗收；還沒準備好運算環境，也能先完成自己的考題與評分規則。

以下依 2026 年 11 月 3 日查閱的 官方 v2.0.0 發布紀錄與該標籤原始碼說明。本文提供評估方法，未執行模型修改或繁中生成前後測；不預先宣告 noslop 對繁中有效。

先說結論：去 AI 味＝詞表變化＋讀者盲評＋能力保留

把「去 AI 味」想成改食譜：少放某種香料，還要試吃，也要確認主菜沒有煮壞。英文關鍵字命中率像香料檢測，繁中自然度像試吃，一般問答則檢查基本功。三張成績單一起看，才有理由決定是否保留修改版。

• 官方 noslop 範例以英文故事提示與英文詞表設定目標；繁中品質需要另外出題。
• KeywordRate 衡量命中標記的回答比例；數字變小，支持的是這個範圍的變化。
• 原模型與修改版用同一套推論條件、保留完整答案，再匿名評分；硬條件失敗先記下，別讓漂亮文筆補掉。

一、Heretic 去 AI 味改的是哪一層？先認識三個零件

提示詞像上菜前交代「清淡一點」；模型權重像廚師已形成的習慣。Heretic 是對既有語言模型進行行為修改的工具，會搜尋修改參數並評估候選結果。它與每次多加一段提示、或以梯度更新進行微調，各有不同的執行路徑。想先補權重與訓練的觀念，可讀 AI 模型如何學習。

①「評審拿什麼尺」：scorer

Scorer 是替候選模型算分的評分器。2.0 的 預設設定會同時最小化 KeywordRate 與 KLDivergence。前者可以換詞表與題目；後者比較指定提示下，修改前後的機率分布差異。換句話說，評審怎麼出題，會影響系統追求什麼。

②「真的動手改」：modifier

Modifier 是套用修改方法的零件。2.0 遷移文件明列 ARA（Arbitrary-Rank Ablation）為預設，也保留另一種 Abliteration 修改器。noslop 範例把「少用華麗套語」和「多用華麗套語」的提示分開提供給 ARA，讓修改方法取得對照訊號。這是修改依據，不是讀者已經比較喜歡修改版的證據。

③「反覆找折衷」：optimizer

最佳化器會嘗試不同修改參數，找評分之間的折衷。你可以把它想成反覆試配方的助手：它很勤快，卻只認得你交給它的尺。改了模型之後，實際使用仍是逐步產生 Token；想理解生成過程，可接著看 大型語言模型運作原理。

二、Heretic 去 AI 味的 KeywordRate 到底算什麼？

依 v2.0.0 的 KeywordRate 實作，系統逐一檢查回答：轉成小寫、移除星號、正規化特定撇號與空白後，只要包含任一標記就算命中。它使用子字串比對；同一回答命中一個或多個標記，都只增加一次命中。空白回答也算命中，避免候選模型靠不回答來取得好分數。

它的量可以寫成 命中回答數 ÷ 全部受測回答數。假設我們自己編兩段教學文字，其中一段含有詞表中的 ethereal，另一段完全不含標記，就會有一段命中。這是在說明計數規則，不是模型生成結果，也不是自然度得分。

關鍵落差在這裡：一篇保留所有事實、但不小心用到標記的好文章，仍可能命中；一篇完全避開英文標記、卻充滿空話的繁中文章，也可能不命中。這是從比對規則推導出的測量限制。命中率下降可以是進展，但不能單獨推出繁中更自然、語意更完整或模型更聰明。

還要看「保留能力」的尺。KLDivergence 程式在指定提示上比較首個生成 Token 的機率分布。它是行為漂移的觀察量；要判斷算術、閱讀理解或長篇語意是否保留，仍需對應任務的答案。把它想成檢查門口的位置有沒有偏移，整棟房子的結構仍要另外驗。

三、六步準備同模型前後測：先留下能回復的原版

①「先看廚房夠不夠」：核對環境

怕一開始就卡住？先讀 官方安裝文件：需要 Python 3.10 以上，以及配合硬體安裝的 PyTorch 2.6 以上。本文的執行環境只有 Python 3.9，且未備妥 PyTorch 與 Heretic，因此沒有為了文章安裝整套模型運算環境。你若也未準備好，先做下方考題設計即可。

已有合適環境的人，在獨立虛擬環境執行 python -m pip install heretic-llm==2.0.0，再以 python -m pip show heretic-llm 核對版本。固定版本只是起點，也保存 python -m pip freeze 的套件清單及 GPU、驅動、精度、量化設定。安裝來源與發行檔驗證方式可對照 官方安全文件。

②「原味留一份」：固定模型與版本

不知道選誰？本教學用官方 README 列出的 Qwen/Qwen3-4B-Instruct-2507 當準備範例，不表示本文驗證過它的 noslop 成效。先到 模型官方頁記下確切 revision、下載檔與授權。將該 commit 寫入 config.toml 最上方、任何方括號區段之前的 model_commit 欄位，值以雙引號包住。這是根層設定；執行時以日誌確認載入同一 revision。把原始快照視為唯讀；修改版另存新目錄。兩邊的 tokenizer（斷詞器）、聊天模板及基礎版本也一併留存。

③「別拿錯食譜」：明確選用 noslop

最容易失手的是直接照一般啟動範例跑。官方文件將預設工作列為拒答抑制；本篇要做的是風格評估。請先建立全新的實驗工作目錄，將 v2.0.0 的 noslop 設定檔下載到該目錄，命名為 config.toml。用 pwd 核對位置，再用 cat config.toml 確認內容。

檔內應可看到 score_name = "Responses with slop"、英文 keyword_markers、[modifier.ARA.good_prompts] 與 [modifier.ARA.bad_prompts]。兩組提示分別要求避免或大量使用華麗套語。若日誌仍載入拒答用資料或顯示 Refusals，先停止，檢查工作目錄、命令列與 HERETIC_ 環境變數；後兩者也能影響設定。

④「舊配方先搬家」：核對 1.x 遷移

已用過舊版？2.0 的設定與 1.x 不相容。舊的 refusal_markers 改名為 keyword_markers 並移到評分器區段；[good_evaluation_prompts] 也改為 [scorer.KLDivergence.prompts]。本題建議從已固定的 2.0 noslop 範例開始，別把舊版整份設定直接覆蓋進來；若保留自訂項目，逐項對照遷移文件。

⑤「每個批次貼標籤」：啟動與另存

核對設定後，才在該目錄執行 heretic Qwen/Qwen3-4B-Instruct-2507。保留啟動、資料載入、候選 trial（一次參數嘗試）與評分的完整日誌，寫下實際使用的模型版本。完成後從互動選單選擇儲存到新的本機資料夾，例如 modified-noslop-v2；不要指向原始快照，也先不做公開上傳。

官方範例以 train[:500] 提供修改對照，並在 train[1000:1100] 計分。雖然切片分開，後一組分數會參與選候選，因此它更像試菜過程用的尺。接下來的繁中驗收題，要在開始修改之前另外鎖好，保留到選定候選之後再使用。

⑥「兩盤用同一套餐具」：固定生成條件

原模型與修改版必須用同一套推論程式或介面，固定 system prompt、聊天模板、輸出上限、精度、量化與取樣設定。v2.0.0 的 內部生成實作使用 do_sample=False；外部繁中驗收可以另採取樣，但要把採用的 temperature、top-p 與 seed 完整記錄，且兩邊一致。

noslop 檔的 max_response_length = 300 是 Token 上限，不是 300 個中文字。若長文常被截斷，就另開一輪較長上限的驗收，原版與修改版一起改，勿把截斷當成「更精簡」。跨硬體與軟體的逐字一致性，也不能只靠同一顆 seed 保證；PyTorch 重現性文件明列這類環境邊界。

四、繁中盲評怎麼做？從一題完整走過

先在記事本保存這題：「用繁體中文寫一則 120～180 字的活動延期通知。原定週六下午三點，因場地漏水延期至下週六下午三點；已報名者資格保留，也可申請退款。請清楚交代變更與選項，不補寫退款期限、聯絡人或其他背景。」這是本文自製考題，不取自官方最佳化資料。

先寫必留清單：原時間、延期原因、新時間、資格保留、可退款；另列禁止新增的資訊。讓兩個版本各產生完整答案，先封存，再把模型名稱換成無意義代號，隨機交換左右位置。解碼表另外存，評分的人先不看。若由自己一人整理，可隔一段時間再評，但仍保留「可能記得來源」這個方法限制。

第一輪先逐項勾選事實與限制；第二輪才盲評自然度、語意保留、可讀性各 1～5 分，並抄下一句讓你加分或扣分的原文。分數定義也先寫好，例如自然度 1 分是反覆堆空話、3 分是清楚但有公式感、5 分是措辭貼合情境且讀來順暢。這是建議的評分尺度，不是現成研究結果。

再加入不同文類：一題有明確事實的產品說明、一題情節順序固定的短故事、一題把生硬段落改成白話。每題都把評分依據先封存；不要看到修改版失敗，才刪掉該題。另做一輪較容易的對照：原模型只加「少用空泛修辭，保留全部資訊」提示，看看權重修改究竟多帶來什麼。

本篇建議第一輪先收 12 題，分散到幾種文類；它是方便開始的規模，不是證明有效的統計門檻。若採隨機取樣，可每題重跑三次，分開保留每次答案、平手與評分分歧。已有 本機 LLM 繁中盲測方法可補匿名與封存細節；這次的比較單位則是同一個基礎模型修改前後。

五、把一般能力與成本放回決策

寫得順，卻把數字算錯，值得換嗎？再留一組未參與修改的短任務，例如三筆金額加總、從你提供的段落抽出日期、遵守指定 JSON 欄位。這些題目先寫正確答案或驗收條件；原版與修改版用同條件回答，逐題記錄退步，而不是只公布兩邊平均。

成本也分兩本帳：修改階段記總耗時、試了多少候選、GPU／RAM 峰值與輸出檔大小；使用階段記同一題的等待時間與記憶體。用同一個監測工具，註明測試順序及冷啟動是否計入。本文沒有提供通用分鐘數或顯存保證，因為這些必須隨實際模型與配置量測。

• 如果英文命中率下降，繁中盲評持平：記為「英文代理指標改善」，先保留原版作日常使用。
• 如果繁中較自然，但漏掉退款選項或算術退步：依事前寫好的硬條件判失敗，回原版或重選候選。
• 如果未見題的繁中偏好穩定改善、硬條件過關、成本可接受：先在該文類小範圍使用，保留可回復的原版。
• 如果提示式對照已達到相近效果：先用提示方案，評估是否值得多維護一份修改模型。

有一份 作者發布的早期 noslop 模型卡列出關鍵字與 KL 的前後數字，但它註明使用開發版 commit。那份紀錄支持「作者曾量測這些指標」，本篇不把它搬成 2.0、ARA、Qwen 或繁中盲評的結論。版本、模型與考卷不同，成績就應分開保存。

常見問題：八個先講答案的判斷

1. Heretic 去 AI 味就是多加一句提示嗎？

不是同一層。提示改變這次輸入；Heretic 會產生經修改的模型。比較效果時，仍要把其他生成條件固定。

2. noslop 分數下降，代表繁中一定變好嗎？

不一定。英文標記命中率和繁中自然度量的是不同問題，需用未參與選參的繁中題目驗收。

3. 關鍵字出現次數少一半，就是分數少一半嗎？

不是這個算法。KeywordRate 按回答是否命中計數，同一回答命中多個標記仍只計一次；空白回答也列為命中。

4. KL 很低，就能當能力保證嗎？

不足以這樣判斷。本版程式比較指定提示上的首 Token 分布，算術、理解與長篇保真要另測。

5. 可以沿用 1.x 的 config.toml 嗎？

需要遷移。官方明列 2.x 與舊設定不相容，且預設修改器改為 ARA。

6. 同一顆 seed 就算公平了嗎？

還不夠。版本、模板、量化、取樣與環境都會影響比較；先保存整份配置與答案。

7. 想讓文章像自己，應先改模型嗎？

先試較容易維護的寫作規則與正反例。個人 AI 寫作系統處理作者事實與風格；輸出風格與資訊保真教學則示範如何檢查改寫後留下了什麼。

8. 今天沒有合適 GPU，能完成什麼？

能先完成考題、必留清單、評分尺度和回復條件。等環境備妥再生成答案；準備表不能填成已完成的測試結果。

給新手的三個重點

• 先確認做的是 noslop：固定 2.0 設定，從啟動日誌核對實際載入內容。
• 先拆三張成績單：英文命中率、繁中讀者偏好、一般能力各自留證據。
• 先寫回復條件：原版留存、硬條件先判，再決定要不要維護修改版。