跳到主要內容

【2026 最新】inside-llm 教學:怎麼找出 GGUF 第一個分歧 Token?六步分清量化與抽樣

最後更新: ·
inside-llm 教學:找出 GGUF 分歧 Token,分清量化與抽樣

同一句問題,Q4 與 Q8 為什麼答得不一樣?這篇 inside-llm 教學帶你把差異拆開:是模型替候選文字排出的機率改變,還是抽樣選了另一條路,讓後面的前文跟著改變?

本文寫給第一次想看懂本機模型生成過程的讀者。先用免安裝 Demo 學會讀圖,再給已有 Windows/Linux 環境的讀者一套小模型配對流程。你不需要先懂機率公式;目標是留下可回看的比較證據,並知道它能回答哪一種問題。

以下依 2026 年 11 月 18 日查閱的 v1.0.0 發布包、官方原始碼、GGUF 規格與模型檔案資料整理。本文擷取了官方錄製 Session 的瀏覽器回放,雙模型推論與繁中題目測試則是下文提供的操作方案,並非 AlphaLab 已完成的模型準確率實測。

先說結論:量化改分布,抽樣選路徑,前文影響下一步

把模型想成替下一個字排候選名單的編輯,抽樣器像最後選稿的規則。量化可能改變名單上的權重;最後選哪一個,還要經過抽樣鏈。選出的內容寫回前文,下一張名單又會不同。Token 是模型處理的文字單位,可能是一個字、部分詞語或符號,與人眼看到的一個中文字不一定一一對應。

  • 先用 Same text 固定前文:問「兩份模型在同一個位置,怎麼看同一批候選?」
  • 再用 Each its own 各自生成:問「這次選擇不同後,兩段文字怎麼分岔?」
  • 最後用答案本核對:分布相近、選字一致與答案正確,是三個分開驗收的結果。

一、inside-llm 教學先分三層:權重、抽樣、前文

inside-llm 教學:原始分布、抽樣鏈與寫回前文的三層關係
原始分布、抽樣鏈與後續前文各回答一種問題;先固定比較條件,再讀差異。AlphaLab 製圖。

GGUF 是保存模型張量與中繼資料的格式;量化則是權重數字的表示方法。就像同一本樂譜用不同精度記錄,細微改動可能影響演奏,但檔案格式本身不是品質分數。GGUF 規格也包含 tokenizer 等資訊;要補齊 Q4、Q6、Q8 與快取的差別,可先看 GGUF 量化指南。

模型先產生 logits,也就是每個候選 Token 的原始分數,轉成機率後才有可比較的分布。Temperature(溫度)會改變權重的集中程度,Top-p 等規則則篩選候選集合;實際先後順序會影響結果。Hugging Face 的生成策略文件把逐步挑最高分與隨機抽樣分開說明;本篇操作以 inside-llm 自己的抽樣鏈為準。

inside-llm 的關鍵是把這些層次攤開。Candidates 看候選,Compare 看兩邊分布,Gates 看每一道抽樣關卡留下什麼。你先查模型給了什麼,再查規則改了什麼,最後才看文字長成什麼樣。通用旋鈕的用途,可接著讀 LLM 採樣參數教學。

二、六步完成 inside-llm 教學:從錄製回放到自己的對照

第 1 步:「先不下載模型」用 Demo 認出同前文與分岔

先讀一份已有紀錄。打開 官方 Demo,選 Q2 vs Q8: same text, then each its own。進入回放後用 Play/Pause 與時間軸往返,移到 Token 上看候選,點選後固定位置,再切 Compare。

觀察上方的模式與文字欄說明:Same text 由 driver 決定真正寫入的 Token,另一欄顯示另一份模型在相同前文下原本會選什麼。Each its own 則讓兩邊沿各自的選擇前進。洋紅標記代表選擇不同,還不是「哪邊答錯」的判決。

inside-llm 錄製回放中的 Same text 與 Compare 候選分布
Step 1.1 — 官方 Qwen3.5-4B Q2_K/Q8_0 錄製 Session 的回放畫面;AlphaLab 擷取,非本機雙模型推論。介面/Manuel García Sanz,MIT 授權。

這裡先驗收一件事:你能說出目前兩邊是否讀同一份前文。錄製頁會顯示 Recorded session;改模式、改抽樣設定與重新生成等引擎動作停用。它像比賽錄影,可以暫停看細節,不能把錄影中的選手換掉再跑一次。

第 2 步:「我的電腦走哪條路?」核對發布包再啟動

把學讀圖與啟動引擎分開。本次發布頁列出 Windows/Linux 的 CUDA 與 Vulkan 四種包;macOS 讀者可先完成上面的瀏覽器回放練習。Windows 下載對應 ZIP,解壓後開啟 inside-llm.exe;Linux 可依下列固定 v1.0.0 Vulkan 範例操作,先確認 glibc 2.35 以上與 Vulkan 驅動環境。

curl -fLO https://github.com/manuelgscom/inside-llm/releases/download/v1.0.0/inside-llm-v1.0.0-linux-vulkan.tar.gz
curl -fLO https://github.com/manuelgscom/inside-llm/releases/download/v1.0.0/SHA256SUMS
sha256sum -c --ignore-missing SHA256SUMS
tar -xzf inside-llm-v1.0.0-linux-vulkan.tar.gz
./inside-llm-v1.0.0-linux-vulkan/inside-llm --ctx 2048

只有雜湊核對成功才接著解壓啟動;若顯示不符或下載失敗,先重新核對來源與檔名。程式會開瀏覽器,或手動前往 http://localhost:8642。保留預設本機監聽位址;官方明寫引擎沒有登入驗證,這個練習不需要把服務開到公網。

第 3 步:「兩份都放得下嗎?」從同源小模型配對

先選同一模型、同一倉庫的兩份量化。到 Models → Hugging Face 找 unsloth/Qwen3.5-0.8B-GGUF,核對 Qwen3.5-0.8B-Q4_K_M.gguf 與 Qwen3.5-0.8B-Q8_0.gguf,再用 Download & compare。Unsloth 是這兩份 GGUF 的發布者;不要順手換成另一個微調版,讓權重來源也一起改變。

Qwen3.5-0.8B Q4_K_M 與 Q8_0 兩份 GGUF 權重檔案容量
Step 3.1 — 依 固定 revision 的檔案資料整理;完整檔名與 Bytes 要一起核對。AlphaLab 製圖。

圖中的合計只是磁碟權重;GPU 還需要各自的上下文快取、計算緩衝與保留空間。程式的 容量估算程式會加上快取與緩衝估計;模型選擇器的警告是預先檢查,不是保證載入成功。系統 RAM 還有狀態快照預算,--snapshot-mem 的預設是每個模型 3072 MiB,應與 VRAM 分開盤點。

官方要求配對共用 tokenizer,選擇器也會篩選相容項目。先看它是否接受這一對,再看容量與載入日誌。預設全卸載到 GPU 的比較需要兩邊同時容納;空間吃緊時,先減少 --ctx 或選更小配對。官方另提供 --gpu-layers-a/--gpu-layers-b 控制 GPU 層數;若改成不同卸載配置,速度結果也要標明。沒有獨立 GPU 時,官方文件描述的是 CPU 路徑,不把兩張卡容量直接相加。

第 4 步:「先拿掉抽籤干擾」固定前文讀第一個差異

先做一輪挑最高分的基線。在本機引擎開 Samplers,把尚未開啟的 temp 滑桿調成 0 再啟用;grammar、penalties、top-k、top-p、min-p 保持關閉,Seed 記為 42。這是本篇建議的診斷設定,與模型作者替日常聊天建議的配方是兩回事。

選 Same text、driver A,開 New prompt,先輸入 請只回答整數:3 加 2 等於多少?。格式固定 Chat、System 留空、max tokens 固定 256。按 Start 後先 Pause;回點已生成的 Token 檢查,再用 Step 往後走。遇到洋紅標記就停下:抄下節點/位置、相同前文、A 與 B 的候選 Token,以及原始機率和經過 Gates 後的機率。沒遇到分歧,也是一筆結果,不必刻意換題湊出差異。

現在你已走完一條判讀鏈:先確認輸入相同,再看原始排序有沒有變,接著確認挑最高分時選字是否不同,最後檢查輸出是否回答了 5。兩邊都答 5,仍可能在前面的措辭或思考內容分歧;兩邊選字相同,也可能一起答錯。若生成額度耗盡仍未交出答案,另外記為「未完成」,不要硬判成算術錯誤。這就是為什麼要把分歧位置與答案驗收分開寫。

在 引擎的逐步流程裡,兩邊位於同一節點時才用兩份完整 logits 建立直接比較;鎖步模式接著把 driver 的選擇寫入共同路徑。換句話說,模型 B 的偏好即使顯示不同,也不代表 B 已經走上自己的前文。要查的如果是不同執行環境,先照 本機 LLM 五關對照核對輸入與設定。

第 5 步:「只改一顆旋鈕」再看抽樣鏈與自由生成

先建立一份固定抽樣配方,再一次只改一個數值。暫停後開 Samplers,記下所有開關、參數與順序。這版 介面邏輯在沒有截尾關卡時啟用正溫度或 penalties,可能連動開啟 top-k、top-p、min-p、temp。看到一顆開關亮起,不要就假設只有它改了。

inside-llm Samplers 面板顯示 Seed 與各抽樣關卡
Step 5.1 — 官方 Gates 錄製 Session 的回放,顯示 Seed 與抽樣關卡;控制為唯讀,圖中配方不是第 4 步的基線。AlphaLab 擷取;介面/Manuel García Sanz,MIT 授權。

例如先建立 top-k 40 → top-p 0.95 → min-p 0.05 → temp 0.8、Seed 42 的固定配方,grammar 與 penalties 關閉。第一輪保留配方,只把 temp 改成 0.6;下一個比較再回到原配方,只把 top-p 改成 0.90。每輪都以相同完整 prompt 開新一輪生成,因為介面明寫變更從下一個 Token 生效,半途拖滑桿會把前後兩種條件混在一起。這些數字是控制變因的練習配方,不是最佳參數宣稱。

先在 Same text 比較同前文的關卡變化,再從同一份 prompt 另開 Each its own,看第一個不同選擇如何帶出不同文字。分岔後若 Compare 出現 Only A evaluated 等提示,先讀它:現在選到的路徑,另一個模型可能根本沒評估過,不能硬把兩欄相同字數的位置當成同一個問題。

固定種子也不是讓 Q4 與 Q8 答案一致的咒語。抽樣實作契約把同位置的隨機數綁到 seed 與深度,但兩份分布不同,落在同一個抽籤位置仍可能選到不同 Token。檢查重跑時也要固定引擎、後端、卸載與完整輸入,保留變動紀錄。

第 6 步:「別只留截圖」保存 Session,再對答案本

把可回看的紀錄與正確性檢查一起保存。本機工具列的 Session 可下載 .ils;官方將它定義成壓縮後的事件串流,靜態頁可用 ?session=<檔案網址> 載入。本文建議把檔案放在自己可控、與靜態頁同源的位置,重新開啟後核對模型、前文、設定與分歧位置;本機磁碟路徑不是可直接貼進該參數的公開網址。

Session 會攜帶對話與生成紀錄。先用公開的小題練習,別把客戶文件或金鑰混進 prompt 再上傳回放。若只需要私下保存,就保留檔案和環境筆記;不需要為了分享圖表,把完整對話公開。

答案本可以很小:同一段自寫短文的事實題、上述加法題、指定字串擷取題,各先寫好可接受答案與通過條件。把每一題兩邊是否答對、第一次分歧在哪、哪個 Gate 改變候選分開記錄。小樣本幫你找到失敗形狀;要宣稱整體品質勝負,還需要更具代表性的題組與重跑。

三、讀指標的三個坑:差得早、差得大、自信高

第一個不同 Token 是定位點,不是量化品質排名。答案可能只是同義改寫,也可能是關鍵數字錯誤;更晚分歧不等於更正確。Q8 同樣是一份量化模型,可當對照組,不能直接當作真值。若連基底權重、微調或轉檔流程也不同,應把結論寫成「這兩份檔案的差異」,別全歸給位元數。

Jensen–Shannon divergence(JS divergence,可理解成兩份機率分布的距離指標)告訴你模型對候選的看法差多少。指標程式對同前文 logits 計算分布差異;它沒有拿答案本評分。因此 JS 小與答案正確之間,仍要接上任務驗收。

機率高也只是模型在當下前文中的偏好。這裡的亮度、信心或 perplexity,不是經過外部查證的事實可信度。像兩位編輯都很肯定同一個錯誤年份,意見一致仍需要查資料;要設計更完整的驗收,可到 AI 專區繼續補上評測方法。

常見問題:八個先講答案的判斷

1. 完全沒有 GPU,可以先學嗎?

可以。官方 Demo 回放既有 Session,不執行你新輸入的模型問題;先練習停格、選 Token 與辨認模式就有收穫。

2. 可以拿任意兩份 GGUF 比嗎?

先核對 tokenizer。這版配對要求共用 tokenizer;同一模型的兩份量化比較容易控制來源,模型選擇器的相容性檢查仍要通過。

3. Seed 相同,兩邊一定選同一個 Token 嗎?

不一定。相同隨機位置落進不同機率分布,仍可能選到不同候選;種子固定的是比較條件的一部分。

4. 關掉所有 Gates 就是挑最高分嗎?

不是。這版引擎仍會對最後留下的分布抽樣。要做挑最高分基線,依第 4 步明確開啟 temp 0,並核對其他關卡狀態。

5. 看到洋紅標記就代表低位元模型錯了嗎?

不一定。標記是兩邊選擇不同;錯誤要靠題目的答案與規則判定,不能直接把高位元那邊當標準答案。

6. 分岔後還能直接比相同位置嗎?

先查前文與節點。各走各路後,表面上的第幾個字可能屬於不同路徑;回到共同節點或鎖步模式,才回答同條件的分布問題。

7. 匯出 Session 就包含可重新推論的模型嗎?

兩者分開。官方的 .ils 是事件紀錄,回放不必載入 GGUF;若要重新生成,還要保留模型檔案身分、引擎與執行設定。

8. 哪些人最適合先做這套練習?

想定位量化差異的人。若只是想找聊天介面或選一份能跑的模型,先讀 GGUF 入門;若要知道兩份量化在哪一個決定出現差異,再用這套流程。

給新手的三個重點

  • 先固定:同源模型、tokenizer、完整 prompt、模式與抽樣鏈。
  • 再拆開:原始分布、關卡後機率與實際選字,各留一份紀錄。
  • 最後驗收:Session 能回看,答案有答案本,才討論哪份模型適合工作。

接著閱讀

左右滑動查看更多推薦

下一步:先替一個分歧寫下正確解釋

今天先完成一張小筆記:這個位置的前文相同嗎?原始分布改了嗎?抽樣鏈留下了什麼?最後答案對嗎?你不必先做一份排行榜;能把一個分歧講清楚,就已經把「感覺模型變笨」往可檢查的證據推進一步。

回到那句口訣:量化改分布,抽樣選路徑,前文影響下一步。先用 Demo 練習辨認,再挑自己能負擔的小模型配對。想把這種實驗習慣串成完整學習路線,可從 AlphaLab 課程挑一個要實際完成的專案。

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。