同一句問題,Q4 與 Q8 為什麼答得不一樣?這篇 inside-llm 教學帶你把差異拆開:是模型替候選文字排出的機率改變,還是抽樣選了另一條路,讓後面的前文跟著改變?
本文寫給第一次想看懂本機模型生成過程的讀者。先用免安裝 Demo 學會讀圖,再給已有 Windows/Linux 環境的讀者一套小模型配對流程。你不需要先懂機率公式;目標是留下可回看的比較證據,並知道它能回答哪一種問題。
以下依 2026 年 11 月 18 日查閱的 v1.0.0 發布包、官方原始碼、GGUF 規格與模型檔案資料整理。本文擷取了官方錄製 Session 的瀏覽器回放,雙模型推論與繁中題目測試則是下文提供的操作方案,並非 AlphaLab 已完成的模型準確率實測。
先說結論:量化改分布,抽樣選路徑,前文影響下一步
把模型想成替下一個字排候選名單的編輯,抽樣器像最後選稿的規則。量化可能改變名單上的權重;最後選哪一個,還要經過抽樣鏈。選出的內容寫回前文,下一張名單又會不同。Token 是模型處理的文字單位,可能是一個字、部分詞語或符號,與人眼看到的一個中文字不一定一一對應。
- 先用
Same text固定前文:問「兩份模型在同一個位置,怎麼看同一批候選?」 - 再用
Each its own各自生成:問「這次選擇不同後,兩段文字怎麼分岔?」 - 最後用答案本核對:分布相近、選字一致與答案正確,是三個分開驗收的結果。
一、inside-llm 教學先分三層:權重、抽樣、前文

GGUF 是保存模型張量與中繼資料的格式;量化則是權重數字的表示方法。就像同一本樂譜用不同精度記錄,細微改動可能影響演奏,但檔案格式本身不是品質分數。GGUF 規格也包含 tokenizer 等資訊;要補齊 Q4、Q6、Q8 與快取的差別,可先看 GGUF 量化指南。
模型先產生 logits,也就是每個候選 Token 的原始分數,轉成機率後才有可比較的分布。Temperature(溫度)會改變權重的集中程度,Top-p 等規則則篩選候選集合;實際先後順序會影響結果。Hugging Face 的生成策略文件把逐步挑最高分與隨機抽樣分開說明;本篇操作以 inside-llm 自己的抽樣鏈為準。
inside-llm 的關鍵是把這些層次攤開。Candidates 看候選,Compare 看兩邊分布,Gates 看每一道抽樣關卡留下什麼。你先查模型給了什麼,再查規則改了什麼,最後才看文字長成什麼樣。通用旋鈕的用途,可接著讀 LLM 採樣參數教學。
二、六步完成 inside-llm 教學:從錄製回放到自己的對照
第 1 步:「先不下載模型」用 Demo 認出同前文與分岔
先讀一份已有紀錄。打開 官方 Demo,選 Q2 vs Q8: same text, then each its own。進入回放後用 Play/Pause 與時間軸往返,移到 Token 上看候選,點選後固定位置,再切 Compare。
觀察上方的模式與文字欄說明:Same text 由 driver 決定真正寫入的 Token,另一欄顯示另一份模型在相同前文下原本會選什麼。Each its own 則讓兩邊沿各自的選擇前進。洋紅標記代表選擇不同,還不是「哪邊答錯」的判決。

這裡先驗收一件事:你能說出目前兩邊是否讀同一份前文。錄製頁會顯示 Recorded session;改模式、改抽樣設定與重新生成等引擎動作停用。它像比賽錄影,可以暫停看細節,不能把錄影中的選手換掉再跑一次。
第 2 步:「我的電腦走哪條路?」核對發布包再啟動
把學讀圖與啟動引擎分開。本次發布頁列出 Windows/Linux 的 CUDA 與 Vulkan 四種包;macOS 讀者可先完成上面的瀏覽器回放練習。Windows 下載對應 ZIP,解壓後開啟 inside-llm.exe;Linux 可依下列固定 v1.0.0 Vulkan 範例操作,先確認 glibc 2.35 以上與 Vulkan 驅動環境。
curl -fLO https://github.com/manuelgscom/inside-llm/releases/download/v1.0.0/inside-llm-v1.0.0-linux-vulkan.tar.gz
curl -fLO https://github.com/manuelgscom/inside-llm/releases/download/v1.0.0/SHA256SUMS
sha256sum -c --ignore-missing SHA256SUMS
tar -xzf inside-llm-v1.0.0-linux-vulkan.tar.gz
./inside-llm-v1.0.0-linux-vulkan/inside-llm --ctx 2048
只有雜湊核對成功才接著解壓啟動;若顯示不符或下載失敗,先重新核對來源與檔名。程式會開瀏覽器,或手動前往 http://localhost:8642。保留預設本機監聽位址;官方明寫引擎沒有登入驗證,這個練習不需要把服務開到公網。
第 3 步:「兩份都放得下嗎?」從同源小模型配對
先選同一模型、同一倉庫的兩份量化。到 Models → Hugging Face 找 unsloth/Qwen3.5-0.8B-GGUF,核對 Qwen3.5-0.8B-Q4_K_M.gguf 與 Qwen3.5-0.8B-Q8_0.gguf,再用 Download & compare。Unsloth 是這兩份 GGUF 的發布者;不要順手換成另一個微調版,讓權重來源也一起改變。

圖中的合計只是磁碟權重;GPU 還需要各自的上下文快取、計算緩衝與保留空間。程式的 容量估算程式會加上快取與緩衝估計;模型選擇器的警告是預先檢查,不是保證載入成功。系統 RAM 還有狀態快照預算,--snapshot-mem 的預設是每個模型 3072 MiB,應與 VRAM 分開盤點。
官方要求配對共用 tokenizer,選擇器也會篩選相容項目。先看它是否接受這一對,再看容量與載入日誌。預設全卸載到 GPU 的比較需要兩邊同時容納;空間吃緊時,先減少 --ctx 或選更小配對。官方另提供 --gpu-layers-a/--gpu-layers-b 控制 GPU 層數;若改成不同卸載配置,速度結果也要標明。沒有獨立 GPU 時,官方文件描述的是 CPU 路徑,不把兩張卡容量直接相加。
第 4 步:「先拿掉抽籤干擾」固定前文讀第一個差異
先做一輪挑最高分的基線。在本機引擎開 Samplers,把尚未開啟的 temp 滑桿調成 0 再啟用;grammar、penalties、top-k、top-p、min-p 保持關閉,Seed 記為 42。這是本篇建議的診斷設定,與模型作者替日常聊天建議的配方是兩回事。
選 Same text、driver A,開 New prompt,先輸入 請只回答整數:3 加 2 等於多少?。格式固定 Chat、System 留空、max tokens 固定 256。按 Start 後先 Pause;回點已生成的 Token 檢查,再用 Step 往後走。遇到洋紅標記就停下:抄下節點/位置、相同前文、A 與 B 的候選 Token,以及原始機率和經過 Gates 後的機率。沒遇到分歧,也是一筆結果,不必刻意換題湊出差異。
現在你已走完一條判讀鏈:先確認輸入相同,再看原始排序有沒有變,接著確認挑最高分時選字是否不同,最後檢查輸出是否回答了 5。兩邊都答 5,仍可能在前面的措辭或思考內容分歧;兩邊選字相同,也可能一起答錯。若生成額度耗盡仍未交出答案,另外記為「未完成」,不要硬判成算術錯誤。這就是為什麼要把分歧位置與答案驗收分開寫。
在 引擎的逐步流程裡,兩邊位於同一節點時才用兩份完整 logits 建立直接比較;鎖步模式接著把 driver 的選擇寫入共同路徑。換句話說,模型 B 的偏好即使顯示不同,也不代表 B 已經走上自己的前文。要查的如果是不同執行環境,先照 本機 LLM 五關對照核對輸入與設定。
第 5 步:「只改一顆旋鈕」再看抽樣鏈與自由生成
先建立一份固定抽樣配方,再一次只改一個數值。暫停後開 Samplers,記下所有開關、參數與順序。這版 介面邏輯在沒有截尾關卡時啟用正溫度或 penalties,可能連動開啟 top-k、top-p、min-p、temp。看到一顆開關亮起,不要就假設只有它改了。

例如先建立 top-k 40 → top-p 0.95 → min-p 0.05 → temp 0.8、Seed 42 的固定配方,grammar 與 penalties 關閉。第一輪保留配方,只把 temp 改成 0.6;下一個比較再回到原配方,只把 top-p 改成 0.90。每輪都以相同完整 prompt 開新一輪生成,因為介面明寫變更從下一個 Token 生效,半途拖滑桿會把前後兩種條件混在一起。這些數字是控制變因的練習配方,不是最佳參數宣稱。
先在 Same text 比較同前文的關卡變化,再從同一份 prompt 另開 Each its own,看第一個不同選擇如何帶出不同文字。分岔後若 Compare 出現 Only A evaluated 等提示,先讀它:現在選到的路徑,另一個模型可能根本沒評估過,不能硬把兩欄相同字數的位置當成同一個問題。
固定種子也不是讓 Q4 與 Q8 答案一致的咒語。抽樣實作契約把同位置的隨機數綁到 seed 與深度,但兩份分布不同,落在同一個抽籤位置仍可能選到不同 Token。檢查重跑時也要固定引擎、後端、卸載與完整輸入,保留變動紀錄。
第 6 步:「別只留截圖」保存 Session,再對答案本
把可回看的紀錄與正確性檢查一起保存。本機工具列的 Session 可下載 .ils;官方將它定義成壓縮後的事件串流,靜態頁可用 ?session=<檔案網址> 載入。本文建議把檔案放在自己可控、與靜態頁同源的位置,重新開啟後核對模型、前文、設定與分歧位置;本機磁碟路徑不是可直接貼進該參數的公開網址。
Session 會攜帶對話與生成紀錄。先用公開的小題練習,別把客戶文件或金鑰混進 prompt 再上傳回放。若只需要私下保存,就保留檔案和環境筆記;不需要為了分享圖表,把完整對話公開。
答案本可以很小:同一段自寫短文的事實題、上述加法題、指定字串擷取題,各先寫好可接受答案與通過條件。把每一題兩邊是否答對、第一次分歧在哪、哪個 Gate 改變候選分開記錄。小樣本幫你找到失敗形狀;要宣稱整體品質勝負,還需要更具代表性的題組與重跑。
三、讀指標的三個坑:差得早、差得大、自信高
第一個不同 Token 是定位點,不是量化品質排名。答案可能只是同義改寫,也可能是關鍵數字錯誤;更晚分歧不等於更正確。Q8 同樣是一份量化模型,可當對照組,不能直接當作真值。若連基底權重、微調或轉檔流程也不同,應把結論寫成「這兩份檔案的差異」,別全歸給位元數。
Jensen–Shannon divergence(JS divergence,可理解成兩份機率分布的距離指標)告訴你模型對候選的看法差多少。指標程式對同前文 logits 計算分布差異;它沒有拿答案本評分。因此 JS 小與答案正確之間,仍要接上任務驗收。
機率高也只是模型在當下前文中的偏好。這裡的亮度、信心或 perplexity,不是經過外部查證的事實可信度。像兩位編輯都很肯定同一個錯誤年份,意見一致仍需要查資料;要設計更完整的驗收,可到 AI 專區繼續補上評測方法。
常見問題:八個先講答案的判斷
1. 完全沒有 GPU,可以先學嗎?
可以。官方 Demo 回放既有 Session,不執行你新輸入的模型問題;先練習停格、選 Token 與辨認模式就有收穫。
2. 可以拿任意兩份 GGUF 比嗎?
先核對 tokenizer。這版配對要求共用 tokenizer;同一模型的兩份量化比較容易控制來源,模型選擇器的相容性檢查仍要通過。
3. Seed 相同,兩邊一定選同一個 Token 嗎?
不一定。相同隨機位置落進不同機率分布,仍可能選到不同候選;種子固定的是比較條件的一部分。
4. 關掉所有 Gates 就是挑最高分嗎?
不是。這版引擎仍會對最後留下的分布抽樣。要做挑最高分基線,依第 4 步明確開啟 temp 0,並核對其他關卡狀態。
5. 看到洋紅標記就代表低位元模型錯了嗎?
不一定。標記是兩邊選擇不同;錯誤要靠題目的答案與規則判定,不能直接把高位元那邊當標準答案。
6. 分岔後還能直接比相同位置嗎?
先查前文與節點。各走各路後,表面上的第幾個字可能屬於不同路徑;回到共同節點或鎖步模式,才回答同條件的分布問題。
7. 匯出 Session 就包含可重新推論的模型嗎?
兩者分開。官方的 .ils 是事件紀錄,回放不必載入 GGUF;若要重新生成,還要保留模型檔案身分、引擎與執行設定。
8. 哪些人最適合先做這套練習?
想定位量化差異的人。若只是想找聊天介面或選一份能跑的模型,先讀 GGUF 入門;若要知道兩份量化在哪一個決定出現差異,再用這套流程。
給新手的三個重點
- 先固定:同源模型、tokenizer、完整 prompt、模式與抽樣鏈。
- 再拆開:原始分布、關卡後機率與實際選字,各留一份紀錄。
- 最後驗收:Session 能回看,答案有答案本,才討論哪份模型適合工作。
接著閱讀
左右滑動查看更多推薦
下一步:先替一個分歧寫下正確解釋
今天先完成一張小筆記:這個位置的前文相同嗎?原始分布改了嗎?抽樣鏈留下了什麼?最後答案對嗎?你不必先做一份排行榜;能把一個分歧講清楚,就已經把「感覺模型變笨」往可檢查的證據推進一步。
回到那句口訣:量化改分布,抽樣選路徑,前文影響下一步。先用 Demo 練習辨認,再挑自己能負擔的小模型配對。想把這種實驗習慣串成完整學習路線,可從 AlphaLab 課程挑一個要實際完成的專案。






