跳到主要內容

【2026 最新】Llama Windows 教學:GGUF 怎麼下載、核對與刪除?六步排查背景程序

最後更新: ·
Llama Windows 教學:GGUF 下載、核對與刪除

你想下載一個 Q4 模型,畫面卻顯示比預期大得多;關掉聊天視窗,背景程序還在;想清掉模型,刪除按鈕又找不到。這篇 Llama Windows 教學,帶你把三件事分開:到底下載了哪個檔、現在誰在用它、刪掉會影響誰。

本文寫給第一次用 Windows 跑本機 AI 的讀者。你會用一個不到 0.5 GB 的 GGUF 練習核對,再照六步處理載入、背景執行與移除。前半可跟著圖形介面操作;後半附兩個唯讀 PowerShell 檢查,不需要先學寫程式。

以下依 2026 年 11 月 16 日查閱的官方發布頁、v0.14.1 原始碼與 Hugging Face 文件整理;這次未在 Windows 執行下載與刪除測試。發布頁標示的最新版本是 v0.14.1(10 月 30 日);11 月 6 日主分支的量化選擇修正,會另外說清楚,不混成同一份安裝包。

先說結論:本機 AI=操作介面+推論引擎+模型檔

把它想成音樂播放器:App 是遙控器,llama.cpp 是播放機,GGUF 是音樂檔。暫停播放、關掉遙控器、刪掉歌曲,是三種不同動作。記住這個分工,就比較容易找出磁碟與記憶體各在忙什麼。

  • 下載前:抄下來源倉庫、完整檔名、量化標籤與預期 Bytes。
  • 下載後:用實際檔案核對;清單顯示的模型名稱,只是檢查的起點。
  • 刪除前:先停止使用,查清路徑,再刪指定模型;有共用工具時,一起確認影響。

本篇的 Llama 是 llama.app 的 Windows 11 系統匣工具,由它管理 llama serve;與 Meta 名為 Llama 的模型家族要分開辨認。若你正在處理引擎升級,接著讀 llama.cpp 1.0 相容性教學,會比同時換 App、引擎和模型更容易找問題。

一、Llama Windows 教學先分三本帳:磁碟、記憶體、程序

Llama Windows 教學:下載、載入與刪除的三種狀態
下載保存檔案,載入使用記憶體,刪除移除指定檔案;三個結果分別驗收。AlphaLab 製圖。

GGUF 是儲存模型權重與相關資訊的檔案格式;量化像把數字壓縮打包,Q4_K_M 是其中一種配方。相同模型有不同量化檔,容量和效果也會不同。這裡先學會辨認手上那一份;想理解 Q4、Q6、Q8 的差別,可看 GGUF 量化白話指南。

磁碟容量是「檔案放在哪裡」;RAM 與 GPU 記憶體是「運算時用多少空間」;背景程序則是「誰還在等指令」。模型檔 484 MB,不能直接換成整套程式只需 484 MB 記憶體;對話長度與運算緩衝還要另算。App 的 Context 選項會顯示估計需求,第一次先用較短選項跑一句簡單問答,再逐項增加。

官方 Windows 說明 列出的預設快取是 %USERPROFILE%\.cache\huggingface\hub,設定與日誌在 %LOCALAPPDATA%\Llama。但你可以修改快取位置,也可以加入既有模型資料夾。先讀目前設定與實際檔案路徑,再判斷占用;不要只照著預設路徑找。

二、Llama Windows 教學六步:從安裝到指定模型核對

第 1 步:「我裝的是哪一份?」先留下三個版本

先從官方入口取得安裝包。到 產品頁 選 Windows,或進 Windows Releases,下載標示 x64/ARM64 的 .msixbundle,雙擊安裝。安裝若被系統攔下,先核對下載來源與發行者,不要為了繼續而關閉安全檢查。

啟動後,記錄 App 版本、底部顯示的引擎版本,以及準備使用的模型完整名稱。三者像播放器版本、解碼器版本、歌曲版本;其中一個更新,另兩個還需要分別確認。第一次操作可把三行資料存進記事本,之後遇到錯誤就能講清楚環境。

Llama Windows 官方系統匣畫面:模型列、下載、停止與刪除的位置概念
Step 1.1 — 官方 README 的系統匣示意,畫面標示 App 0.9.0;用來辨認模型列與動作區,並非本次 v0.14.1 實機截圖。已裁去無關桌布與工作列。圖/Hugging Face Inc.,官方原圖入口,MIT 授權。

第 2 步:「我點的是模型卡,還是指定檔?」先看完整標籤

把自動推薦與精確選檔分開。模型卡只說明模型家族;同一倉庫可能有 Q4、Q8、F16 等多份檔案。打開 Hugging Face 的 Files and versions,找到你打算要的完整 .gguf 檔名,再記下量化、大小與 revision(版次)。看見分片名稱時,要確認同一組需要的所有分片;只抄其中一片容量會低估總量。

這裡有真實的版本差異:v0.14.1 的 選擇程式 在已知記憶體預算時,會從符合或可能符合的候選中挑較大的版本。主分支 11 月 6 日合併的 修正 #174 則加入保留檔案連結指定量化標籤的邏輯,並調整預設偏好。合併進主分支,和你已下載的發布包包含修正,是兩件事。

因此,若你明明想要 Q4,App 卻準備抓另一份,先取消並記錄 App 版本、原始連結與實際量化。這能縮小調查範圍;單憑這段差異,還不足以判定任何論壇大檔回報的根因。

第 3 步:「先拿小檔練一次」用一份固定 GGUF 做練習

第一次先用小檔建立檢查習慣。本例選 bartowski 發布的 Qwen3-0.6B Q4_K_M 檔案;bartowski 是這份 GGUF 的轉檔發布者,來源模型是 Qwen。這是檔案管理練習,模型回答品質要另外評估。2026 年 11 月 16 日查得的固定版次為 60b85c0e3d8fe0f6474f406922a26d12aca4550d,該檔完整名稱為 Qwen_Qwen3-0.6B-Q4_K_M.gguf,大小是 484,220,320 Bytes,約 484 MB。

在上述檔案頁使用下載按鈕,保存到自己的模型資料夾,或先放在「下載」。只下載這一份檔案。接著進 App 的 Settings → Model folders 加入其所在資料夾;官方介面文字 說明,這裡掃描既有檔案,並保留原位置。下載用的 Local Models Cache 是另一項設定,別把兩個欄位當成搬檔工具。

這條路把「取得指定檔」和「讓 App 發現檔案」分開,方便你逐項核對。如果掃描後未列出,先確認選對資料夾、下載已完成且副檔名是 .gguf,再記錄 App 與引擎日誌;先保留原檔,避免一邊排錯一邊反覆重抓。

第 4 步:「顯示大小一樣,內容也一樣嗎?」核對 Bytes 與指紋

先比長度,再比 SHA-256。檔案總管的「內容」會同時列出大小與磁碟大小,核對模型來源時先看檔案大小。GB、GiB 與顯示四捨五入也可能產生差距;直接比 Bytes,比爭論畫面上的小數更清楚。SHA-256 是檔案內容指紋,用來核對是否與指定來源一致。

若檔案仍在「下載」資料夾,開啟 PowerShell 貼上下面三行;若你另存其他位置,只修改第一行的路徑。這段讀取檔案資訊與計算指紋,保留原檔:

$ggufPath = Join-Path $env:USERPROFILE 'Downloads\Qwen_Qwen3-0.6B-Q4_K_M.gguf'
(Get-Item -LiteralPath $ggufPath).Length
(Get-FileHash -LiteralPath $ggufPath -Algorithm SHA256).Hash

本例第一個結果應對上 484220320;SHA-256 應對上 9acfc1e001311f34b4252001b626f2e466d592a42065f66571bff3790d4e1b14,英文字母大小寫可視為同一值。這兩個值來自該 固定版次檔案中繼資料;不同轉檔者或版次應另查自己的值。指令用法可對照 Microsoft 的 Get-FileHash 文件。

長度不符時先查下載是否完成、檔名是否選錯或是否只拿到分片;長度相符仍要比指紋。指紋吻合證明內容相同,模型是否答得好則是下一份考卷。如果你關心「新版是否值得重抓」,可讀 GGUF 逐檔更新與雜湊教學。

第 5 步:「視窗關了怎麼還在?」分清停止模型與退出 App

先看模型列的狀態。下載中用 Cancel download 取消自己由 App 發起的下載,之後再查檔案是否留下部分內容;載入中先觀察狀態與日誌;已載入則按方形停止圖示,提示文字是 Stop model。這是卸載模型、釋放運算資源的動作,原始 GGUF 仍留在磁碟。

聊天浮窗的關閉行為也要辨認。官方 README 說 Alt+Space 浮窗會隱藏以便重新叫出,因此看不見它,還不足以證明 App 已退出。要退出程式,右鍵系統匣圖示選 Exit;只想停 App 管理的伺服器,可選 Stop server。伺服器停止實作 會區分 App 管理與外部啟動的服務,遇到仍存在的程序時,要繼續核對它的來源。

在工作管理員查看程序與記憶體,搭配剛才的模型狀態記錄:下載結束了嗎、模型停止了嗎、App 退出了嗎。背景伺服器等請求,與模型正在生成答案,是不同情況。不要只因為名稱有 llama,就一次結束所有同名程序;其他工具也可能正在使用。

第 6 步:「刪除鍵不見,或按了又回來?」先停用,再定位

先卸載模型,再走指定刪除。v0.14.1 的 Delete 顯示條件 要求模型已安裝、沒有忙碌,且處於可載入的未載入狀態。先結束聊天請求,按 Stop model,等狀態回到可播放,再使用模型列的垃圾桶,閱讀 Delete this model? 確認框後才按 Delete。這會移除下載檔;需要時得重新下載。

先確認刪除範圍:上述伺服器快取刪除實作明列 cached, non-preset 模型。若你照第 3 步把自己的模型資料夾加入掃描,先走下一節「獨立一般檔案」的處理流程;在 Model folders 按 Remove 的介面說明是停止搜尋該資料夾,不能把它當成磁碟檔案已清除的證據。

操作順序很關鍵:App 內刪除需要伺服器處理請求,先保留服務運行、只卸載模型。若你已按 Stop server,先 Start server,再確認模型未載入後刪除。把服務停掉後再要求它刪檔,會把兩種排錯混在一起。

若刪除被拒絕、模型列又出現,先按資料夾圖示 Show model file in Explorer 查實際位置。記下它屬於下載快取、自己加入的 Model folders,還是另一個工具管理的檔案;同時看日誌中的拒絕紀錄。刪除實作 會向伺服器送出請求並檢查成功與否,單看清單短暫消失仍不夠。

三、共用快取怎麼處理?把可回復放在清空之前

Hugging Face 的 快取文件 解釋了 blobs、snapshots 與連結,也說明 Windows 的連結限制可能使 Python Hub 快取直接保存副本。這是理解共用儲存的背景;你手上的 Llama、引擎與其他工具,仍須按實際目錄和設定辨認。不要把某一套 Python 快取清理指令,直接套用到所有本機 AI 目錄。

對下載快取,優先讓管理它的工具刪除指定模型;對自己保存、已確認是獨立一般檔案的 GGUF,可先讓相關工具正常停止、備份檔案與路徑,再移入資源回收筒。若是 snapshots 連結、硬連結或來源不明的共用檔,先保留,回到該工具的管理流程。回收筒可用性也要確認,避免把永久刪除當成可撤回。

Windows 若顯示「檔案使用中」,先查誰持有它。Microsoft 的 Process Explorer 可搜尋開啟的 handles 與已載入檔案;核對命中的程序與路徑,再回到所屬 App 正常停止。這一步用來找持有者,不需要直接強制關閉 handle。無法辨認來源,就保留檔案與日誌繼續調查。

刪除後驗收三件事:指定檔是否移除、目標磁碟可用空間是否改變、其他共用工具是否仍可使用需要的模型。若檔案進了回收筒,實際可用空間還要把回收筒占用列入。清單消失、磁碟回收與其他工具正常,是分開的結果。

若你只想換介面,先保留這份通過指紋核對的原檔,再依新工具文件讓它讀取既有 GGUF;不要把「改用另一個 App」和「清空所有模型」綁成同一動作。想認識另一種桌面工作流,可讀 Unsloth Desktop 入門,再按自己的任務決定是否換用。

常見問題:八個先講答案的判斷

1. Llama Windows 就是 Meta 的 Llama 模型嗎?

要分開辨認。本文是 llama.app 的系統匣工具;模型是另外下載的 GGUF,可以來自不同模型家族。

2. 自動推薦一定是我想要的 Q4 嗎?

先核對完整檔名。v0.14.1 的選擇規則與 11 月 6 日主分支修正有差異,記下版本與實際選到的量化才有依據。

3. 484 MB 就代表只吃 484 MB RAM 嗎?

還要加運算需求。權重檔大小、Context 的 KV Cache 與運算緩衝要分開看,再用模型狀態與工作管理員觀察。

4. 下載取消後,磁碟一定馬上歸零嗎?

要查實際檔案。取消、清理部分下載與刪除完整模型有不同結果;先確認寫入停止與路徑,再決定清理哪一份。

5. Stop model 會刪掉 GGUF 嗎?

原檔保留。它處理模型載入狀態;刪檔要另外走 Delete 與確認流程。

6. 刪除鍵不見,是否代表檔案壞了?

先看是否載入或忙碌。v0.14.1 把 Delete 與未載入、閒置條件綁在一起;先卸載,再判斷是否還有其他拒絕原因。

7. 關掉聊天視窗就能釋放全部背景程序嗎?

還要確認系統匣與服務。浮窗可只是隱藏;按 Exit 後若仍有程序,查它是否由另一個工具啟動。

8. 要換前端,現在就該刪快取嗎?

先保留通過核對的原檔。把新工具讀檔與生成驗收完成後,再決定重複副本去留,會比較容易回復。

給新手的三個重點

  • 把身分寫完整:App/引擎版本,加上倉庫、revision、完整檔名與指紋。
  • 把動作拆開:取消下載、卸載模型、停止服務、退出 App、刪除檔案各驗一次。
  • 把共用影響查清楚:先定位、先保留,再刪指定檔案。

接著閱讀

左右滑動查看更多推薦

下一步:替一份小 GGUF 留下完整收據

今天先完成一件小事:下載上面的指定檔、核對 Bytes 與 SHA-256、讓 App 找到它,再練一次 Stop model。確認原檔仍在,才決定是否練刪除。回到那個播放器比喻:你現在知道遙控器、播放機與音樂檔各在做什麼,就能更有把握地找出哪一層需要處理。

接著到 AlphaLab AI 專區 補上需要的主題;想把零散操作整理成完整學習路線,可從 AlphaLab 課程 挑一個目前最想做成的專案。

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。