跳到主要內容

【2026 最新】Delta Inference Engine 教學:Windows 低 RAM 跑 DeepSeek,慢在記憶體還是 SSD?

最後更新: ·
Delta Inference Engine 教學:Windows 低 RAM 與 NVMe 診斷

你看到「單張顯卡跑 DeepSeek」,手邊也有 NVIDIA Windows 主機,下載後卻發現:模型載入很久,貼一份長文件又等半天。這篇 Delta Inference Engine 教學要幫你回答:到底慢在載入、讀題、生成,還是整台電腦的記憶體壓力?

本文寫給第一次部署本機模型、已經有合適硬體的讀者。先用白話盤點容量,再完成本機 API 接線,最後留下一張短題、長題與續聊的診斷紀錄。這是一套依官方資料整理的評估方法;本次環境未執行 Windows/NVIDIA 推論,不提供 AlphaLab 的模型測速成績。

截至 2026 年 11 月 12 日,官方最新 Release 為 0.94,發布於 11 月 9 日。本篇以該發行版與當日 README 快照為依據;0.93 的低 RAM 數字會明確保留版本界線。

先說結論:可用的本機 AI=放得下+等得起+答得對

啟動成功只是第一關。VRAM 是工作桌,RAM 是旁邊的料架,NVMe SSD 是倉庫。Delta 把資料分散在這些位置;桌子上能開始工作,不表示每次去倉庫取料都一樣快。

把等待切成四段:程式啟動到模型就緒、送出到第一段模型輸出、開始輸出到完成、同一段歷史的下一回合。思考內容與最終答案也要分開記;先看到思考,不表示已收到可用答案。

一、Delta Inference Engine 教學:下載前先過三關

①「這張桌子夠大嗎?」先查顯卡與 RAM

依官方硬體條件,這條 Windows 路線以 64 位元 Windows 10/11、NVIDIA RTX 12GB 以上顯存、580 以上驅動與至少 64GB RAM 為起點,建議 128GB 以上 RAM。這是專案的適用條件;12GB 與 24GB 顯卡的運作配置不同,不能只看「都能啟動」就期待相同體驗。

按 Ctrl+Shift+Esc → 效能,記下安裝 RAM、目前可用量與專用 GPU 記憶體。再在 PowerShell 執行以下唯讀查詢,保存顯卡名稱、驅動與容量;欄位定義可查NVIDIA nvidia-smi 文件。指令找不到時,先查驅動安裝狀態。

nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv

②「倉庫有位置嗎?」查模型所在磁碟

RAM 與硬碟容量不是同一筆預算。README 列出的常用 Unsloth 檔案約 233–395GB;預設 UD-IQ2_XXS 約 301GB,專案建議為它準備約 320GB 可用空間。UD-IQ3_XXS 還需要額外的原預設模型檔,不能只算畫面上的 395GB。程式環境、輔助模型與系統空間也要另留餘裕。

在 PowerShell 用 Get-Volume 查可用容量,並用 Get-PhysicalDisk 查磁碟資訊;搭配工作管理員確認模型資料夾實際落在哪顆裝置。Microsoft 的 Get-Volume 文件說明它回傳的是磁碟區,別把 C 槽的剩餘量當成另一顆 D 槽的空間。

Get-Volume | Select-Object DriveLetter,SizeRemaining,Size
Get-PhysicalDisk | Select-Object FriendlyName,MediaType,BusType,Size

這個專案要求快速 NVMe,因為執行期間仍需讀取 Engram 查找資料與未留在 RAM 的專家權重。「專家」是 MoE 模型按輸入挑選使用的子網路;Engram 則是另一類查找資料。SSD 在這裡是運作路徑的一部分。看到磁碟持續讀取,先查讀的是模型檔還是 pagefile,別急著認定故障。

③「較低 RAM 該選哪份?」先固定一種量化

量化像把量尺刻度縮短,通常能減少檔案與記憶體需求,也可能改變答案。README 對低於約 110GB RAM 的主機建議先選 UD-IQ1_S;128GB 以上的預設方向是 UD-IQ2_XXS。64/96GB 是這個巨大模型脈絡下的「低 RAM」,並非一般輕薄筆電的低門檻。

第一次先跟啟動器的模型建議走,記錄完整檔名、下載 revision 與雜湊。先讓一份量化通過短題與品質檢查,再測第二份。換量化、換版本、換路由設定同時發生時,很難知道差異來自哪裡。

Delta Inference Engine 教學:四種等待與 RAM、磁碟觀察位置
診斷地圖:分開記載入、首段輸出、完成與續聊,再把各段對上系統觀察;這是測試設計,非測速結果。圖/AlphaLab。

二、五步首跑:固定版本,再接本機 API

第 1 步:「下載的是同一份嗎?」保存來源

從musicurgy 的官方程式庫取得程式。已有 Git 的讀者可用下面的短路徑並固定本次查核快照;沒有 Git,使用該 commit 頁的 Code → Download ZIP,解壓縮後再操作。固定原始碼快照有助追查,啟動器下載的引擎與模型仍須分別保存版本。

git clone -c core.longpaths=true https://github.com/musicurgy/delta-inference-engine C:\AI\Delta
cd C:\AI\Delta
git checkout --detach f9fcff99f024b954a6218ee1adfeee985c7bae09
git rev-parse HEAD

下載前核對擁有者與網址。若要手動下載引擎,Release 另有 SHA256SUMS.txt;可用 Get-FileHash .\build-ds41-portable.zip -Algorithm SHA256 比對對應檔案的完整 SHA-256。雜湊能檢查是否與發布檔相符,仍要從可信的原始發布頁取得。

Delta Inference Engine 教學官方下載位置:musicurgy 程式庫與 Code 按鈕
Step 1.1 — 核對官方擁有者 musicurgy 與程式庫名稱,從 Code 取得原始碼;右側為 Release 入口。圖/GitHub、Delta 專案;AlphaLab 擷取並等比例加外框,非模型執行結果。

第 2 步:「它準備裝什麼?」看完再下載

開啟資料夾的 Start DeepSeek.bat。官方首跑流程會逐步處理 Python、相依套件、引擎與模型,並在大型下載前詢問。模型位置保存在 ds41-paths.bat 的 DS41_MODELS;先確認它指向你盤點過的 NVMe。

0.94 預設提供圖片功能;這次先做純文字基準,可先執行 Disable Pictures.bat,再啟動。語音先維持關閉,多 GPU 也先關閉。若系統出現安全攔截,先核對下載來源與檔案;本次診斷保留 Windows 原有安全設定,不把關閉掃描或調整 BIOS 納入首跑條件。

為了固定這次首跑的引擎下載來源,在上述 C:\AI\Delta 資料夾的 PowerShell 執行以下片段。DS41_RELEASE_URL 是官方下載器的覆寫入口;這裡指定 0.94,避免只固定程式碼、卻拿到另一版引擎。之後若改用雙擊啟動,該 PowerShell 環境變數不會自動成為永久設定,因此仍需保存實際啟動版本。

$env:DS41_RELEASE_URL = "https://github.com/musicurgy/delta-inference-engine/releases/download/0.94"
& ".\Disable Pictures.bat"
& ".\Start DeepSeek.bat"

第 3 步:「頁面打開就好了嗎?」等模型就緒

瀏覽器頁面可以在載入期間先出現。先記下啟動時間,等介面顯示模型可用、短訊息能完成,才結束「載入」這段計時。把下載時間與模型載入時間分欄;重新開程式、Pause 後 Resume、重新開機後的首次載入,也分成不同條件。不要為了測冷機而先清除作業系統快取。

第 4 步:「接的是哪個模型?」先查名單

預設本機相容 API 位址為 http://127.0.0.1:8080/v1。在 PowerShell 查詢模型清單,將回傳的 ID 放進後續請求;這也避免把量化切換後的舊名稱帶進紀錄。這裡維持本機連線,先不開手機/區網存取。

$deltaModels = Invoke-RestMethod -Uri "http://127.0.0.1:8080/v1/models"
$deltaModels.data | Select-Object id

下面是單一短題的非串流連線檢查。把第一行換成上一步實際 ID;若你已設定 API key,請依客戶端加入該 key。程式用 UTF-8 位元組傳送繁中,並印出回答、停止原因與 usage。計時是整個 HTTP 請求耗時,並非首 Token 延遲或純生成速度。

$deltaModelId = "貼上實際模型ID"
$deltaPayload = @{
  model = $deltaModelId
  messages = @(@{role="user"; content="只回答:12 加 7 等於多少?"})
  temperature = 0
  max_tokens = 256
  stream = $false
} | ConvertTo-Json -Depth 8
$deltaClock = [Diagnostics.Stopwatch]::StartNew()
$deltaResponse = Invoke-RestMethod -Method Post `
  -Uri "http://127.0.0.1:8080/v1/chat/completions" `
  -ContentType "application/json; charset=utf-8" `
  -Body ([Text.Encoding]::UTF8.GetBytes($deltaPayload)) -TimeoutSec 600
$deltaClock.Stop()
$deltaClock.Elapsed.TotalSeconds
$deltaResponse.choices[0] | ConvertTo-Json -Depth 12
$deltaResponse.usage | ConvertTo-Json -Depth 8

256 是這次連線檢查的輸出上限;如果 finish_reason 顯示長度用盡、或只有思考沒有最終答案,先記錄未完成,再調整輸出預算重跑。逾時也記為失敗輪次;不要不斷重送,先確認上一個請求是否仍在處理。要量首 Token,須另用串流客戶端記錄第一個有效內容事件,不能把這段總耗時改名。

第 5 步:「結果能回查嗎?」留下版本與設定

保存原始碼 commit、Release 0.94、實際引擎啟動訊息、模型完整路徑與雜湊、GPU/驅動、RAM、NVMe、取樣、輸出上限及路由設定。出錯可改用 Start DeepSeek (debug).bat 取得檢查與日誌;分享前仍自行確認檔案內容。別把上游 Strata 的 Qwen 參數直接貼到 Delta 的 DeepSeek 設定。

三、Delta Inference Engine 教學排錯:四張紀錄找等待

在工作管理員查看記憶體、專用顯存與磁碟;按 Win+R → resmon 開資源監視器,在「磁碟」頁對照程序、檔案路徑、讀取與回應時間。讓紀錄和你的請求開始、首段思考、首段答案、完成時間對齊,單一平均使用率很難說明整段等待。

  • 載入紀錄:從啟動到模型可回答,另外標記是否剛重開機。先排除尚在下載與其他程序讀寫。
  • 短題紀錄:固定一句可核對答案的題目,連續完成三輪;首輪與後兩輪分開,保留每輪結果。
  • 長題紀錄:先用自己的小文件,再逐步增加;用服務回傳的 Token 數記長度,別把字數當 Token。每次保留相同問題與答案條件。
  • 續聊紀錄:沿用同一段完整歷史,只增加一個問題,記錄是否重用前文。另一個新對話作為新讀取條件,與續聊分開比較。

長文件可用一份自製設備清單:開頭寫 設備代碼 A17,保固截止 2028-06-30,中間加其他虛構條目,結尾要求只輸出 A17 的兩個欄位。先保存原文與標準答案,再增加干擾內容。這是你要執行的練習規格,不是本篇已取得的長 Context 成績。

每輪記:模型/量化、實際 Prompt Token、輸出 Token、停止原因、載入秒數、首段輸出/答案時間、總耗時、最低可用 RAM、顯存峰值、主要讀取檔與答案是否合格。首段時間用瀏覽器手動記時時,標示為人工觀察;未取得的欄位填「未取得」。若只用前面的非串流請求,首段欄位就留空。

Hard Faults/sec 不是「RAM 壞了」,也不是 pagefile 的專用計數器。Microsoft 說明指出,硬分頁錯誤也可能由映射檔、DLL 或 EXE 的磁碟讀取引起。模型讀檔與記憶體壓力都可能伴隨磁碟活動;要看檔案路徑、可用 RAM 和系統反應,才能縮小原因。

Delta Inference Engine 教學 RAM 與 NVMe 診斷:先看時段,再查檔案與記憶體
診斷順序示意:指標是查核線索,下一步用同條件對照驗證;不以磁碟忙碌或 Hard Faults 單獨判定根因。圖/AlphaLab。

四、看見症狀後,下一顆旋鈕怎麼轉?

只有初次載入慢:先查檔案所在裝置、背景讀寫與當時系統狀態;同版本重啟與重開機的條件分開記。短題可用、長題首段很晚:先縮短輸入,固定其他設定,看新增讀題量與磁碟讀取是否一起變動。先降低你送出的歷史/文件長度,再考慮引擎容量參數。

持續輸出也變慢、可用 RAM 又很低:先關閉不需要的背景工作,再以同一題重跑;仍不合格時,用 Choose Model.bat 改較小量化,重新做答案檢查。磁碟忙而 GPU 間歇等待,只能提示你查搬運路徑;它本身不足以證明換一顆 SSD 會解決問題。

以一台已有 64GB RAM 的主機為例:先選啟動器建議的量化,純文字、單請求跑短題;短題通過後,再把同一份設備清單逐步加長。如果某一長度開始使系統明顯失去回應,停止該輪、記下失敗長度,回到上一個可完成條件。這樣得到的是你這台主機的可接受工作範圍,並非模型宣告的最大 Context。

路由也會影響品質。Delta 的預設 route bias 會偏向已在 GPU 的專家;官方品質段落提供 DS41_ROUTE_BIAS=0 的 exact routing 對照方式。先備份 ds41-paths.bat,需要比較時才加 set DS41_ROUTE_BIAS=0 並重啟;重跑同一組題目,最後還原。這個開關處理路由選擇,並不還原量化前的權重。

同一題要同時檢查:代碼與日期是否逐字正確、JSON 是否完整、是否用繁中、是否自然完成。若新量化更快卻答錯,它就沒有通過這個用途。你可以接著用本機 LLM 繁中盲測方法補上更貼近自己的品質考卷。

五、0.93 的數字,能搬到 0.94 或你的筆電嗎?

要保留版本與整機條件。README 的 64/96/128GB 速度來自作者同一台 RTX 3090 主機限制可用 RAM 的測試,並非多台不同筆電的橫向驗證。0.94 又改了 drafter、Prompt replay 與圖片預設;不能把其中一格當成任何同容量主機都能達成的速度。本文不轉載成跨機型效能承諾。

同樣,下載更小的量化可能減少資料搬運,也可能改變輸出;next-token agreement 衡量的是與參考模型逐 Token 選擇的一致程度,不能直接換算成「工作正確率」。至於多 GPU,先完成單卡基準,再依官方 Setup 的條件評估;兩張卡也要看可用顯存、連線與實際分工。

若你原本在找「Agent 切回舊工作為什麼重讀」,Strata Session Cache 排錯談的是 Qwen 路徑的停放與並行;若在比較 offload 與 hybrid,則接著讀FreeToken backend 選擇。本篇的重點,是 Delta 的 Windows 啟動器、低 RAM 模型選擇與 NVMe 讀檔辨識。

常見問題:八個先講答案的判斷

1. 64GB RAM 就值得下載嗎?

先過三關。顯卡、驅動、NVMe 容量與你能接受的等待都要合格;64GB 是專案起點,還需用自己的短長題驗收。

2. 8GB 顯卡可以照這篇跑嗎?

不適用這條硬體起點。本篇依官方 12GB 以上 RTX 的條件設計;先盤點現有設備,再選合適的較小模型路線。

3. 128GB 一定比 96GB 快多少?

沒有可直接套用的倍數。CPU、RAM 頻寬、SSD、量化與工作負載都不同,官方同機限制 RAM 的結果只保留在原條件內。

4. 磁碟 100% 就代表 SSD 太慢?

還要查。活動時間不是單一頻寬成績,先看哪個程序、哪個檔案與回應時間,再排除背景工作。

5. Hard Faults 很高,先關 pagefile?

先做關聯檢查。它也包含映射檔等讀取;保留現有系統設定,對照 RAM、檔案路徑與任務時間,別用一個計數器決定修改。

6. 首段輸出很快,就代表長文件已答對?

不代表。還要記首段最終答案、總耗時與答案驗收;思考片段和正確交件是不同事件。

7. 只改 exact routing 就等於原模型?

不是。它改路由選擇,量化權重與其他設定仍在;同一份題目的正確性要另行確認。

8. 今天先買 RAM 還是 SSD?

先留紀錄。現有設備若已符合起點,先分清載入、讀題、生成與續聊,找出哪個條件變差,再估算改善那條路徑的成本。

給新手的三個重點

  • 先盤點,再下載:同時核對 VRAM、可用 RAM 與模型所在 NVMe。
  • 分段等候:冷載入、讀長題、生成與續聊各留一張紀錄。
  • 一次只改一項:保留版本、量化與標準答案,速度和正確性一起驗收。

下一步:先填完短題與長題兩輪

今天先建立一個診斷資料夾,保存硬體、版本、量化與一份自製設備清單。完成短題後,再加長文件;把等待發生的時段與實際讀取檔案對起來。可用的本機 AI=放得下+等得起+答得對。當你能說清楚哪一關沒過,下一次調整才有方向。想繼續學系統整合,可從AI 教學專區接下一題,或到AlphaLab 課程安排完整的學習路徑。

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。