你看到「DeepSeek GSQ-RCO 1-bit」,第一個念頭可能是:這麼大的模型,現在是不是小顯卡也能輕鬆裝?真正要先問的是:這個 bit 用誰當分母,下載清單又漏了誰?同樣寫著 IQ2_XXS,裁過專家的 Coder 和完整量化版,已經是不同的模型選擇。
這篇專為剛接觸本機模型的讀者寫。截至 2026 年 11 月 5 日,我們核對公開模型卡、檔案清單、方法論文與推論引擎文件,帶你算一次容量,再做一次下載前決策。你會得到一份可自己填的預算與驗收方法;本文的模型表現來自發布方紀錄,沒有在本機執行這份大型權重。
先說結論:1-bit 是壓縮帳,硬體要算三本帳
- 1.05 bit 是相對原版 Transformer 的有效儲存率。刪除的專家算零;保留的 Transformer 參數平均約 2.06 bit。
- 72.12 GB 只涵蓋骨幹檔。首次準備文字模型,還要加上約 110.60 GB 的共享 Engram;看圖再加視覺投影檔。
- 下載量、RAM、VRAM 分開記。檔案可留 SSD,不代表執行時不需要記憶體、暫存與資料搬移。
帶走一句話:有效 bit=儲存位元 ÷ 指定的參數分母;能否部署=檔案齊全+引擎相容+三本容量帳。像搬家:丟掉一半書架,能讓原本每本書平均分攤的箱子變少;留下來的書,並沒有因此每頁都變薄一半。
一、DeepSeek GSQ-RCO 1-bit:先分清「刪人」與「縮小筆記」
MoE(混合專家模型)像一間有許多專業小組的公司,每個 token 只請部分小組處理。DeepSeek 基礎模型卡列出的是整個模型的架構;ISTA 的 Coder 模型卡則說明,原版每層有 384 個路由專家,Coder 保留其中 192 個。這裡裁掉的是路由專家,不是宣稱把模型所有種類的參數一律砍半。
第一種動作叫剪枝:把整個專家移除,路由器日後從較小的名單選人。第二種叫量化:保留權重,用較少的位元表示數值,像把筆記寫得精簡。Coder 兩者一起用,因此「同樣是 IQ2_XXS」不足以證明它和未裁剪版本等價。若你還分不清格式與精度,可先讀GGUF 與量化選擇指南。
方法也分工:GSQ 論文研究如何在低精度下選擇數值格點與群組縮放;RCO 論文研究如何在預算限制下共同最佳化選擇。放到這個 Coder 發布,RCO 依校準資料搜尋保留哪些專家;它使用的參考是已量化的未裁剪 IQ2_XXS。白話說,選人標準取決於拿什麼工作來校準,不能把「偏向程式與工具任務」擴寫成所有用途都保留同樣能力。
二、DeepSeek GSQ-RCO 1-bit 怎麼重算?同一檔案,三個分母
先統一單位:這些模型卡用十進位 GB,也就是十億 bytes;每個 byte 有 8 bits。依模型卡的四捨五入數字,Transformer 檔約 72.12 GB,原版 Transformer 約 551.9B 參數。因此 72.12 × 8 ÷ 551.9 ≈ 1.0454,四捨五入為 1.05。這就是標題「1-bit」的來源。
如果只把留下來的約 280.1B Transformer 參數放進分母,同一個分子得到 72.12 × 8 ÷ 280.1 ≈ 2.0598,約 2.06 bit。兩者回答不同問題:前者問相對原版省到哪裡,後者問保留部分平均花多少空間。刪掉的參數在第一本帳算零,並不是每個保留權重都只用一個 bit。

再把共享 Engram 算回來,模型卡列的總檔案量約 182.72 GB;以原始模型總參數 763.2B 為分母,182.72 × 8 ÷ 763.2 ≈ 1.9153,約 1.92 bit。這仍是相對原始參數的有效儲存口徑,不是所有現存權重的平均精度,也不是執行時的記憶體測量。
你可以在已有 Python 3 的電腦,用下面這行核對算術。它只計算三個比值,不下載模型:
python3 -c "print(round(72.12*8/551.9,4), round(72.12*8/280.1,4), round(182.72*8/763.2,4))"
三、下載前先列四格:骨幹、共享檔、視覺檔、工作空間
打開模型倉庫的 固定 revision 檔案頁,先核對名稱與大小,再決定下載。這次核對版本為 54229d38d588a66d1c6cff08af7b281b9326c656;固定版本能讓你之後知道拿到的是哪一組檔案。
- 骨幹:IQ2_XXS 資料夾的前五片。第一片主要放中繼資料,其餘片放 Transformer 權重,合計約 72.12 GB。不要看到第一片很小,就把它當成整個模型。
- 共享 Engram:約 110.60 GB。它是額外下載的查表權重,執行時以第六片的名稱接入。模型卡說它與未裁剪版本共用;若已有同版檔案,核對相容後可重用。
- 視覺投影檔:約 0.97 GB。需要圖片輸入時另外下載並配置
--mmproj;文字用途的預算先分開列。 - 工作空間:另留餘裕。下載中繼資料、未完成檔、引擎與日誌都有自己的空間;備份或複製同一大檔也會增加占用。

用 Hugging Face API 的實際檔案 bytes 相加,這次前五片加 Engram 約為 182.719 GB,約 170.17 GiB;再加視覺投影檔約 183.691 GB,約 171.08 GiB。GB 與 GiB 的差別來自除數不同,並非少下載了檔案。正式留空間時,還要在這個檔案下限之外加入你的工作餘裕。
Engram 像書後索引,查到哪一列才讀哪一列。未裁剪版的記憶體說明解釋它可用記憶體映射留在磁碟。這表示不用把整張表預先塞入顯存;實際存取仍涉及作業系統頁面快取與 I/O。想看這個機制,可接著讀Engram 查表與 SSD 的容量誤解。
把三本帳寫成三行:磁碟填完整檔案及工作空間;RAM/統一記憶體填引擎配置、常駐或快取部分與其他程式;VRAM填卸載權重、KV cache 和計算暫存。KV cache 是對話處理時保留的中間資訊,設定的上下文與併發也會改變需求。硬碟裝得下,只過了第一關。
四、引擎相容怎麼查?先看格式,再看你的平台
想用 llama.cpp?Coder 模型卡指定 b11870 或更新,並連到該版本發布頁。先用 llama-cli --version 記下你的版本,並確認發行包的硬體後端。這是模型卡列的格式支援基準,並不保證任意 GPU、上下文和卸載設定都能跑得順。
下載前可使用 Hugging Face CLI 的預覽功能。若已安裝 hf,先執行下面這行;--dry-run 會列出預計下載的檔案與容量,供你檢查,不會下載大型權重。若尚未安裝,從該官方文件選適合自己的安裝方式。
hf download ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF --revision 54229d38d588a66d1c6cff08af7b281b9326c656 --include "IQ2_XXS/*" --include "*Engram*" --local-dir ./deepseek-coder --dry-run
看清單時,確認五片骨幹與一份 Engram 都在。若共享檔已在別處,先移除 --include "*Engram*",再依模型卡把既有檔案接入第六片;單純持有另一個資料夾的副本,不會讓這行指令自動改用它。真的決定下載,再移除 --dry-run。這一步可能取得逾 180 GB 資料,應在前面的磁碟與硬體評估完成後才做。
下載後,llama.cpp 路徑還需要一個關鍵連結:在模型根目錄,讓 IQ2_XXS/DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-IQ2_XXS-00006-of-00006.gguf 指向上一層的 DeepSeek-V4.1-Flash-Engram-IQ4_NL.gguf。請依模型卡選 POSIX 的符號連結或 Windows 的硬連結命令;-m 指向第一片,其他分片由引擎接續載入。連結是替同一檔案增加入口,和再複製一份大檔不同。
若考慮 Strata,請讀它的 DeepSeek 專用指南與Mac 專用指南,不要只讀首頁的一般硬體名單。2026 年 11 月 5 日查閱的首頁已列 Coder 選項,並將其下載組合寫為約 191 GB、可用磁碟約 197 GB;專用指南說明組合另含約 8 GB 的 drafter(協助推測生成的小模型)。這是 Strata 的安裝組合口徑,不能直接用來取代前述 Hugging Face 純模型檔案加總。先看安裝計畫列了什麼。
同一份 Strata 首頁把 Apple Silicon 的 DeepSeek 路徑列為至少 64 GB;Mac 專用指南則把圖片支援綁定於所裝引擎是否包含 Metal picture tower,應逐項核對。這些是該引擎當時的配置條件,不是「64 GB 就保證任何長度都好用」。NVIDIA 或其他平台同樣應按專用文件核對;不要把某個引擎的少顯存方案,移植成 llama.cpp 的通用最低需求。
五、要選 Coder 還是未裁剪版?先拿自己的工作當考卷
用來修程式、跑多步工具任務,而且完整版本超出預算時,Coder 值得列入候選。要做廣泛問答或研究壓縮損失,則把未裁剪版一起保留作比較。這是依其裁剪目標做的選型規則,並非假設任一版本在你的任務必勝。
Coder 模型卡自報:在 reasoning effort 50 下,SWE-bench Verified 為 77.00,原版為 81.20;LiveCodeBench v6 為 88.57,原版為 89.71。這些是發布方的特定測試結果,所謂保留百分比也依各自分數計算;不能把它濃縮成「整體智力保留 99%」。原版對照亦是發布的 FP8/FP4 配置,並非一個籠統的「全精度」基準。
你真正要準備的比較表,可以用下面這張空白規格。先選三個未公開、可驗收的修補題:例如修一個有測試的邊界錯誤、替小函式補測試、跨兩個檔案完成小改動。用專案副本與假資料,限制工具能改的範圍;這是建議的評估設計,結果欄先留白。

每一組固定模型 revision、精度、引擎版本、上下文上限、reasoning effort、工具清單、逾時與重試預算。分別記錄通過測試的題數、格式或工具錯誤、完整耗時、峰值記憶體與人工修正時間。測試前就寫好何謂成功;不以模型自己說「完成」當驗收。更完整的方法見AI Evals 入門,工具循環的分工見Agent Harness 是什麼。
遇到其他作者的比較圖,先找它測的是哪個倉庫、哪個 revision、有沒有裁剪、context 和工具是否一致。不同版本與設定的跑分不可直接互比。512K 的標籤描述一個測試設定,和你手上電腦能否在該長度穩定完成任務,也是兩個要分開驗的問題。
常見問題:八個先講答案的判斷
1. 1-bit 代表每個權重都只占一個 bit 嗎?
不是。此處是把被裁掉的專家算零、以原版 Transformer 當分母的有效率;保留部分平均約 2.06 bit。
2. 下載 72.12 GB 就齊了嗎?
還要共享 Engram。首次準備文字用檔案約 182.72 GB;圖片用途另算視覺投影檔。
3. 已下載未裁剪版,Engram 要再下載一次嗎?
同版檔案可重用。Coder 模型卡明確說共用,但先核對檔案與連結名稱,避免把不同格式時期的檔案混在一起。
4. Engram 留在 SSD,就不影響速度嗎?
仍要量。查表讀取會走儲存與快取路徑;磁碟速度、工作負載和其他記憶體需求會影響實際等待。
5. 有 12 GB 顯卡就能保證順跑嗎?
不保證。少顯存方案依引擎、系統記憶體、SSD 與配置而成立;單看顯卡容量不足以判斷。
6. IQ2_XXS 相同,代表 Coder 與原版能力一樣嗎?
不是。Coder 移除了部分專家,保留原量化張量類型;檔名中的量化識別並不包含完整的能力資訊。
7. 模型卡保留率能直接套到繁中與長程修補嗎?
不能直接外推。應在相同配置下,另外驗收自己的語言、工作流程與長對話任務。
8. 還沒有合適硬體,現在能做什麼?
先算分母、列檔案、寫比較題。這三步完成後,再決定是否下載或安排可用設備,避免先買硬體才發現用途不合。
給新手的三個重點
- 看到 bit,先在旁邊寫下分母:原版、保留部分,還是包含查表的整體。
- 看到 GB,先標明是哪一份清單:骨幹、完整模型檔、引擎安裝組合,或執行記憶體。
- 看到分數,先抄版本與條件,再用自己的工作驗收。
接著閱讀
左右滑動查看更多推薦
下一步:先填完你的下載前決策單
現在就留四行:我要做的工作、要比較的模型版本、三本容量帳、三個驗收題。有效 bit 幫你讀懂壓縮,完整清單幫你估下載,自己的考卷才幫你選模型。把這四行填完,再按下載。想繼續從概念走到工具應用,可從AI 文章入口接著讀,也可到AlphaLab 課程安排完整學習路徑。
