你看到「每秒 770 個 Token」,打開自己的本機模型,卻等了好一會兒才出第一句?這篇 Basalt 教學帶你把引擎、模型檔與測試條件拆開,從 Blackwell 硬體檢查走到第一次回應,再分開看結構化輸出、聊天與長文。
專為第一次接觸推論引擎的讀者寫:每個名詞先用白話說明,再給操作。你需要一台符合條件的 NVIDIA 電腦;若目前用的是 Mac,先完成選型與評估表即可。本文依 2026 年 11 月 18 日可查的官方資料,以 v0.4.1為固定起點;以下是文件導讀與驗收流程,AlphaLab 未在 Blackwell 上執行這輪效能測試。
先說結論:交付時間=首答等待+後續生成+驗收與重做
Basalt 是替模型運算的「廚房」,模型檔是食譜與備料。換廚房能改變出餐效率,答案是否合用仍要另驗。先對版本,再分任務,最後查快取與答案,比追一個最高速度更有用。Token 是模型切分文字的單位,不等於一個中文字;tok/s 是每秒生成多少這種單位。
先做單張 GPU、短 Context、單一請求;把能成功回答的配置另存,再提高文件長度。Context 是模型本次能處理的上下文範圍。想補基本分工,可先讀 推論引擎是什麼。
一、Basalt 教學先認三個零件:GPU、模型檔、快取
截至上述日期,官方平台文件列出 Linux x86-64/AVX2 或 Windows 10 1903 以上 x64、NVIDIA Blackwell sm_120,以及 CUDA 13 與 Python 3.10 以上。sm_120是 GPU 運算能力代號;請在 NVIDIA 官方 GPU 清單核對你的確切型號,不要僅看「有 NVIDIA 顯卡」。
下載預編譯封裝可省去編譯,但仍須具備驅動、CUDA runtime 與 Python 環境。官方說明封裝沒有附 CUDA 函式庫;Windows 還要讓 runtime 位於 PATH。新手先用正常更新途徑確認相依條件,遇到缺 DLL 或平台不符就先解決該層,別先修改登錄檔或超頻。
本篇首跑選官方預設的 Flash-Next Qwen3.8-FN-NVFP4-DQ6_K.basalt。模型格式文件說明 .basalt 封裝權重與執行所需資料;本篇要下載的是這個完整檔名,不能把另一份 GGUF 改副檔名代用。引擎 MIT 授權與模型的使用授權也要分開讀。
這個檔案體積很大:模型卡列有各種量化配方與大小。下載前先確認磁碟可用空間,再核對 RAM 與 VRAM 的規劃。MoE(混合專家)像分科團隊,每次只找部分專家;VRAM 是顯卡旁的工作桌,RAM 是主記憶體,放不進桌面的專家仍可能需要搬運。檔案大小、RAM 用量與顯存用量是三本帳。
二、Basalt 教學六步首跑:每次只增加一個變因
第 1 步:「我裝的是哪一版?」先固定封裝
從 v0.4.1 Release下載符合系統的 basalt-v0.4.1-linux-x64.tar.gz 或 basalt-v0.4.1-windows-x64.zip,解壓到獨立資料夾。保留整個封裝的 bin、serve、data 等目錄;伺服器與引擎使用同一版。不要拿新版程式覆蓋到舊目錄後,就假設所有零件已同步。
在解壓後的最上層開終端機。Linux 依序執行 python3 -m venv .venv、.venv/bin/pip install -r requirements.txt;Windows PowerShell 則依序執行 py -3 -m venv .venv、.\.venv\Scripts\python.exe -m pip install -r requirements.txt。安裝成功的驗收點是命令正常結束,且使用的是這個資料夾裡的虛擬環境。
第 2 步:「檔案對了嗎?」下載指定模型並留指紋
若已確認空間與模型授權,在 Hugging Face CLI可用的環境執行 hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4-DQ6_K.basalt --revision 65de5a9e636e8bbe1200cbcd6eb8aa421e6a66c6 --local-dir models。這裡固定模型倉庫 revision,避免日後同名檔案換內容卻沒察覺。CLI 若尚未安裝,可在上述虛擬環境用 Python 的 -m pip install huggingface_hub 安裝,再使用環境內的 hf:Linux 將命令開頭換成 .venv/bin/hf,Windows 換成 .\.venv\Scripts\hf.exe。
Linux 可用 sha256sum models/Qwen3.8-FN-NVFP4-DQ6_K.basalt;PowerShell 用 Get-FileHash .\models\Qwen3.8-FN-NVFP4-DQ6_K.basalt -Algorithm SHA256。把雜湊、revision、檔名與版本放同一份筆記。雜湊方便比對同一檔案,不能單獨證明模型答案品質。容量不夠就先停在選檔,從模型卡評估其他配方,別先刪掉原本能用的模型。
第 3 步:「先開多長?」用短 Context 建立基準
建立 basalt_config.json,內容為 {"version":2,"models":[{"model":"models/Qwen3.8-FN-NVFP4-DQ6_K.basalt","gpu":"0","max-context":8192,"kv":"int8"}],"engine":{"resident-experts":true},"server":{"host":"127.0.0.1","port":8080}}。這是從 官方單卡範例縮短 Context 的起步配置,仍須由啟動時的記憶體規劃確認能否容納。
Linux 執行 bin/basalt serve --config basalt_config.json --request-lines;PowerShell 執行 .\bin\basalt.exe serve --config basalt_config.json --request-lines。先停留在 127.0.0.1 本機位址;瀏覽器開 http://127.0.0.1:8080,等模型載入完成,再送一句「請用繁體中文回覆:已準備好」。網頁出現只是伺服器啟動,還要看到正常完成的回應。

開啟外部網路服務前要另做存取控制。官方伺服器設定列有 --api-key,並提醒使用 0.0.0.0 時需要它;本篇基準練習保持本機存取。
第 4 步:「770 tok/s 能套到我嗎?」三種輸出分開量
先看數字的身分。v0.4.1 的 27B 效能頁列出的高速度來自 Qwen3.8-27B、RTX 5090/400 W、區塊草稿器,以官方測試題組測量;聊天、結構化輸出與長文的結果各不相同。這與前面首跑的 Flash-Next 是不同模型,不能把 27B 的結構化成績貼到 Flash-Next 長文上。

草稿器像先替主模型寫一小段,再請它驗收;規律的結構化文字通常更容易猜中。Flash-Next 的 官方草稿說明也指出結構化輸出最有利、長文較少。想理解這個機制,可讀 推測解碼的草稿與驗收,但不要把另一引擎的參數搬過來。
先正常停止剛才的服務,避免 benchmark 和服務爭用同一張卡。Linux 可執行 bin/basalt-bench --model models/Qwen3.8-FN-NVFP4-DQ6_K.basalt -t conv,struct,prose -r 3 --seed 42 --logs bench-logs -o json -- --gpu 0 --kv int8 > bench.json;PowerShell 將開頭換成 .\bin\basalt-bench.exe。這裡的 3 次是教學建議的起步樣本,不是統計可靠性保證。
這份指令測的是固定題組 decode。該版 bench 的說明與程式明列題組依 conv → struct → prose 順序跑,草稿狀態會沿用,單獨跑一項不等於完整一輪;-r 重複整組,第一輪是冷的一輪。保留每輪資料,別只抄平均,且 bench 有自己的 Context 規劃,並不自動讀取前面的服務 JSON。
第 5 步:「為什麼第二次比較快?」分開冷暖與重啟
重新開服務後,用相同提示連跑兩次,再正常停止、重開並重做。至少標記三種狀態:新程序首次請求、同程序後續請求、相同前綴可能命中快取的請求。新程序也可能讀到作業系統已快取的檔案;不要把它寫成整台機器完全冷啟動。
按 官方日誌定義,記下 ttft(首個 Token 等待)、tg 與 t/s(生成量及速度)、pp 與 cached(讀入及重用)、end(如何結束)。再以用戶端從送出到完整收完計時;若模型先思考,首個 Token 與第一段可見答案也要各留時間。答案被長度上限截斷,不能當成成功交付。
重啟波動則先看 expert-cache。官方設定把它定義為留在 VRAM 的 expert blob 數量,預設 auto 隨可用空間配置;它與保存對話前綴的快取是兩件事。從成功啟動日誌讀出實際數量,將該整數填到 engine 的 "expert-cache",保持其他條件不動。別照抄別人的數值,先確認自己的記憶體餘裕。
11 月 17 日的 Windows 使用者補測回報,固定數量後重啟差距縮小;這只是該使用者的 0.4.0/24 GB 單卡案例。同日 維護者最新回覆又指出 0.4.0 草稿選擇有時鐘計時相關問題,修正在 main、預計下一版發布。因此固定 cache 是排查手段,不能據此定論所有波動都來自顯存,也不能宣稱 0.4.1 已包含這項修正。
第 6 步:「長文件真的讀全了嗎?」用已知答案驗收
先用自己有權使用的繁中假文件,寫下三筆不會猜中的資料,例如「甲案代碼:ALPHA-7319」「乙案期限:星期四」「丙案數量:17 箱」。要求逐項抽取;結構化題查欄位與值,聊天題查有沒有答到問題,長文題查事實與指定段落。這三筆是練習資料,不是模型測試結果。
實際任務對照時,固定相同題目、取樣設定與輸出上限,例如使用 API 時將 temperature 設為 0、max_tokens 設為 1024;同時記實際輸出 Token 數與完成率,不要求每份答案硬湊到上限。temperature 為 0 也不替跨系統逐字相同作保證。再把相同事實放進較長文件的開頭、中間與結尾,逐次增加長度,並記錄伺服器實際計算的 Token 數。每次都保留輸入、輸出、耗時與「正確幾筆/要求幾筆」。Context 上限要同時容納提示與預留輸出;先在短配置通過,再另存較長配置測試,不要一開始就開百萬。
若短文全對、長文漏答,依序縮短上下文、核對是否截斷,再隔離 KV 配置或模型配方。YaRN(延長位置範圍的做法)、量化與草稿設定都可能改變比較條件;一次換一項,保留原引擎作回退。Issue #374 的長文回報可當待測問題,不能單憑一個漏答就判定是引擎或基底模型的錯。
三、常見坑:別讓漂亮數字蓋過交付結果
把 TTFT 和生成速度混在一起。讀長文件花很久、後續生成很快,可以同時發生;互動聊天與批次產文對兩者的容忍不同。把壓縮配方視為同一模型表現。換檔後重新驗答案,別只看檔案變小。把固定 cache 當作鎖住所有輸出。作業系統、編譯器、草稿、記憶體配置與取樣也要記錄。
要回報問題,附引擎版本、系統、GPU/驅動、模型 revision/雜湊、完整配置、快慢啟動日誌及最小假資料。移除私密提示與個人路徑。執行文件說明引擎日誌位於 ~/.cache/basalt/<id>/engine.log;也保留終端機輸出,讓「啟動配置不同」與「同配置處理不同」能分開查。
四、常見問題:八個先講答案的判斷
1. 有 NVIDIA 顯卡就可以照做嗎?
先核對型號。本文固定 v0.4.1 的條件是 Blackwell sm_120 與相應軟體環境;用 NVIDIA 官方表對到確切型號再下載。
2. 770 tok/s 就是繁中每秒 770 字嗎?
不是這個單位。Token 與字數不同,而且該成績的模型、任務與硬體都有指定條件。
3. 這篇提供 AlphaLab 的效能實測嗎?
沒有。本篇提供官方文件導讀、作者成績的條件與可自行執行的驗收流程;沒有產生本機 GPU 成績。
4. 我應該選 Flash-Next 還是 27B?
先看資源與任務。前者本篇用來練 MoE 與 expert-cache;後者是高速度數字所屬的 dense 模型。分別查模型卡,再用同一份工作題驗收。
5. expert-cache 可以直接設成 5384 嗎?
先讀自己的啟動結果。那是問題回報者的案例值;數量要由你的模型、Context、可用 VRAM 與保留空間決定。
6. 固定 expert-cache 就能治好所有重啟波動嗎?
要重新量。它能隔離自動配置這個變因,仍須區分 0.4.0 回報、0.4.1 封裝與 main 的修正狀態。
7. JSON 格式正確就算任務通過嗎?
還要核對值。欄位完整、語法合法與資料答對是不同條件;速度只算在合格成果旁邊才有意義。
8. 長 Context 越大越值得開嗎?
按任務增加。先看短配置能否完成工作;需要長文再比較等待、記憶體、漏答與回退成本。
給新手的三個重點
第一,版本、模型檔與硬體一起記,才知道比較的是什麼。第二,聊天、結構化輸出、長文分開量,冷暖也分開。第三,速度旁邊永遠放答案驗收:交付時間還包含檢查與重做。
接著閱讀
左右滑動查看更多推薦
下一步:留下第一份完整的首跑紀錄
今天先做到「指定版本成功載入、同一題冷暖各一次、答案逐項對過」。把配置與日誌收進同一個資料夾,下次只換一顆旋鈕。當你能解釋時間花在等待、生成還是重做,才開始挑真正適合自己工作的引擎。其他主題可從 AlphaLab AI 專區接續閱讀,或用 AlphaLab 課程安排下一個實作專案。




