你把第二張顯卡接進電腦,本來期待 Strata 回答更快,結果第一個字等更久,整段也拖慢。Strata 雙顯卡最容易誤判的地方,就是把「多了顯存」直接當成「少了等待」。
這篇寫給已經讓 Strata 跑起來、手上已有兩張 NVIDIA 顯卡,卻不熟悉分工與插槽路徑的讀者。先用白話拆開 Main/Helper,再照六步留下可比較的紀錄;不用先背完硬體術語,也能判斷副卡該留下、停用,還是另做其他工作。
本文依 2026 年 11 月 15 日查閱的官方文件與原始碼整理診斷方法,未在 CUDA 雙卡上執行效能測試。目前發布頁標為 v0.2.13,App/Terminal、Control 與引擎另有各自版本及平台更新註記;下面機制與設定以主分支 13eedf552417 的文件為範圍,操作前先核對你安裝版本的說明。
先說結論:雙卡收益=省下的工作-新增的搬運與等待
把兩張卡想成兩個廚房:多一個廚房能放更多食材,但一道菜若要來回交接,出餐未必更快。容量、讀題速度、逐字輸出速度、完整交件時間,是四個要分開驗收的結果。今天先保留一份單主卡基準,再一次改一項。
兩則社群問題讓這個混淆很具體:3090/5080 使用者回報加卡後變慢;另一位4090/2080 Ti 使用者詢問要不要換插槽。它們證明有人遇到這些問題,還不足以證明每台機器都該拔副卡;留言裡不同模型、Context 與分工的速度,也應各自留在原配置裡。
一、Strata 雙顯卡先認兩種分工:接力做層,或分頭算專家
Layer split(按模型層切分)像一道菜分站接力。依官方多卡文件,每張卡負責一段連續層;Main 位於引擎順序的最後。未啟用 pipeline-windows 的一般設定下,它還負責輸出頭、草稿層與驗證;該選配模式會調整草稿位置。Helper 承擔部分層與其專家快取,Off 則讓 Strata 不使用該卡。畫面的 Helper 名稱,先放在這個分層語境理解。
Expert-cache helper(專家快取副卡)像主廚把部分工序外包。MoE 是每一步選部分「專家」計算的模型架構;這條實驗路徑讓主裝置保留主要狀態,副卡保存並計算另一批專家,結果經主機的固定記憶體緩衝返回。依SECOND_GPU 文件,提示詞預填仍走主裝置,副卡協助 decode,且每層須等 helper 回來。

Prefill 是把提示詞讀進去,decode 是接著生成 token;token 可先理解成模型處理的文字片段。分層路徑在階段間交接,專家副卡則在層內等待回傳。同樣叫 helper,交接的位置卻不同。因此「副卡搬的資料少」與「副卡拖住主卡」都要先問:說的是哪個模式、哪一段工作?
二、Strata 雙顯卡排查六步:先基準,再角色,最後換插槽
第 1 步:「是不是同一場測試?」先固定版本與任務
用同一份考卷排除無關差異。保存 App、Terminal、Control、引擎版本,模型檔完整名稱與雜湊、量化格式、Context 上限、實際輸入長度、輸出上限、抽樣設定、草稿模式及並行數。原始啟動設定另存一份,背景程式與顯示器接在哪張卡也記下。
先執行 strata --help、strata launch --help 與 strata serve --help。這是在確認手上的入口和選項,不是更新程式。App、可攜 Terminal 與原始碼 setup 的參數各有用途;看到 --gpus,先查它屬於哪一個入口,別直接接到 launch 後面。
測試任務選一小段固定資料:例如給三項商品的名稱與數量,要求輸出固定 JSON,並人工準備正確答案。先做短提示詞,再做一份貼近實際工作長度的固定材料;兩份各自比較。Context 上限與這次實際讀了多少 token,也分欄記錄。
第 2 步:「0 號卡到底是哪張?」對齊實體卡與 Main
用卡片身分對帳,先執行 nvidia-smi --query-gpu=index,name,uuid,pci.bus_id,memory.total --format=csv。把型號、UUID、PCI bus ID、實體插槽與 Strata 角色寫在同一列;NVIDIA 文件提醒,索引順序可能隨重開機變動,長期識別應核對 UUID 或 bus ID。
在 App 的每卡選擇設 Main、Helper、Off;Terminal 可從 strata launch 的 Cards 步驟查看。官方通常推薦較快卡為 Main,也納入顯存等條件;先以推薦為起點,再用同一任務比較,不必先把卡號大小當速度排名。
若本機 help 列出 --gpu-roles,文件範例 strata launch --gpu-roles 1=main,0=helper 是指定角色;未列出的卡為 Off。這裡的 0、1 必須換成你剛確認的對應,不是建議所有 4090 都填 1。保留原模型設定,啟動後再找日誌中的 layer split:,核對實際卡序與層範圍。
只改 JSON 的一個欄位也容易漏:官方說明手動 gpu 列表若與 gpu_roles 不一致,會由 gpu 優先並記錄在日誌。你填過的設定、實際產生的設定、這次正在服務的設定,要對得起來。
第 3 步:「副卡真的幫忙嗎?」先做軟體停用對照
採用A→B→A 對照:A 是原本主卡 Main、副卡 Off;B 是同一主卡 Main、副卡 Helper;再回 A 確認原狀。先結束進行中任務,依原安裝方式停止舊服務、切換並重新啟動,保留啟動日誌。每次只送一個請求,冷啟動與暖機後分開記。
可先各跑三輪暖機後的相同請求,保留每輪原始結果與中位數;這是入門測試設計,不是統計顯著性的門檻。量完整任務時間,也記答案是否通過。若單卡在相同模型與 Context 下無法啟動,就把它記成容量限制,別偷偷換更小模型後宣稱速度勝負。
這一步的 Off 只停用 Strata 對副卡的使用;卡仍插在主機板上。軟體停用與物理移除是不同測試條件。主插槽會否恢復較多通道,要回到主機板的分配規則和實際讀值確認。
第 4 步:「插槽很長就很快?」畫出 PCIe 與 NVMe 路徑
PCIe 可想成顯卡和主機間的道路:世代像道路規格,x16/x8/x4 是通道數,插槽外形則像入口大小。入口一樣長,內部可用通道仍可能不同。ASUS 的官方確認流程也要求同時核對主機板規格、插槽配置與 M.2 共用頻寬。
先在主機板手冊找完整型號與 revision 的方塊圖、Expansion slots、M.2 sharing 表,畫出 CPU→主卡、CPU→副卡,或 CPU→晶片組→副卡,另把 NVMe、USB 等裝置接上實際所屬路徑。本文沒有該提問者主機板的完整型號與接線證據,因此不替那台電腦判定哪個槽必勝。
Linux 且驅動支援時,可用 nvidia-smi topo -m 看連線矩陣,再用 nvidia-smi -q 並尋找輸出中的 PCI 資訊。拓樸與連線讀值各有用途,仍應和手冊對照;碰到不支援欄位就記「未取得」。需要連續紀錄時,先用 nvidia-smi --help-query-gpu 確認當前驅動接受的欄位。
在固定工作負載進行時記錄 current link generation/width,同時留 max 值;NVIDIA 查詢說明指出,閒置時 current generation 可能降低。不要只看桌面閒置截圖,就判定裝錯插槽。
只有軟體對照已完成,且你熟悉硬體安裝時,才按機殼、電源與主機板手冊,在完全關機斷電後測另一個可用插槽。另開測試條件,重新查卡號、卡序與連線,維持其他設定;換槽造成主卡頻寬、散熱或共用路徑改變,都一起記錄。
第 5 步:「改成專家快取會更好?」另開實驗分支
先用分開設定、分開驗收保留可退回的分層基準。已有原始碼/引擎設定經驗的讀者,再參考 SECOND_GPU:--expert-cache-device1 auto 是放入 run config 的 args 的引擎旗標,不是 launch 選項;主裝置編號也要按該次可見裝置順序核對。
官方引擎參數範例還包含 --expert-cache auto 與 --remote-expert-opt,但這不是能單獨啟動的完整設定。先保留模型、profile、引擎與路徑欄位,再檢查最終引擎參數是否仍帶分層設定;熟悉靜態設定的讀者可按 serve 文件使用 strata serve --profile "你的設定檔路徑" --plan --output json 檢查。選項需先在本機 help 確認;正式啟動時一併移除 --plan --output json,使用一般前景輸出;這會載入模型並占用 GPU。
這條路徑的 auto 依容量配置,不能當成速度調優完成。官方要求 helper 留至少 512 MiB 空間,也提醒 Windows 顯示桌面或其他程序使用 VRAM 時,過度配置可能落到系統 RAM。看啟動時的快取槽與每次請求實際由 helper 計算的項目,別只看顯存變滿。
品質是這一步的停止條件。官方明記 CUDA0 專家快取命中路徑的輸出會與 cache-off 有差異;--remote-expert-opt 也改變浮點加總順序,未承諾逐位相同,並會關閉 --pipeline-windows。先對 JSON、事實答案與實際任務驗收;若失敗或反覆循環,就回到原設定。
第 6 步:「到底留下哪個配置?」以合格交件決定
建立一張可重跑的紀錄:輪次、版本/模型雜湊、模式、主副卡身分、實體插槽、連線讀值、Context/實際輸入長度、載入時間、首 token 等待、prefill、decode、完整任務時間、輸出 token 數、VRAM 峰值、答案通過與工具重試。未取得填文字,別填零。
以固定商品 JSON 的任務為例:先單卡讀短題,再雙卡讀同一題;接著各跑長材料。若雙卡 decode 提高、首字卻更晚,先看 prefill 與載入;若整段變慢,核對層分配、helper 工作量與搬運路徑。這些是找證據的方向,仍須回 A 重跑才能提高因果判讀的把握。
想把含工具的任務也納入,先理解 Agent Harness 的模型與執行層分工,再沿 最小 Harness 的工具結果與停止條件留時間線。推論後端快了,但工具多重試兩次,讀者等到交件的時間仍可能變長。

三、三個決策出口:保留、停用,或分開服務
- 保留副卡:同一模型和工作下,容量需求得到滿足,品質通過,完整任務等待也符合你的目標;把該組設定與證據一起保存。
- 先停用副卡:單卡能完成工作,重複對照後等待更短或更穩定;留下雙卡設定,之後換模型再比較。
- 另派工作:語音辨識或另一個小模型可考慮各用一張卡,但應另測同時執行時的 RAM、CPU 與共用路徑;每個服務固定裝置與不同埠,避免與原測試混在一起。
排查中先少碰幾個容易誤用的開關:官方分層模式不要求 NVLink/P2P,能經主機 RAM 交接;但 --peer-device 是 SECOND_GPU 另外描述的路徑。又如手動 --pcie-frac 會套到每張卡並略過各卡探測,別把社群的數字直接當作自己的最佳值。
如果症狀其實是長對話或切換工作後才逐漸變慢,接著看 Session Cache、停放與 RAM/SSD 排錯;若尚未分清模型與引擎,可先補 Strata 本機推論的容量與速度代價。把不同問題拆開,才能知道這輪到底改進了什麼。
常見問題:八個先講答案的判斷
1. 兩張卡的 VRAM 可以直接相加算速度?
不能這樣推算。分層文件列出每卡各自保留的權重、狀態與緩衝;總容量也要扣除這些成本,速度另看運算與交接。
2. Main 一定是 nvidia-smi 的 GPU 0?
不是固定對應。分層模式的 Main 是引擎順序最後一張;用實體卡身分、可見裝置順序和啟動日誌核對。
3. UI 的 Helper 就是 expert-cache-device1?
先分清語境。UI 多卡角色描述的是分層分工;expert-cache-device1 是實驗性專家快取旗標。
4. 沒有 NVLink 就一定變慢?
不能從這一點下結論。官方分層模式與一般 helper cache 都有經主機緩衝的路徑;實際等待仍須同配置比較。
5. 把副卡設 Off,主卡就會恢復 x16?
要查主機板。Off 停的是 Strata 使用;插卡本身如何分配通道,要核對手冊與實際連線。
6. x4 插槽一定不適合 Strata?
要看工作與路徑。官方分層文件記載可在較窄插槽運作;能運作與達到你的延遲目標是兩件事。
7. helper auto 填滿顯存,就證明調好了?
還要驗收。它按可用容量配置;看實際 helper 運算、完整任務時間和輸出品質。
8. 速度變快,但答案改了,算成功嗎?
先按任務驗答案。浮點路徑改變可以造成文字差異;若事實、JSON 或工具任務未通過,就不能把更快當作合格交付。
給新手的三個重點
第一,先辨認分層與專家副卡,再談 Main/Helper。第二,先軟體停用做 A→B→A,再把換槽列成新條件。第三,讓版本、卡片、路徑與品質跟著時間數字走。雙卡收益=省下的工作-新增的搬運與等待。
接著閱讀
左右滑動查看更多推薦
下一步:先留下一張單主卡成績單
今天先不要同時換模型、改 Context 又拔卡。保存原設定,核對主卡身分,選一份有標準答案的小任務,完成第一輪單主卡紀錄。等你能說清楚慢在讀題、生成還是交接,再只轉下一顆旋鈕。想繼續練習系統化 AI 工作流,可以從 AI 文章入口接著讀,或查看 AlphaLab 課程。






