Nemotron 3.5 解析：24GB 本機 Agent，裝得下就跑得好嗎？（2026）

2026 年 10 月 15 日，NVIDIA 的 Kari Briski 在官方部落格發布了〈從資料中心到桌面：擴充 Nemotron 模型家族〉。這次 Nemotron 3.5 發布把兩個問題擺在一起：Agent 能否讀懂圖片與文件，以及能否留在自己的電腦上工作。最吸睛的，是 Bolt 名字裡的「24GB」；最值得追問的，則是這個容量在什麼條件下成立。

先看原文要解決的工作，再拆開模型、容量與速度，最後決定這次發布是否值得你投入下一輪評估。以下依 2026 年 10 月 18 日可取得的公告、官方模型卡及原始評測判讀；各項測試成績均歸屬所列作者與配置。

Nemotron 3.5 的主張：讓看文件與做事情接在一起

原文的主軸，是把可客製化的 Agent 底座從企業伺服器延伸到桌面。Super VL 處理文字與視覺工作，Bolt 把較大的模型壓進本機部署預算；企業可再用自己的工具介面、規則與資料調整模型。這與單純推出一個聊天視窗的意義不同：NVIDIA 想讓採用者掌握模型與部署環境。

The model ships with open weights, open datasets and training recipes.

中文：模型隨附開放權重、開放資料集與訓練配方。

Kari Briski，NVIDIA，2026 年 10 月 15 日

這是原文最值得保留的承諾。不過，「有開放材料」與「你的工作已經能可靠自動化」之間，還有資料品質、訓練、工具整合與驗收。原文列舉金融文件、資安、研究及企業軟體的合作方向；它們說明客製化路徑，不能合併讀成一個適用所有工作的成功率。

發布時間也要拆清楚：公告稱 Super VL 與 Bolt 74B-A9B 已於 10 月 15 日提供，較小的 Bolt E4B 4GB 則預計 10 月 23 日推出。截至本文查核日，後者仍是預告，不能寫成三款都已上市。

Nemotron 3.5 規格：120B、74B 與「啟用參數」各在說什麼？

依 Super VL 的官方 NVFP4 模型卡，它採用 Mamba-2、MoE 與注意力混合架構，接上 C-RADIO 視覺編碼器；總參數為 120B，每個 token 啟用約 12B。輸入包含文字、圖片與影片，輸出為文字。對讀表格、圖表與頁面版面的 Agent，這提供了把視覺證據接入同一推理流程的底座。

「每次啟用 12B」描述的是計算路徑，不等於整套權重只需存 12B。你可以把 MoE 想成有許多專長的工作團隊：每一步請部分成員工作，整個團隊的資料仍要安置。選設備時，總權重、資料精度與執行狀態都要算。

Bolt 則從 Super VL 壓縮而來，總參數 74B、每個 token 啟用 9B。NVIDIA 的 Bolt 研究說明列出 Star Elastic 結構壓縮、後續訓練，以及量化感知蒸餾。這條路的研究價值，是先從較強的模型保留能力，再讓它符合指定資源預算；是否優於另一個小模型，仍要回到同條件任務。

We only quantize the weights

中文：這裡量化的是權重。

NVIDIA，Nemotron 3.5 Bolt 研究說明

原文所稱的原生 2-bit，還要讀到元件層級。研究頁說明，專家層使用 IQ2_XXS、每個元素約 2.0625 bits；其他部分採用 NVFP4 或 Q8_0。不能把「2-bit」當成所有權重、快取與執行狀態都同樣占兩個位元。想先釐清檔案大小與品質交換，可接著讀 GGUF 量化選擇指南。

24GB 是設計目標；官方部署範例還有另一張容量表

最需要補全的，是名稱與部署配方的距離。Bolt 官方 GGUF 模型卡寫明，架構搜尋以 batch size 1、128K context 下低於 24GB 的部署占用為目標，預算有考慮後續量化與執行狀態。這比只拿權重檔大小宣傳更具體，但仍然綁定它的設計條件。

同一份模型卡目前列出的 llama.cpp 範例，另分 28GB recipe 與 32GB recipe：前者使用 65,536-token context、單一並行序列與 q8_0 KV cache；後者使用 262,144-token context、單一並行序列。兩者也帶入視覺投影與額外的 speculative drafter。硬體欄分別列 RTX Spark 64GB／獨立 GPU 32GB 以上，以及 RTX Spark 128GB／獨立 GPU 48GB 以上。這些是文件列示的配置，本文未在這些硬體重跑。

因此合理的讀法是：24GB 說明壓縮的目標，28GB／32GB 範例說明當前特定 Runtime、上下文與加速零件的組合。它們不必互相否定，也不能互相代替。只有 24GB 顯存時，先核對你選的版本、載入配置及實際占用；名稱本身不足以保證官方較大範例原封不動能啟動。

此外，Spark 的整機統一記憶體、獨立顯卡顯存與作業系統 RAM 是不同的資源安排。別把「某台 128GB 系統測到了」縮寫成「任何 24GB 顯卡都一樣」。這次 Nemotron 3.5 最有用的容量問題，是在我的上下文與並行數下，完整工作還剩多少空間？

「快五倍」：先看橫軸，再看工作何時完成

原文圖上的 5 倍比較，是特定模型群、100K 輸入 tokens 下的輸出速度對照。NVIDIA 技術文章也將圖示連到 Baseten 端點。它不是把所有硬體、所有題目與完整 Agent 工作都量成五倍。未取得獨立且同配置的原始量測前，這項倍率應保留為 NVIDIA 發表的比較。

完整任務時間還包括讀入提示、生成、工具等待、重試與結果核對。模型每秒多吐一些 token，若同時多繞幾輪，交付未必較快；反過來，少做必要檢查，也可能提早交出錯答案。比較時，要把正確交付和耗時放在同一張表。

第二張圖本身也沒有支持「Bolt 各方面都贏」：有模型位在更右邊，有模型位在更上方。Bolt 研究頁的測試表更具體地列出，於其 RTX Spark Surface Laptop Ultra 128GB、llama.cpp 配置，Bolt 的 AIPerf SPEED-Bench-Coding 為 83.99 TPS；同表的 Qwen3.6 與 Gemma 4 配置分別為 96.63、100.56 TPS。這是 NVIDIA 在指定版本與加速設定下的自報結果，足以說明它追求能力與速度的折衷，不能推出本機速度冠軍。

兩份外部證據：快、會答題，仍要分開看

一、PinchBench 的 BF16 與 24GB 版是不同列

原公告將 Bolt 描述為同級開放模型的 PinchBench 第一名。查核時，PinchBench 自己的榜單所示 2026 年 10 月 17 日版本，把 bolt-74b-a9b-bf16 與 bolt-74b-a9b-24gb 分開列示：平均分數分別為 90.4% 與 87.8%。前者出現在 Best Open-Weights 推薦位置。不能把 BF16 的名次直接移給 24GB 量化版。

這也不能反過來證明量化版不好。它證明的是，名稱相近的 checkpoint 仍需要自己的成績；榜單版本、測試次數、工具環境和比較群都會影響解讀。本篇不沿用「24GB 版第一名」作結論。

二、Plotly 的 43 題：一般分析強，資料瑕疵仍有缺口

Plotly 公開的原始評測文章記錄 Super VL 在其合成風力發電資料考卷中答對 30／43 題，單題時間中位數 12 秒。其中一般分析為 19／20，資料品質題為 0／3，隱藏模式題為 0／5。這是 Plotly 的小型專用考卷，題目未公開，不能換算成你的企業工作成功率；其時間也不能當成你本機推論速度。

它提供的提醒很具體：能快速寫出查詢、完成摘要，與主動發現缺資料或重複紀錄，是不同能力。若你的 Agent 要整理報表，標準答案裡就應包含那些「資料本身有問題」的案例，而不只檢查正常題。這是原始評測所提示的缺口，不是 AlphaLab 重現出的新結果。

開放與本機部署，分別給你什麼控制？

Super VL 與 Bolt 模型卡均標示 OpenMDW-1.1。授權本文對所提供的模型材料給出廣泛使用權；再散布時，須保留授權副本與適用的來源通知。它讓修改、部署與再利用有明確依據；各資料集及其他元件仍應逐項讀其條款。

原文把本機運行連到隱私，這個方向成立於一個前提：相關資料處理確實留在你控制的環境。模型在本機，並不能替整個 Agent 的瀏覽器、搜尋服務、外部 API 與日誌接收端回答資料流問題。要讓「資料留在本機」成為可採信的敘述，應畫出每次工具呼叫與記錄的目的地。

開放權重也讓你能調整模型，但自訓練並不會自動省掉維運。訓練材料、服務程序、工具權限與回歸考卷都要有人維護。若你關心企業 GPU 資源如何管理，Run:ai 開源分析談的是另一層問題；模型選得好，仍要有能接住它的系統。

AlphaLab 的判讀：值得追的是每份記憶體能交付多少正確工作

我同意：把較強底座壓進資源預算，是有價值的路線

這次 Nemotron 3.5 的進步方向很清楚：多模態讓 Agent 能用更多原始證據，壓縮與混合精度則把部署選擇帶向較小的系統。對原本因容量而排除本機模型的團隊，Bolt 值得加入候選名單。這是重新開啟評估的理由，尚不是替換既有模型的驗收結果。

我存疑：一個容量名字，承接了太多完成保證

24GB、啟用 9B、每秒 token、榜單排名，各回答不同問題。當它們被放進同一句「本機 Agent 已經成熟」，中間少了最關鍵的證據：同一份任務、同一份可用記憶體與同一套停止規則下，能否可靠交卷？現在公開材料足以討論機制與指定配置表現，還不足以替任意工作做這個保證。

下一步：先選一項工作，讓失敗也出現在考卷

已有相容設備與授權入口時，先用公開或自編資料做一個小任務，例如從五份假單據提取日期、幣別與總額，再加入一份重複紀錄、一份缺頁，以及一個應停止的工具錯誤。事先寫好答案，固定 checkpoint、量化、Runtime、上下文與並行數；同時記正確交付、總耗時、峰值記憶體與重試次數。這是建議的評估設計，沒有預填任何模型成績。

把現用方案放進相同考卷，先看哪個錯誤會改變決策，再看節省的資源是否值得。還沒有硬體時，先完成考卷與容量盤點便有價值；雲端端點可用來認識行為，但本機效能仍須在本機配置量測。若要接工具，工具呼叫驗收教學能幫你把提單、執行、回傳與停止逐關拆開。