跳到主要內容

【2026 最新】Qwenputer 是什麼?三個判讀練習,看懂編進權重的 CPU

最後更新: ·
Qwenputer 是什麼:編進權重的 CPU 與 GDN 記憶體概念示意

你看到「模型裡有 CPU」,第一個念頭可能是:AI 終於學會像電腦一樣精準計算了?Qwenputer 最有意思的地方,卻是研究者把一套計算電路編譯成權重,接到語言模型前面。它讓我們可以追問:一個零件算得準,整個回答就會準嗎?

這篇專為第一次接觸模型架構的讀者寫。先用「說明員+內建計算機」理解原理,再做三個紙上判讀練習;有合適 GPU 的讀者,可接著使用專案的算術入口。讀完你會知道該保存哪些證據,而不是只看最後那行答案。

本文於 2026 年 10 月 31 日核對作者說明、模型卡、固定版本程式與 Gated DeltaNet 論文。下文是來源導向的教學;AlphaLab 本次環境為 Apple Silicon Mac,未執行 Qwenputer 模型推論,也未量測三路延遲。文中的算式是可自行核對的預期值,專案測試則保留作者與版本範圍。

先說結論:精準零件,還要問對問題

Qwenputer=原本的語言模型+編譯加入的 CPU 電路+存放執行狀態的記憶體。像請一位說明員拿計算機:按鍵與算術有明確規則,但說明員仍可能抄錯數字、選錯算式,或把正確結果說錯。

  • 它是 Divyansh Agrawal 製作、以 Qwen3.5-4B 為基礎的實驗模型;CPU 的新增權重由編譯器設定,並非透過訓練自然長出來。
  • 目前這篇追的是 RISC-V 合併模型與 calc 算術橋接;CHIP-8、檔案系統與 NPU 分支各有自己的版本與證據。
  • 驗收分三關:CPU 指令執行正確 → 模型送入正確算式 → 最後回答符合問題。每一關都要有自己的紀錄。

先讀過 LLM 運作原理,會更容易理解:權重是運算規則的參數;推論時的狀態則像正在使用的草稿紙,兩者扮演不同角色。

一、Qwenputer 是什麼?先拆開五個零件

① 原模型:「負責理解題目的說明員」

Qwen3.5 原本就混合一般注意力與 Gated DeltaNet 線性注意力。Transformers 的架構文件列出這兩類層。Qwenputer 保留原有語言權重,另加電路所需維度與層;這是研究者修改模型的作品,不應把它讀成 Qwen 團隊替所有模型加上的功能。

② 編譯器:「把電路圖翻成模型參數」

編譯可以想成翻譯施工圖。研究者先寫下「讀取暫存器、加法、分支」等電路行為,再把它們安排成模型層能執行的運算。固定版本設計文件說明,合併模型把 11 個晶片層放在 Qwen 的 32 層之前。這裡的 CPU 是由神經網路運算實現的指令機器,不是額外焊上一顆實體晶片。

③ RISC-V:「計算機聽得懂的指令語言」

RISC-V 是一套指令集架構:規定機器如何理解加法、讀記憶體與跳轉等指令。這個專案使用 RV32IM,另加 Zba 與大整數運算單元。可以把指令集想成積木規格;符合規格的積木能組出程式,程式是否符合你的要求則要另外檢查。

④ Gated DeltaNet 狀態:「有地址的小抽屜」

Gated DeltaNet(下文簡稱 GDN)會攜帶一個隨輸入更新的狀態矩陣。原始研究把控制記憶的閘門與定向更新結合起來。Qwenputer 在指定的電路頭採用特殊設定:保留閘門與寫入強度設為 1,再以只有一個位置為 1 的 one-hot 向量選地址。於是可以覆寫指定列、讀回指定列,像開關某一格抽屜。

這是特定編碼與電路條件下的可定址記憶體。別把它擴成「所有 GDN 都會精確記住所有對話」。CPU 的程式、資料與暫存器狀態放進這些抽屜;模型權重則提供如何讀寫、如何執行的規則。

⑤ RvChat 與韌體:「開機員與工作內容」

韌體是 CPU 要跑的程式,這篇使用 calc-bridge.elf。RvChat 驅動器把韌體狀態載入 GDN,安排文字與 CPU 的解碼路徑,並核對執行。聊天入口原始碼也有主機端參考機器做同步驗證。精確說法是:算術回覆由模型內的電路路徑產生;整套推論仍需要主機軟體、記憶體與運算硬體。

二、三條運算路徑:看格式之外,也看誰真的算了

原模型可以直接生成答案;Qwenputer 讓模型寫出類似工具呼叫的格式,交給編譯電路運算;外部工具方案則由主機程式執行,再把結果交回模型。同樣出現 <tool_call>,不代表背後走的是同一條路。

Qwenputer、原模型與外部工具的三條算術執行路徑概念圖
AlphaLab 原理示意;箭頭表示工作交接,不表示效能排名或本次實測結果。

專案的算術評測提供 rv1、pytool、base_nudge 三種條件。尤其要看 --host:在目前固定版本,外部基準的預設是 bridge,由主機參考機器執行同一份韌體;另一選項 expected 才走主機預期值函式。只寫「Python 工具」會漏掉這個差異。評測入口保留了實際分工。

這也解釋為什麼一張跑分圖需要配置註腳:同題目、同一輸出規則是起點,韌體版本、批次、解碼路徑與工具語義也會改變結果。想把工具迴圈接到自己的產品,可接著看 Agent Harness 的分工。

三、先做三個判讀練習:把錯誤放回正確那一層

拿一張紙,畫三個欄位:送入的算式、運算回覆、最後答案。下面都是教學設計,並非 AlphaLab 已取得的模型輸出。先寫正確值,再檢查任何實際紀錄;別讓模型同時出答案又替自己評分。

練習 1:大數乘法,先找計算憑據

題目固定為 12345 * 6789,預期值是 83810205。如果 CPU 回覆正確,最後文字卻少一個零,出錯的是答案交接;如果只有正確文字、缺少電路紀錄,你掌握的是結果證據,還不能證明它走過 CPU。驗收方式是把呼叫內容、Trace 與最終文字並排保存。

練習 2:分數連乘,先問韌體語義

算式固定為 (1/2)*(1/2),數學預期是 1/4。專案設計文件記載,早期 calc v1 對中間分數有限制;calc v2 改成以約分有理數持續運算。若某版本回錯誤訊息,先核對韌體與運算規則,再判斷是 CPU 故障、輸入限制,還是模型在反覆重試。忠實回傳「不接受這種輸入」與算錯答案,是兩件事。

練習 3:文字題,檢查是否問對算式

題目是「每件 199,買 3 件,折扣總共 50,應付多少?」預期算式為 3*199-50,答案 547。再刻意觀察一個假設失敗:若模型送入 3*(199-50),計算機忠實算出 447,機器執行可以完全正確,整題仍答錯。這是語意轉算式的錯誤,不該被 CPU 正確率掩蓋。

三題合起來,你就有一份最小工作表:版本、題目、預期式、實際式、運算回覆、最終答案、總耗時與失敗原因。若要量延遲,先分開模型載入時間與暖機後的每題時間;記下批次、文字 token、電路 token,並保留逾時與放棄的案例。這是建議測法,本文不提供尚未量到的速度比較。

四、Qwenputer 上手:先固定版本,再跑一個算術入口

只想理解原理,做到上面的工作表即可。要執行模型,作者的試跑路徑是單張 24GB GPU;模型卡標示 bf16 權重約 18.8GB,還要預留載入與推論空間,不能把權重大小當作整個工作的記憶體需求。依 作者試跑說明,先準備合適的 GPU 環境,並自行確認可用容量。這不是一般電腦免設定的聊天工具。

以下以已備妥 NVIDIA CUDA 的研究環境為目標,不安排購買雲端額度。先備妥 Git、uv 與 hf CLI;專案要求 Python 3.11 以上。uv 專案文件說明同步與執行方式;Hugging Face CLI 文件說明如何以 revision 固定下載版本。

git clone https://github.com/divagr18/qwenputer.git
cd qwenputer
git checkout f07a0b2e38271454c4d455dc2b9bf78d3d399170
cd experimental/riscv
uv sync --locked --extra hf
uv run python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

這裡停一次:確認專案鎖檔、Python 與 PyTorch 環境就緒,再處理大型權重下載。若 CUDA 顯示 False,這次 GPU 流程尚未就緒;不要把接下來的 CPU fallback 當成已驗證的單卡速度。以下下載的是本篇固定的模型 revision:

hf download divagr1925/Qwen3.5-4B-Qwenputer \
  --revision 2d9068508f2b680badb7abcded96fdd107e9ba5d \
  --local-dir qwenputer-rv
uv run python -m chipformer.rv.chat qwenputer-rv \
  --firmware tests/data/rv/calc-bridge.elf \
  --ask "Use calc: what is 12345 * 6789?" --check \
  > qwenputer-check.txt 2>&1

打開 qwenputer-check.txt,依序看生成文字、head mismatches、lock error,以及 --check 的重播結果。先確認有實際 calc 呼叫、chip tokens 大於 0,且重播的 owned 大於 0;若 owned=0,這次只驗到文字紀錄,未驗到 CPU 執行。再核對 head mismatches 0、lock error None、重播的 ok=True、wrong_predictions=0 與 owner_mismatch=0。出現不匹配或錯誤時,把該次列為待查;這些欄位乾淨也只是這次紀錄的電路驗證,仍要用 83810205 核對最終答案。完整保存終端機輸出,才能回頭分辨失敗位置。

這條聊天命令沒有開啟設計文件所稱的 Triton executor 路徑,因此本文不把該加速路徑的速度套上去。也別直接將三個算術練習改寫成任意 C 或 Python 程式:目前這個入口示範的是 calc,一般程式與合併聊天是不同整合層。

五、讀作者測試時,先找四種邊界

  • 樣本邊界:README 的 RISC-V 算術比較以每組 40 題整理,是作者公開測試,不是所有問題的可靠度保證。舊 CHIP-8 結果另有其實驗,本文不混算。
  • 錯誤歸屬:技術紀錄列出計算回覆正確、模型卻漏負號、另算一次或陷入迴圈的案例;這正好支持分層驗收。
  • 輸入容量:目前算術橋接記錄每次捕捉上限為 80 tokens,值至多 62 位數,複雜式也可能耗盡暫存器。遇到容量錯誤先縮小式子,別把它記成數學答案。
  • 整合範圍:設計文件明載 MicroPython 已在獨立核心與 executor 跑過,但合併模型仍需後續橋接工作。它支持「核心能執行這類程式」的研究主張,並未替這個聊天入口交出完整 Python 介面。

安全邊界也要放回系統看:CPU 狀態、工具連接與主機權限屬於不同層。從「計算發生在模型內」不能推導出允許讀取你的檔案、連線或執行任何主機命令;是否有這些權限,要檢查實際包裝程式與外部連接。三個練習使用人工算式即可,無須加入私人文件或任何帳號資料。

若你正做產品,Deterministic Core 的決策分工提供另一個問題:哪些規則應由明確程式裁決?那篇教系統的授權與政策;本篇則用具名模型看編譯電路與生成文字如何交接,兩者可以互補。

常見問題:八個先講答案的判讀

Qwenputer 是模型自己學會 CPU 嗎?

這個專案採用的是編譯加入。編譯器直接設定新增電路權重;它展示可構造的計算結構,並非自然訓練出 CPU 的證據。

CPU 是真的硬體晶片嗎?

這裡指用模型運算實現的指令機器。實際執行仍由你的電腦硬體承擔,與在模型檔案裡藏一顆實體晶片是不同意思。

內建 CPU 就能保證整題答對嗎?

要分層驗收。問題轉成錯誤算式、計算後抄錯或反覆重試,都可能讓最終回答失敗;作者技術紀錄已有具體案例。

看到工具呼叫格式,就代表外部 Python 在算嗎?

光看格式分不出來。要追實際執行者:編譯電路、主機參考機器與主機函式,能使用相近的對話格式。

GDN 記憶體會改寫模型權重嗎?

這裡的讀寫對象是推論狀態。像規則手冊與工作草稿的差別;一次計算寫入狀態,不等同重新訓練參數。

可以照文章直接貼任意 Python 程式嗎?

本篇入口只示範算術 calc。獨立核心的 MicroPython 驗證與合併模型的程式橋接,要按技術文件分開看。

本篇測出了三路誰最快嗎?

沒有進行這項量測。本文給的是路徑解釋與驗收設計;實際比較要保留硬體、版本、冷啟動、批次與失敗紀錄。

還沒 GPU,今天能先做什麼?

先寫三題驗收單。把預期式與答案放好,再讀作者的一次失敗紀錄,指出錯在輸入、執行或輸出;理解研究不必先租算力。

給新手的三個重點

  • 看到「模型內建」,追問新增的是權重、狀態還是外部工具。
  • 看到「確定性」,把主張縮回被驗證的電路、版本與輸入範圍。
  • 看到「答對」,保留算式、運算回覆與最終文字,讓三關各有收據。

接著閱讀

左右滑動查看更多推薦

下一步:今天先驗一個交接點

挑上面的文字折扣題,先寫出 3*199-50=547,再拿任何一份回答對照:它用了哪個式子、誰算出中間值、最後有沒有照原題回答?你能指出錯誤停在哪一層,就已抓到本文的核心:精準零件,仍需要正確的提問與交接。

接著可回 AlphaLab AI 專區選一個相鄰題目,或透過 AlphaLab 課程把模型、工具與驗收接成自己的工作流程。

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。