跳到主要內容

Inkling 2 Mini 發布:同一組權重跑三輪,本機 AI 省下什麼?(2026)

最後更新: ·
Inkling 2 Mini 小模型多算幾輪,搭配官方飛行模擬器示範畫面

2026 年 11 月 20 日,Thinking Machines Lab 在官網發布了〈Introducing Inkling 2 Mini〉,並公開 Inkling 2 Mini 模型卡。這次最值得看的,是一個能放進本機部署候選清單的小模型,如何靠重用中間層權重增加計算深度,以及這筆交換最後省在哪裡。

Inkling 2 Mini 官方發布文章的標題與日期
圖/Thinking Machines Lab 官方發布頁;AlphaLab 擷取頁首並加上瀏覽器外框。點圖可開原文。封面採官方飛行模擬器示範畫面,並非 AlphaLab 實測。

先把原文的架構主張讀清楚,再對照評測與推論框架的證據,最後判斷什麼情況值得試。這裡要分開三個問題:模型存了多少權重、每個 Token 算了多少次、你的一件工作多久完成。它們彼此相關,卻不能用同一個參數數字回答。

一、Inkling 2 Mini 的關鍵:同一套中間層,走三輪

running the middle layers of the model three times for every token.

中文:對每個 Token,把模型的中間層運行三次。

Thinking Machines Lab,2026 年 11 月 20 日發布文章

Hugging Face 的整合說明把架構拆得很直白:24 層權重中,前 6 層走一次,中間 12 層走三次,最後 6 層再走一次。因此是 6+12×3+6=48 次層運算,儲存的仍是 24 層權重。每一輪也會讀取前一輪傳來的訊息,並由學到的閘門調整如何混合。

Inkling 2 Mini 三輪循環與跨輪訊息架構
圖/Thinking Machines Lab,官方架構圖。前段供給每一輪輸入,中間兩個區塊共享權重,透過 Message 傳遞前一輪資訊,最後才進入末段。

可以把它想成同一組工作站反覆處理一件半成品:不必為每一輪新蓋工廠,卻仍要花處理時間,也要保存中途狀態。這個比喻只解釋權重共享;實際模型還有專家路由與跨層資訊混合。2018 年的 Universal Transformers 論文已探索遞迴式的 Transformer,這次的新價值在於具體模型、權重與可檢查的整合交付。

官方的訓練敘事也不只有循環:先裁去部分專家,再用蒸餾恢復能力,並把低位元訓練與後訓練結合。這些改動同時存在,因此整個新模型的成績,不能全算成「多繞兩圈」的單一效果;要估循環本身的貢獻,得看配對實驗。

二、26.4B、3.4B、5.4B:三個數字各管一件事

截至 2026 年 11 月 21 日查閱,模型卡列出 26.4B 總參數、3.4B active;把額外兩輪計入後,是每個 Token 約 5.4B 的有效啟用量。它接受文字與圖片、輸出文字,標示最多約百萬 Token 上下文,權重以 Apache 2.0 釋出。這裡的 B 是十億。

數字回答什麼不應怎麼讀
26.4B 總參數模型的權重規模每一步都動用全部權重
3.4B active官方模型卡的啟用參數口徑已含三輪全部運算代價
5.4B 有效啟用量納入重複通過中間層的口徑等於另存了 5.4B 獨立知識

Artificial Analysis(AA)的發布評測另寫每個文字 Token 使用約 3.1B 獨立權重,並用 5.4B 作循環後的比較。3.1B 與官方的 3.4B 口徑沒有在這兩份摘要裡完整對帳,本文保留各自歸屬,不把差異自行補成已證實的架構解釋。能確定的是:重複使用與獨立儲存,是不同的量。

同理,小 active 不等於只需載入同樣大小的模型檔。你要準備的是實際權重檔、執行時狀態與上下文快取;參數名稱上的「Mini」,也沒有替任何一台電腦預先完成容量驗收。

三、同分而少算:AA 證據支持到哪裡?

On our compute proxy measure (active parameters × tokens)

中文:在我們的計算量代理指標上,也就是啟用參數量乘以 Token 數。

Artificial Analysis,2026 年 11 月 20 日評測

AA 報告 Inkling 2 Mini 的 Intelligence Index 約為 20,與 Qwen3.8 27B 的 xhigh 設定相當;它同時觀察到,Mini 每題約輸出 152K Token,Qwen 約 110K,前者多約 38%。這直接提醒我們:同一模型增加循環時可能更省 Token,不代表它一定比另一個模型少吐字。

AA 以自己的計算量代理指標,報告 Mini 約用 Qwen 的 1/2.8 計算量。這是特定評測方法下的效率訊號;它並非插座電表讀數,也不是每一套本機引擎的秒數。不能拿約略四捨五入的參數與 Token 數,硬湊出精確同樣的比率。

這份獨立結果足以支持「值得拿來比較」,卻沒有把兩個模型的每一項能力變成相同。綜合指數像一張多科總成績:總分相近,仍可能一個較會寫程式,一個較會遵守多重限制。GPT-6.2 的綜合與編碼成績分岔,也展示了選型為何要拆開考卷。

官方發布頁的編碼圖,則把速度軸標成固定記憶體頻寬下的理論上限。它適合解釋權重讀取的可能優勢;若把圖上的點直接抄成「你的筆電每秒幾個 Token」,就換了量測對象。

四、能在本機跑,還要分清權重、快取與完整工作

speed varies by runtime and hardware.

中文:速度會隨執行框架與硬體而變。

Thinking Machines Lab,Inkling 2 Mini 模型卡

模型卡提供約 20GB 的混合精度 checkpoint,列出 32GB 以上 Apple silicon 裝置等支援配置;權重使用 NVFP4 與 MXFP8。這是選擇部署入口的起點,32GB 並不是「所有上下文長度與工作負載都已保證跑得下」的結論。原生低位元權重與另外轉換的 GGUF 版本,也應各自留下精度與配置紀錄。

vLLM 團隊的原始整合文章說明,循環核心的每一輪保留自己的 KV 與卷積狀態快取。共享權重省下儲存,並沒有順便消除每輪的記憶。因此,一旦你拉長文件、增加同時請求,瓶頸可能從權重容量移到快取;「支援百萬 Token」與「我的電腦能舒服跑百萬 Token」要分開測。

vLLM 也提供可變循環研究版在 GB200、4K 上下文、僅 forward pass 的比較:batch 1 的解碼步驟由一輪 1.51ms 到三輪 3.85ms。這是該團隊特定配置的結果,不是 Mini 的筆電測速。它支持的機制很清楚:增加內部深度要付運算時間,最後是否更快完成,還取決於少走多少生成、工具與重做步驟。

別把研究版的開關套到正式模型。vLLM 明確說,調整輪數與共享 KV 的兩個選項,在固定循環 checkpoint 上會被拒絕;想比較一輪、三輪,應用對應的研究模型。Basalt 的首跑與快取排查可補上冷啟動、生成與完整交件各自怎麼看。

五、多算在內部,監控能看到多少?

原文另一半在討論監控:當更多運算發生在輸出文字之前,讀得到的思考文字,可能只呈現整個處理過程的一部分。官方用另行訓練的可變循環研究模型做比較;這與發布版 Mini 是兩個需要分列的實驗對象。

可變循環研究模型的無思考鏈任務時間範圍
圖/Thinking Machines Lab。縱軸為 Think Fast 子集上達到 50% 擬合正確率的任務長度,以人類完成秒數表示;誤差棒為 95% bootstrap 信賴區間。左側菱形是 Mini,右側各點是研究版不同循環數。

圖中的研究版由一輪 16 秒走到三輪 37 秒,指的是人類完成任務所需時間的難度尺度,且以無思考鏈、50% 擬合正確率定義;不是模型回答由 37 秒加速成 16 秒,也不是平均可靠工作時間。三輪之後的曲線大致趨平,特定串接查表任務則仍有增益。

官方還報告文字推理縮短但仍可讀,以及其代理監控測試未見隨循環數增加的明顯惡化趨勢。這些是公司的限定實驗:研究版的強化學習採三輪;代理測試又使用特別微調的攻擊者與指定監控模型。文字讀得通、這套測試攔得住,仍是兩種不同證據。它們都不足以替更大模型或其他訓練方式預先簽收。

Goodfire 的原始研究提供另一條線索:團隊取得提前權重,分析跨區塊與跨循環資訊如何流動,並比較把內部狀態轉成輸出預測的不同方法。作者將成果定位成早期發現。這讓外界多了一種檢查內部計算的工具,但觀察到訊息路徑,還沒有等同於能可靠辨認每一次危險意圖。

六、AlphaLab 的判讀:省容量的進步,要和可靠性一起交付

我同意:這是值得拿來驗證的效率方向

權重可重用、內部狀態可逐輪修正,讓「增加處理深度」與「增加模型檔大小」不必永遠綁在一起。對記憶體受限、又願意多等一點換取較好推理的人,這種交換有實際意義。開放權重又讓研究者能查到跨輪狀態,而非只能對著聊天結果猜。這是本次最值得加分的地方。

我存疑:把參數效率直接換成通用工作優勢

一套工作可能花最多時間在讀長文件,另一套則在呼叫工具、檢查錯誤。若模型省了權重讀取,卻多做幾輪、生成更多文字,或交付後需要返工,最後優勢可能改變。參數效率是候選篩選條件;是否換用,應由你需要的答案、語言與完整等待決定。

尤其是繁中使用者,模型卡明列中文可能出現語句截短與語言混雜,也列出反覆推理、工具操作可能刪改檔案、成果回報不準確等限制。這些具體失敗型態,比一句泛稱「小模型也很強」更有助於設計測試。先讓它處理可恢復的副本,讓刪除與覆寫各有權限邊界。

下一份有價值的證據:相同機器、相同任務的完整紀錄

我會追三項東西:固定硬體與版本的端到端等待、長上下文下的記憶體峰值,以及帶失敗樣本的任務通過率。若這三項能在同一份紀錄中改善,才有理由把架構上的效率推廣成日常收益。監控研究則要繼續換更難的任務、不同訓練輪數與監控者,檢查這次看見的趨勢能延伸多遠。

七、現在怎麼試:先選一件你知道答案的工作

選一個小型程式修改、一張你能核對的圖表,或一份已有答案的繁中文件。先寫好完成條件:需求不能漏、數字要對、輸出語言一致;工具只接測試資料與可恢復副本。這是建議的評估方法,本文沒有下載完整權重進行本機效能重現。

用目前模型與 Inkling 2 Mini 跑同一批工作,記錄模型與量化版本、引擎版本、上下文長度、輸出上限、總等待、記憶體峰值及人工修補時間。先短上下文、單一請求,再一次增加一個變因。看差異時,也可用GGUF 分歧的排查方法,避免把抽樣差異全歸給量化。

需要自架時,先讀Inkling 2 Small 權重開放後的交接分析,理解拿到檔案之後還要接管哪些事;要判斷實驗能外推多少,則可對照K2-Horizon 的控制證據分析。Mini 與 Small 的規模、架構和測試條件各自不同,延伸閱讀補的是判斷工具。

Inkling 2 Mini 值得關注,因為它把有限容量下的更多計算做成了可研究的模型;值得留下來使用,則要看你的工作能否在同樣品質下少付出總時間與資源。今天先保留一份固定任務的比較紀錄,下次模型或引擎更新時,你就知道進步發生在哪裡。

接著閱讀

左右滑動查看更多推薦

ALPHALAB 社群

有問題?來 Telegram 聊

和 Terry、編輯、其他網友一起討論這篇文章。提問、分享觀點,回覆更即時。

加入 Telegram 討論

📩 訂閱 AlphaLab 電子報

週日 Weekly 週報+週二、週四 Alpha Signal,每週最多三封。

我們不會 spam,隨時可退訂。已訂閱?管理訂閱偏好(會寄登入連結到你的信箱)

主題篩選與退訂說明

寄送日期以台灣時間為準。主題偏好會篩選每期精選,並非每篇新文章的即時通知;當期符合主題的文章不足時會略過寄送。

未勾選任何主題會收到所有主題的精選,並不會停止寄信。

取消勾選 Alpha Signal 可停止週二、週四短報,仍保留週日週報。若要停止所有電子報,請使用信件底部的「取消訂閱」。