GroundingPI 解析：看準位置，離可靠機器人還有多遠？（2026）

2026 年 9 月 30 日，Qize Yu 與共同作者在 arXiv 發布了〈GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives〉。這篇 GroundingPI 解析要追問的是：AI 能說出桌上有杯子，和它能找準杯子、讓機器人順利拿起來，究竟差在哪裡？

10 月 13 日，這篇論文被提交到 Hugging Face Daily Papers，頁面標示當日第一名。那是討論重新升溫的日期；論文、權重與程式在此之前已陸續公開。先讀清它想改變的感知方式，再拆開評測口徑，最後判斷哪些結論足以支持下一步。

GroundingPI 解析：先把「哪一個、在哪裡」學好

Precise grounding matters.

中文：精準定位很重要。

GroundingPI 論文摘要

Grounding 在這裡是把語言指定的目標，連到圖片裡的確切位置。例如「紅杯子」要對到那個杯子的框；「杯子把手」則可能需要一個點。畫面越擁擠、物件越小，「大概知道有什麼」越難直接變成可用的操作位置。找準目標，是動作學習需要的一份輸入。

作者的核心主張，是把這種精細感知先練成模型的原生能力，再讓有限的機器人示範資料教它如何動作。這並非把「找位置」第一次變成生成問題：Pix2Seq 原論文已將物件標籤與框表示成離散 token 序列；Grounding DINO則研究以語言指定開放類別的物件偵測。GroundingPI 的研究重點，是統一多種定位任務，並檢查這份表示能否幫助下游控制。

4B 是命名；完整模型約 4.844B 參數

架構附錄列出 MoonViT-V2 視覺編碼器、投影層與 Qwen3-4B 語言骨幹；加上分開的輸入嵌入與輸出矩陣，總計 4,843,664,384 個參數，約 4.844B。因此「4B」應按骨幹家族名稱理解，不能讀成完整系統恰好只有 40 億參數，更不能直接當成記憶體需求。

依 官方輸出協議，圖片座標使用 0 到 999 的格線；框包含四個座標，點包含兩個。這像讓模型直接填一張位置表，而不是寫一大段文字描述。接到圖片像素時仍需正確換算；格線精度、輸入解析度與目標大小，也共同影響你能分辨的位置。

訓練先建立多模態能力，再以監督微調學座標與格式，最後用 GRPO 強化學習調整定位、覆蓋與文字幾何一致性。這種獎勵有明確驗收對象：框是否吻合、漏掉幾個、是否重複。格式可解析和目標定位正確，仍是兩個關卡。官方 client 保留原始輸出與解析狀態，正是為了讓兩者可以分開檢查。

GroundingPI 解析：34 個基準的平均，不能讀成機器人成功率

論文報告比較 44 個基線，涵蓋 34 個定位基準、11 類感知能力；GroundingPI 的 headline Avg 是 73.68，GPT-6 Astra 為 71.54。完整結果附錄明確界定：Avg 是先各自計算的 11 類能力分數之平均，不是把 34 張表直接平均，也不是機器人在真實環境完成工作的比例。

這份成績混合物件框、點、OCR、版面與 GUI 等不同任務。作者使用專用提示、解析器與評分口徑；部分比較值引用外部報告，另有不相容或未報告的格子。模型是否支援某種輸出格式，也會影響比較。因此合理結論是「作者這套定位評測的綜合分數較高」，不能改寫成「小模型全面超越前沿模型」。

反例就在同一份資料裡：ScreenSpot-Pro，GroundingPI 為 65.78，Astra 為 93.17；Dense200 的框分數前者較高，點選分數卻是 Astra 較高。找到所有目標、精準貼合邊界、指到物件內部與理解介面指令，各自有不同難處。選模型時，要拆回你真正需要的那一格。

上圖的籃子讓問題很直觀：大物件容易被看到，裡面一顆顆小物件需要保留更多局部差異。這是作者挑選的定性例子，可以幫你理解任務；要比較可靠度，還需完整測試樣本與分母。本文依公開原始材料分析，未執行模型推論或重跑這些基準。

機器人實驗：固定動作層後，感知底座有幫助嗎？

作者的 下游比較把各種骨幹接到相同 Action DiT，固定動作資料、訓練預算與推論安排，再換預訓練底座。這比把不同公司的完整機器人產品放在一起排名更有解釋力：它試著隔開感知表示的貢獻。但各底座原本的規模、架構與訓練材料仍不同，結果並未把那些差異逐一排除。

RoboTwin 2.0 原論文說明，其基準涵蓋 50 種雙臂任務，透過雜物、燈光、背景、桌高與語言等變動測穩健性。GroundingPI 的 Clean2Random 是用乾淨示範訓練，再到隨機化場景測試。RoboCasa-GR1 的三組 OOD 則改變外觀、物件類別與物件容器配對。文中的四組 OOD，是 RoboTwin 一組加上 RoboCasa 三組。

報告中，GroundingPI 在六組機器人評估裡拿到五組最高分，包含四組 OOD。值得同時看亮點與保留：RoboTwin Clean2Random 的 17.60% 高於 Rex-Omni 的 14.10%；但 RoboCasa 全資料 ID 為 37.75%，低於 RynnBrain 的 39.00%。它呈現特定泛化優勢，並非每一欄都贏。

宣傳裡的「最高 24.8%」來自 （17.60－14.10）÷14.10≈24.8%，是相對增幅；絕對增量為 3.50 個百分點。17.60% 也表示，在這組受控模擬考題仍有大量任務未成功。相對進步值得研究，完成度則要用原始成功率判斷。

示範用一半，仍要把預訓練放回成本裡

在 RoboCasa 資料效率實驗，作者報告 GroundingPI 用 50% 示範取得 28.75% 成功率，超過基線用 75% 示範的最高 27.75%。這支持有限下游資料下的適應優勢；它比較的是既定資料池的比例，不是所有工廠收集示範都能少花三分之一。

如果預訓練已經替模型建立一份可重用的感知表示，下游示範就可能少負擔一部分辨識工作。這是合理的解釋；實驗本身沒有把感知學習與動作學習各自需要多少樣本分開量。預訓練、標註、部署與新的場景驗收，也都在總成本裡。少用下游示範，與整套系統更便宜，應分成兩份帳。

0.296 公尺：軌跡更貼近紀錄，還不是道路驗收

在 nuScenes，作者報告平均 open-loop L2 為 0.296 公尺，Qwen3-VL-4B 為 0.301。方法附錄使用前方影像與歷史車身狀態，預測三秒內六個位置點；先計算各時距的累積平均，再取三個時距的平均。兩者差 0.005 公尺，是這個特定指標的平均差，不是每次決策都少偏五毫米。

Open-loop 可以想成拿一段已錄好的路況，讓模型預測，再對照紀錄。實際控制則會改變車的位置與後續看到的場景，也會遇到其他交通參與者的反應。重新檢視 nuScenes 開環評測的原始研究曾示範，只用歷史車身資訊的方法也能取得有競爭力的 L2，提醒我們軌跡接近度與碰撞表現須分開看。這份獨立研究提供測量上的反例，並不重現 GroundingPI 的成績。

GroundingPI 論文的 Ethics Statement 明寫：駕駛在 nuScenes 離線評估，機器人操作在模擬裡進行，這批實驗沒有部署真車或真機器人。這是本篇判讀的具體邊界。從它推到小鵬量產自駕的效果，跨過了模型、控制器與部署驗收三層證據。

作者更大的主張：感知與規劃，可以分工

learning where to interact before limited action data teach how to act

中文：先學會在哪裡互動，再用有限動作資料教如何行動。

GroundingPI 論文，第 5.3.3 節

作者希望把廣泛推理與快速感知執行分成不同角色：前者負責長程計畫，後者替當下動作提供精準的視覺資訊。π₀ 的原始研究也把視覺語言預訓練與連續動作生成相接，提供這類分工的研究脈絡。GroundingPI 則把焦點移到動作底座究竟保留了哪些空間細節。

資料拆組實驗指出，密集定位具有重要邊際價值；OCR、版面與 GUI 的組合也有互補效果。作者進一步猜想，讀字需要局部邊界與語意對齊，可能替感知訓練提供幫助。OCR 是催化劑仍屬機制假說。混合任務一整組移除，不能把差距全算給 OCR，更不能直接宣稱讀字會改善道路安全。

原文最值得未來對帳的預測，是精準感知預訓練可以持續改善陌生場景的動作學習。最有力的下一份證據，會是固定規劃器與控制器，換感知底座，報告任務成功、錯誤類型與觀察到動作的延遲。文中提出這種雙系統方向，尚未完成整套即時控制器的驗收。

AlphaLab 的判讀：把看準當成一項可驗的能力

一、我同意：控制需要能用的空間證據

知道「這是一只杯子」與辨認「要抓這個把手」需要不同粒度的資訊。當失敗發生在認錯目標或位置漂移，強化感知底座有直接價值。GroundingPI 的研究讓這個問題可以被框、點與固定下游比較追查；它值得進入感知候選，而不是只被當成榜單故事。

二、我存疑：綜合高分能承接多少操作責任？

動作要依序通過辨識、位置、可達性、接觸與回饋。畫對二維框只交出其中一份證據；深度、抓取角度、摩擦與碰撞仍要由其他模組處理。若拿定位平均代替整條動作的成功率，你會在最需要分工的地方失去責任邊界。Agent Harness 的分工能幫助理解模型輸出與真正執行之間還有哪些管理工作。

三、輸出簡潔，是工程機會；即時性要另量

用少量座標 token 表達位置，有機會減少冗長輸出。但密集畫面要列更多物件，自回歸生成仍會增加工作；前處理、視覺編碼、解析與控制也占時間。要判斷閉環可用，量的是收到這一幀到提出可驗收動作的完整等待，並檢查目標移動後舊位置是否已過期。

四、開放材料有價值，採用仍需核對交付與授權

截至 2026 年 10 月 14 日，官方已提供權重、推論客戶端與評測指南，讓研究者可循同一協議檢查。repository 的 Physical Intelligence 說明將發布的定位模型與需要各自環境、策略 checkpoint 的動作比較流程分開；別把下載感知權重當成已得到完整控制策略。

模型授權範圍也保留 Kimi 衍生材料等上游條件。原創貢獻採 Apache-2.0，並不重新授權所有第三方元件。研究重跑、修改服務與商業部署，是需要各自核對材料範圍的決策。

下一步：先留一組會讓感知出錯的考題

一般讀者可以先看官方選例，逐張問：找到了正確實例嗎？框是否足夠精準？漏了幾個？答錯後誰會發現？已有相容硬體與使用權利的開發者，則從自己的小型圖片集開始：擁擠、小物件、遮擋、相似物件，以及目標不在畫面，各留標準答案。先讓模型只產生位置，不接實體動作。

固定 checkpoint、影像尺寸、提示與解析版本，分開記目標命中、漏檢誤檢、框點誤差、無目標輸出與完整延遲。加上目前方法作同條件對照；若接控制，另開模擬環境測完整成功率與失敗後恢復。AI Evals 入門能幫你把漂亮示例換成固定考題，本機模型記憶體規劃則補足名稱、權重與執行空間的差別。

這份 官方評測指南還區分預設小樣本 smoke test 與完整 34 基準流程。先跑通接口，不等於重現榜單；分清兩者，再決定是否值得投入完整測試。要把結果交給工具，可接著看 Harness 實作與 能力和行為信任的差別。