你請 AI 用 Blender 做一段分鏡:人物走到門口、轉身,鏡頭再切近。影片播放順暢,AI 也說自己看過預覽。但人真的走到指定位置了嗎?關鍵動作發生時,觀眾看得到嗎?這篇 VibePrevisBench 教學,帶你把這兩份驗收分開。
前半專為第一次接觸 Agent 評測的讀者寫;操作段需要已有 Linux、Docker 使用權限、Python 3.12,以及可用的模型服務帳戶。你會學會先選一題腳本任務,固定設定、回放交件,再分開讀場景與畫面證據。Agent 就是會呼叫工具完成工作的 AI;Blender 是建立三維場景與動畫的軟體。
本文依 2026 年 11 月 17 日查閱的官方程式、評測文件與論文整理,固定程式版本 ce50f80。AlphaLab 本次完成原始碼與環境檢查,本機缺少 Docker 與 Blender,未執行場景生成或取得模型分數。以下是文件導向的單題操作指南;示意情境與待填紀錄,都不是實跑結果。
先說結論:交付可信=可重跑+場景正確+畫面可讀
把它想成拍電影:場景是攝影棚裡實際擺了什麼;畫面是觀眾最後看見什麼。門真的存在,卻可能在鏡頭外;畫面像在轉彎,路線也可能沒有照規格走。驗收要沿著「交件程式 → 新環境回放 → 場景 → 影片」往下查。
- 先讓
solution.py在新容器重新執行,檢查程式、完整影片與可重開的場景。 - Scene Check 用規則比對隱藏真值;Screen Check 再看通過規則的事實能否在畫面辨認。
- 先做一題、先看逐項失敗;單題和四題 smoke test 都要標成子集,保留各自的分母。
一、VibePrevisBench 教學先認四個零件
Previs 是 previsualization,也就是正式拍攝前的預視。灰盒場景像用積木排戲:先把位置、動作、攝影機和剪接講清楚,再考慮材質與精緻外觀。4D 在這裡指三維場景隨時間變化。原論文的任務定義涵蓋腳本、照片、開頭影格續作和參考影片;本篇先選腳本,降低外部照片與影片的準備負擔。
- ① Brief:「給助理的工作單」。寫明人物、位置、時序與輸出規格。待測 Agent 讀這份要求。
- ② Solution:「能重新搭景的食譜」。交出獨立的 Blender Python 程式,不只留一段成功宣告或舊影片。
- ③ Replay:「換一間廚房再做一次」。把交件放進新的容器重跑,排除原工作區偷偷留下的依賴。
- ④ Evaluator:「答案本與看片評審」。真值資料由評分端保存,和做題端分開。Ground truth 可先理解為出題者核定的答案本。
這裡練的是應用系統的 eval(評估流程),不只是選哪個模型。模型之外,工具、執行紀錄與停止條件的分工,可以先從Agent Harness 白話入門補齊。

二、VibePrevisBench 教學六步:先讓一題留下完整證據
第 1 步:「電腦夠用嗎?」先盤點,再建立獨立環境
先檢查現成資源。官方安裝說明採 Linux、Docker、Python 3.12、ffmpeg 與 ffprobe 5.1 以上,Blender 固定 5.2.2。單個 Agent 容器預設 8 CPU、16 GB RAM;回放預設 4 CPU、8 GB。這些是容器配置,要另外留宿主機空間。先用 --parallel 1,別把多題同時塞滿記憶體。
在已有上述工具的 Linux 終端機執行。先確認 docker info 正常,再建立環境;不要為了跳過 Docker 問題,把陌生交件直接改到宿主機執行。
docker info
python3.12 --version
ffmpeg -version
ffprobe -version
git clone https://github.com/vibeprevisbench/vibeprevisbench.git
cd vibeprevisbench
git checkout ce50f80f573b5758f29c10d645c5426879167cc6
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python vpbench.py doctor
doctor 列出工具路徑;找不到 Blender 時先記錄,後面的官方 setup 會建置指定映像並取出 Blender。驗收成果是一份工具與版本清單,不是所有項目憑印象打勾。
第 2 步:「要下載什麼?」先選 TP101,核對使用範圍
先固定腳本題 TP101。它是官方 smoke 清單裡的文字任務;完整 smoke 共四題、每種輸入各一題。下面每次都帶 --tasks TP101,不把「預設 smoke」當成「只跑一題」。
下載前先讀官方資料授權:程式碼與資料的條件不同,任務標註採 CC BY-NC-SA 4.0,外部媒體權利另屬原作者。以下取官方資料的路徑,適用於你已確認符合資料使用條件的練習;商業導入評估要先取得相應授權,或改用自己有權使用的 brief 自建驗收,不把自建題分數冒稱官方 benchmark。
腳本題能避開這一題的外部影片抓取,但 setup 仍會準備整份標註資料。單題選擇控制的是執行與計分範圍,不等於只下載一個小檔。驗收時記下資料的 SHA256SUMS,讓下次能核對同一份內容。
第 3 步:「模型會不會偷偷換?」固定設定,先看 dry-run
一個 run name 對應一組設定。本例使用官方 claude-code preset;先依Claude Code CLI 文件與你可用的服務,決定完整模型 ID 和支援的 effort。effort 是推理投入設定;這裡不預填某個模型或價格。請先在自己的終端機設定 VPB_TEST_MODEL 與 VPB_TEST_EFFORT,值要填實際可用設定;模型憑證依官方 agent 設定另外提供,不貼進提示詞或公開紀錄。
VPB_EVAL=.claude/skills/vibeprevisbench-eval/scripts/run_eval.py
vpb_one() {
python "$VPB_EVAL" --name first-scene \
--agent claude-code \
--model "${VPB_TEST_MODEL:?請先設定可用的完整模型 ID}" \
--effort "${VPB_TEST_EFFORT:?請先設定該模型支援的 effort}" \
--tasks TP101 --parallel 1 "$@"
}
vpb_one --dry-run
--dry-run 只列計畫與環境檢查,不開始模型呼叫。逐項看任務是不是 TP101、模型與 effort 是否正確、憑證變數名稱是否有傳入。此時沒有分數是正常的;下一關才開始準備執行。
第 4 步:「AI 能看到答案嗎?」分開做題與評分
先 setup,再啟動 Agent。下面第一行建置映像、準備資料與環境;第二行才執行生成、回放、Scene Check 和報告,會使用模型服務。先設好帳戶用量控制並記下預算;官方預設每題時間上限為四小時,時間上限也要和金額上限分開管理。
vpb_one --stages setup
vpb_one --stages agent,replay,score,report
依官方工作區規格,Agent 在容器讀 /opt/task/TASK.md、於 /work/blender_agent 工作,交件放 solution/solution.py。不要掛載整個資料目錄或 data/rubrics/ 給它;後者是評分用答案本。自己的設定檔、私人目錄與其他服務憑證,也不需要跟著進去。
還有一個容易誤會的地方:Docker 網路文件說明容器預設可對外連線;這份 helper 的 Agent 網路預設也是 bridge。容器不等於已限制「只能連模型 API」。若要對齊論文的外部資源限制,還須在執行端另做出口規則、固定 CLI 版本並留下設定;本篇單題起跑流程本身不作相容性認證。
第 5 步:「影片有播就算交件?」先讀回放三道門
以 replay 的產物驗收。成功交件應在 runs/first-scene/TP101/ 留下 solution.py、scene.blend、video.mp4 與回放紀錄。回放使用新容器,預設無網路。依官方交付驗證程式核對三件事:程式獨立跑完、影片完整渲染、場景可重新開啟。任一道失敗,該題按交付失敗處理;保留錯誤,不跳過門檻只報漂亮影格。
打開 results/first-scene/scene/scores.csv 看該題狀態與各維度,再讀 scene/engine/ 的逐項報告。九個維度可分組理解:人物與物件、布局與空間;畫面結構;路線與事件;攝影機與剪接;物理有效性。像查裝修,不只問房子在不在,還要查門開在哪、走道怎麼通。
先挑一個失敗項目,沿「brief 的哪句要求 → 哪個檢查 → 哪個時間/物件 → 回放產物」查回去。不要直接回答「Agent 最常漏哪一維」:一題只能描述這一題;你的多題紀錄累積後,才有自己的錯誤分布。
第 6 步:「場景合格卻看不清?」需要時另加 Screen Check
先保留 Scene,再決定是否付費看片。Scene Check 使用 CPU 規則評分,不呼叫模型 API;生成、渲染、儲存仍各有資源成本。Screen Check 則需要可用的 Gemini generateContent 相容評審服務與金鑰,會呼叫該服務。依官方評測設定先配置評審 endpoint、模型與認證,把金鑰留在環境變數,不寫進文章、聊天或版本庫。
vpb_one --stages judge,report
這一步讀已完成的同一題與 Scene 報告,避免重跑生成來挑高分。查看 results/first-scene/screen/TP101.json 和 summary.md。未提供評審金鑰時,helper 會略過 judge;此時報告是 Scene-only,不能把缺少 Screen 的欄位解讀為零分或完整 Overall。
三、怎麼讀兩種分數:高分也要看問題問了誰
Scene 是拿尺量場景;Screen 是請評審看片。Screen 先描述影片,再依規格與清單判斷辨識、動作、可見性和故事;檢查對象以通過 Scene 的事實為條件。所以 Screen 高,不能反推全部場景要求都正確。兩個數字回答的問題與分母要一起讀。
用原創示意情境練一次:工作單要求「人物在轉身時仍完整入鏡」。情境甲,人物確實轉身,但鏡頭只拍到腳;你要查的是可見性。情境乙,人物全身清楚,動作卻提早發生;你要回場景時序查。這是判讀練習,沒有替 TP101 編造內容或分數。
作者在論文 Figure 2也展示了兩種落差:場景的攝影機與路線錯誤,以及物件在畫面中太遠而難辨認。這是作者展示的案例;它支持把兩層分開查,並不替你的新模型或新任務預測成功率。
四、留下哪些紀錄,才有辦法修下一版?
每個失敗項目留一張「要求卡」:task_id/brief 原句/check ID/時間段/Scene 判定/Screen 判定/影格檔名/原因/待修項目。這張卡是排錯用工作表,不取代官方評分器。若要截圖,可從回放影片指定時點取一張;以下的 3 秒只是示例,改成你正在查的時間。
ffmpeg -ss 00:00:03 -i runs/first-scene/TP101/video.mp4 \
-frames:v 1 failure-frame-003.png
同時保存程式 commit、資料指紋、Blender 與 Agent CLI 版本、模型完整 ID、effort、評審設定、protocol、開始結束時間、實際用量,以及原始輸出與逐項報告。模型呼叫失敗、回放失敗、場景不符、畫面看不清各自記錄,修法才找得到方向。整輪成本要把生成、評審、運算、儲存和人工排錯一起算。
報子集時優先讀 helper 的 summary.md/summary.json:它會按選定任務整理。底層 vpbench.py report 的 report.json 依完整資料索引計算;別直接拿它的總平均代表一題表現。直接呼叫 score 或 judge 時,也要明確帶 --tasks TP101。
按照官方重現說明,記下 paper/release 協定與評審配置;照片題兩種 brief 有差異。更換 Blender、評審或題目集合後,分數不能直接當成原榜單同一把尺。改設定開新 run name,保留失敗;基礎設施中斷可記錄原因後恢復,低分本身不是刪掉再考的理由。
常見問題:八個先講答案的判斷
1. 完全不寫程式,也能從這篇開始嗎?
可以先做判讀。先讀懂工作單、交件、場景與畫面四層,再替一段既有作品寫要求卡;執行段仍需要前面列出的環境與終端機基礎。
2. 有影片,是否代表場景能重新建立?
要看回放。留下舊影片與交出可獨立執行的食譜,是兩份證據;以新容器重跑並重新開啟場景驗收。
3. Scene Check 免費嗎?
不收模型 API 呼叫費。它用 CPU 規則評分;運算主機、渲染和儲存要另計,做題 Agent 的模型用量也另計。
4. 只跑 Scene,可以算完整 Overall 嗎?
不可以。Overall 結合 Scene 與 Screen;缺評審結果就標 Scene-only 或 incomplete,不把空白當成已完成。
5. Screen 很高,就表示 Agent 都做對了?
要回看 Scene。Screen 針對通過規則的事實檢查可讀性,分數高也可能伴隨其他未通過的場景要求。
6. 一題或四題 smoke,能拿來宣布模型排名嗎?
只能報指定子集。它適合查環境和錯誤;完整 benchmark 的題目範圍、失敗計分與設定需要另外對齊。
7. 換一個視覺評審,分數還能直接比嗎?
先分開報。記錄 endpoint 與模型,在相同交件上另做比較;新評審的數字不自動等同論文評審。
8. Docker 裡就能放所有資料和金鑰嗎?
只放本題必要資料與必要服務權限。答案本留評分端;模型憑證按名稱傳入,匯出紀錄前遮去實值,另外核對容器出口規則。
給新手的三個重點
- 先重跑交件,再看得分;每道失敗都留下原因。
- 先問場景對不對,再問觀眾看不看得懂;兩種分數一起看。
- 先寫清任務集合與成本,再比較版本;一題的成果是可追查紀錄。
接著閱讀
左右滑動查看更多推薦
下一步:先替一個失敗留下兩份答案
今天先固定 TP101 與一組模型設定,完成 dry-run。資源與授權都準備好後,再走一遍回放和 Scene Check,挑一個項目寫下「場景發生了什麼、畫面看到了什麼」。若還沒具備環境,就先用上面的轉身情境練要求卡。交付可信=可重跑+場景正確+畫面可讀;當三份證據能接起來,你才知道下一輪要改程式、改攝影機,還是改驗收方式。
接著可從AlphaLab AI 文章總覽補齊需要的工具,或透過AlphaLab 課程把單題練習延伸成自己的 Agent 工作流。
