【2026 最新】Pixel-Space Diffusion 是什麼？用 P-JiT 看懂不用 VAE 的成本與取捨（新手白話篇）

看到「只花兩萬多美元訓練影像模型」，你可能會想：是不是終於能用自己的電腦，便宜做出一套生圖工具？Pixel-Space Diffusion 確實提出另一條路，但「省下一個 VAE」和「整個系統很小」之間，還隔著文字編碼器、訓練配方與推論記憶體。

這篇寫給第一次接觸影像模型架構的讀者。你會用 P-JiT 21K 看懂像素與潛在空間的差別，算清楚下載前要看的資源，再準備一組能分辨畫質、手部與文字能力的小考卷。不必先懂高等數學；想動手的讀者，另有官方 CUDA 流程的起步指令。

本文依 2026 年 11 月 7 日查閱的原始論文、Linum 技術文章、模型卡與推論程式整理。本次環境是 Apple Silicon，未執行官方 CUDA 模型；以下指令與考卷是操作方法，圖片為架構示意，不是 AlphaLab 生圖成績。

先說結論：少一間翻譯室，仍然要有整座畫室

Pixel-Space Diffusion＝直接在像素資料上加噪與還原；不用 VAE，不代表不用其他模型。把 VAE 想成先把大畫布翻成速記、最後再翻回圖像的翻譯室。拿掉它，是改變畫師工作的材料；畫師仍要理解你的文字，也仍要反覆運算。

• P-JiT 的影像路徑直接處理像素區塊，文字條件則來自另外載入的凍結 Qwen3.5-4B。
• US$21K 是作者公布的這次訓練運算帳，不是從零建立整個研究系統的完整預算。
• 先用自己寫的長描述與 --no_upsample，把本機影像推論和外部提示改寫分開；有文字排版需求時，這個研究 checkpoint 並非合適起點。

一、Pixel-Space Diffusion 是什麼？先看兩種畫布

像素就是影像上的小色點。擴散模型（diffusion model）透過帶噪資料學習生成；取樣時，從噪聲逐步走向影像。這裡的「擴散」是一個方法家族，不能只憑名稱判斷網路預測的是乾淨圖、噪聲，還是另一種變化量。

Latent Diffusion 原始論文把主要生成運算搬到較小的潛在表示。訓練時，影像先經自動編碼器壓成特徵；生成時在那個空間取樣，再用解碼器還原成像素。白話說，先在縮小的速記稿上作畫，最後再展開。

Pixel-space 路線則把帶噪像素交給生成模型。JiT 原始研究主張直接預測乾淨資料，並展示大區塊 Transformer 在像素空間工作的可能性。P-JiT 是沿著這類方向延伸的特定架構，不能把 JiT 論文的所有設定照搬成 P-JiT。例如前者的研究結論，不代表後者文字生圖系統沒有預訓練依賴。

「直接處理像素」也不等於每個像素各佔一個 Transformer token。P-JiT 先切區塊，再投影成模型內部特徵。就像把拼圖分裝成幾袋，仍然是在處理拼圖本身；分袋的動作不會自動變成另一套獨立預訓練的 VAE。

二、P-JiT 的五個零件：哪些訓練用，哪些生圖還在？

①「讀懂描述的人」：凍結文字編碼器

依官方文字編碼器程式，系統取 Qwen3.5-4B 的指定隱藏層作為文字特徵。「凍結」表示這次訓練不更新它的權重；推論仍要載入與計算。這像聘請已受過訓練的翻譯員：本次沒有再教他，不代表他的知識與工作成本不存在。

②「把畫布分袋」：像素區塊與投影

P-JiT 把圖像切成區塊，經過線性投影後交給 Transformer。這裡的 image token 是影像區塊的表示，和語言模型的文字 token 不是同一種計價單位。減少影像 token 可以減輕部分注意力運算，整個系統的速度仍受文字編碼、其他層與硬體影響。

③「共同討論」：文字與影像的主幹

文字與影像先各自整理，再進入共同的 DiT 主幹；DiT 可理解為用 Transformer 做影像生成的網路。這表示文字不是最後才貼上去的標籤，而是生成途中使用的條件。漂亮的圖像與正確遵守描述，也因此要分別驗收。

④「沿途交草稿」：金字塔式訓練讀出

依Pyramid-JiT 架構說明，訓練在中間層要求較低解析度的乾淨影像，再往後要求更完整的影像，讓較早的層也收到學習訊號。另有 PixelREPA 對齊外部視覺特徵。這些訓練輔助頭在發布版取樣時被移除；它不是每次先跑一台小模型，再跑一台超解析模型。

⑤「慢慢把圖走出來」：取樣器

發布版以多步取樣生成影像。拿掉 VAE，只是拿掉一段影像編解碼路徑，並沒有把取樣變成一次計算。也別把訓練中的金字塔草稿，誤認成推論可以隨時輸出省錢預覽的產品功能。想比較不同生成路線，可接著看兩次網路評估的影像生成研究，先對齊機制，再談步數。

三、US$21K 到底買了什麼？把三筆帳分開

Linum 在這次訓練報告自述：預訓練與後訓練合計約 US$21K 運算費，按每 H100 小時 US$2.50 換算。這支持「這次運算帳有明確範圍」，不足以推出「任何人花同樣金額，都能從零建出同等系統」。

第一筆是本次訓練運算；第二筆是外部預訓練資產與研究投入，包括已存在的文字編碼器、視覺特徵模型、資料處理及人力，不能由第一筆代答。第三筆則是你每次生圖的部署成本，取決於硬體、解析度、批次與實際取樣設定。

同樣要分清「看過的樣本次數」與「互不重複的原始圖片數」。作者報告的 660M training samples 是訓練用量，不能直接改寫成六億六千萬張獨立圖片。成本標題越短，越要把分母寫回來。這也是AI 模型排行榜閱讀方法的基本功：先問量尺，再看名次。

四、Pixel-Space Diffusion 下載前：先算記憶體，再決定是否動手

官方模型卡列出的影像權重是 fp32，文字編碼器則由程式以 bf16 載入。估算方法是參數數量 × 每個參數的位元組：fp32 每個約四 bytes、bf16 約兩 bytes。兩份權重加起來已超過十六個十進位 GB；執行還有啟用值、暫存與配置空間。

因此，不能只看「2B 影像模型」就認定小顯卡一定裝得下。這個加總也不是最低顯存規格：分時載入、卸載與量化會改變佔用，而發布版有特定權重精度設計。未驗證就把所有權重轉成較低精度，測到的可能已是另一份推論行為。

先在已備妥的 Linux／NVIDIA CUDA 環境檢查 nvidia-smi、可用磁碟與 Python 版本；官方套件要求 Python 3.10 以上。安裝時會下載相依套件，首次執行還會從 Hugging Face 取得兩套權重。Apple Silicon 讀者可先完成架構與考卷練習；本文指令限定官方 CUDA 路徑，不把修改程式或第三方移植混成相同操作。

五、起步流程：固定版本、長描述、單一 seed

已具備上述環境後，在自己的練習目錄依序執行 git clone https://github.com/Linum-AI/pjit-21k、cd pjit-21k，再用 git checkout 95403933f3727abe947977c75915a53292e1d841 固定本文查閱版本。接著執行 python3 -m venv .venv、source .venv/bin/activate 與 pip install -e .。先查看README 的系統套件需求；缺少編譯環境時，應由你管理的機器另行補齊。

第一張用自己寫的英文長描述，不加金鑰：python generate.py --no_upsample --aspect_ratio square --seeds 0 --prompt "A small ceramic teapot rests on a plain wooden table beside a closed window. Soft morning light enters from the left and makes a gentle shadow behind the handle. The pale blue glaze has subtle uneven texture, while a folded linen cloth lies to the right. The scene is quiet, viewed at table height, with a simple cream wall behind." --out_dir outputs/teapot。這是本文自訂題目，不是保證會生成某張圖的範本。

成功後檢查 outputs/teapot/seed_0.png 與 outputs/teapot/prompt.json。前者是圖片，後者保存實際 caption、seed 與取樣設定。另存程式 commit、套件版本、GPU、峰值顯存與耗時；第一次下載、載入模型、正式取樣的時間分開記。要理解為何這些紀錄比「看起來成功」重要，可以讀AI Evals 入門。

固定 seed 能控制初始隨機條件，仍不能保證任意環境逐像素相同。官方也註明批次大小會改變矩陣運算的四捨五入。第一輪先固定單一 seed、解析度、批次與預設取樣參數；確認能執行，再一次改一項。

六、長 caption 與提示改寫：別把兩個變因混在一起

官方模型卡說訓練使用約 50–80 個英文單字的密集描述。與其只丟「茶壺」，先寫主體、位置、光線、材質及鏡位。這是讓輸入接近訓練描述風格，不是把文字無限加長；編碼器有長度截斷，最重要的要求應放前面。

預設提示改寫器會將原始文字與畫面尺寸相關資訊送到 OpenRouter，再交由所選模型服務生成 caption。在本機生圖，不等於整條流程都在本機。使用 --no_upsample 可跳過這個改寫呼叫，直接用你寫的 caption；下載權重仍是網路活動。不要把未公開人名、客戶企畫或產品細節拿來做外部改寫測試。

要比較改寫是否有幫助，先保留原始短提示、手寫長描述，以及改寫後實際送進影像模型的文字。再把兩份長描述都以 --no_upsample、相同 seed 與設定生成。這樣比較的是文字內容；若每輪都重新呼叫改寫器，畫面變化可能先來自 caption 改了。外部 API 的費用另記，不要加進 GPU 生圖時間裡混算。

七、三組小考卷：把好看、結構正確與會寫字分開

第一組用前面的茶壺或無字風景，先檢查主體、位置、光線。第二組讓一位虛構人物雙手捧碗，逐張檢查手指、接觸與遮擋。第三組才要求簡單招牌文字。每組先挑三個固定 seed，保存全部圖片；這只是練習用的小樣本設計，不是完整 benchmark。

文字題要先讀邊界：官方明確把這份 checkpoint 的文字與海報生成列為不適用，並說其資料篩選排除了大量含渲染文字的影像。預設改寫器可能回傳 text_requested 而停止；那是流程拒絕，不是已生出圖片後的辨識失敗。若做研究性的原始 caption 測試，要把兩種結果分開記，別把失敗一概歸因於 pixel-space 架構。

官方也列出全身、多物件、多人互動與世界知識的困難。手部考題是在檢查你自己的需求，並不是本文已證明它的手部失敗率。即使一張成功，也要看另外幾張；即使一張失敗，也只支持那個提示與設定下的觀察。架構、資料與 checkpoint 配方會一起影響結果。

常見問題：八個先講答案的判斷

不用 VAE，就完全沒有壓縮嗎？

不是。P-JiT 仍將像素區塊投影成內部表示；改變的是獨立影像編解碼模型的依賴。

凍結文字編碼器就不佔記憶體嗎？

仍會佔用。凍結關係到訓練更新，載入與前向計算仍然存在。

US$21K 是全部研發成本嗎？

不是這份帳的範圍。作者給的是這次訓練運算費，不能涵蓋外部預訓練與全部人力。

只要相同 seed 就逐像素相同嗎？

不保證。批次、套件、運算後端與精度都應一起保存。

一定要申請 API 金鑰嗎？

手寫 caption 並加上 –no_upsample 時，不需要 OpenRouter 改寫金鑰；官方預設改寫路徑則需要。

能拿它直接做標題海報嗎？

不適合。官方對這份 checkpoint 明列文字與海報限制；可另選文字排版工作流。

訓練更省就代表推論一定更快嗎？

不能這樣換算。訓練達到哪個指標，與每張圖的延遲、顯存和品質，是不同測量。

沒有 CUDA，今天還能學什麼？

可以。先畫出資料流、分開三筆成本，再寫好 caption 與驗收條件，之後有合適環境才執行。

如果你的下一步是交付商業視覺，應把文字排版、可編輯檔案和修改後的一致性另列驗收；可接著讀圖像生成到創作交付的驗收分析，學會依產物決定檢查項目。

給新手的三個重點

• 看架構時，圈出影像編解碼、文字編碼和外部改寫三條不同路徑。
• 看低價訓練時，寫清楚這筆錢的範圍，再另算自己的部署資源。
• 看生成結果時，固定 caption 與設定，保留成功和失敗，才有辦法判斷取捨。