PWM(Programmable World Model) 以世界模型驅動影片生成

2026 年 9 月 10 日 Share to X Copy link

AlayaLab 開源的 Programmable World Model 把世界狀態與畫面生成拆開管理，讓角色、事件與鏡頭外的物件都能被查詢、修改與驗證，不再只靠潛在影像記憶。

影片世界模型能夠即時渲染出像真的畫面，但畫面背後其實欠缺一部「世界引擎」——狀態藏在影像序列裡，難以檢查、編輯或驗證，鏡頭一轉，鏡頭外的角色與潛在事實就會被悄悄遺忘。AlayaLab 開源的 Programmable World Model（簡稱 PWM）正正針對這個痛點，把世界狀態的維護與視覺生成徹底解耦，由一個 state executor 負責推進世界狀態，再由 deterministic compiler 把以 state-augmented 3D OBB 描述的狀態投影成 pixel-aligned controls，最後才交給影片模型渲染畫面。

這個框架真正解決的問題，是讓世界「可被編程」。同一份世界狀態可以驅動任意鏡頭、任意視覺風格，角色即使離開畫面依然存在，事件具備不可逆性，亦可由規則觸發；使用者可以用類似 WASD 的方式操控，並預先以語言定義世界規則。一個 VLM-based agent 會讀取參考圖與開放式文字，自動寫出可執行的世界規格。

PWM 屬於框架類項目，定位接近研究原型。與 Genie 3、GameNGen 等同類做法相比，PWM 的取捨在於放棄純端到端的潛在表達，換取可查詢、可驗證、可長時序的狀態；對於遊戲開發者、需要可控互動世界的模擬研究者，以及想用程式化方式生成可控影片內容的團隊，這種顯式狀態設計明顯更貼近「世界引擎」的真正需求。

目前 PWM 已釋出技術報告，推理程式碼與預訓練權重尚未開源，因此暫時只能從紙面層面理解並等待官方補上權重。從架構看，這個方向對於追求可控性與持久性的應用場景會有明顯吸引力。

重點摘要：

• 狀態與畫面解耦：狀態由 executor 維護，畫面由影片模型渲染，互不綁定
• 可查詢、可驗證的世界事實：角色、事件與鏡頭外實體都能被檢查與修改
• 持久世界：鏡頭外的物件與潛在狀態不再被遺忘，長時序互動更可靠
• VLM agent 自動生成世界規格：以參考圖加文字描述即可寫出可執行的世界規則
• 尚待補完：推理程式碼與預訓練權重仍未釋出，目前以技術報告形式呈現

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 世界模型, Video, Image, 框架, 3D

---

RoboSPA 用 280 個難度變體幫你壓力測試

2026 年 9 月 10 日 Share to X Copy link

RoboSPA 是浙江大學團隊針對 Vision-Language-Action 模型推出的診斷式基準，透過逐步拉高空間歧義與程序步數，揭開現有機器人策略在精準定位與長程規劃上的短板。

當 VLA（Vision-Language-Action）模型在乾淨、短任務的環境中跑出不錯的成功率，要怎樣才知道它是真正「理解」指令，還是只是剛好蒙對？RoboSPA 給出的答案是：把場景弄得更亂、把步驟拉得更長，然後看模型從第幾關開始崩潰。這是一個基準與數據集項目，建基於 RoboTwin 2.0 模擬框架（SAPIEN + CuRobo），由浙江大學主導，已獲 EMNLP 2026 收錄。

它把 56 個基礎任務各衍生出五個難度級別（L1–L5），共 280 個變體，覆蓋五種機械臂實體（Franka、Piper、UR5、Aloha-AgileX、ARX-X5），總計 527K 條軌跡、約 108M 步數、997 小時互動影片。Spatial 維度持續加入外觀相近的候選物，Procedural 維度則逐步疊加子目標、執行順序、重複次數與記憶需求。

與只看最終二元成敗的傳統做法相比，RoboSPA 額外提供兩個診斷指標：空間任務用 ONTA（Object-Normalized Target Accuracy） 衡量模型能否在「看起來都像」的物件中選對目標，並以 chance-corrected 方式扣掉隨機命中；程序任務則用 Progress Score（PS） 計算實際完成的子目標比例，反映模型在中途卡住或跳步的真實狀況。

適合機器人實驗室、VLA 模型開發者，以及需要評估策略可擴展性的團隊。支援自帶策略接入，數據與代碼均已公開。研究端在多個代表性 VLA 模型上的結果顯示，空間關係、低階精細動作與長程記憶仍然是明顯瓶頸。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, Video, VLA, 框架, 中國, Dataset 數據集

---

Marigold V2：把擴散 Transformer 改成一步深度估計模型

2026 年 9 月 10 日 Share to X Copy link

只要一張普通 RGB 相片，就即時輸出高質素深度圖，連毛髮和髮絲等幼節都保留到。Marigold V2 把預訓練擴散 Transformer 改造為單步密集預測模型的開源項目，一張消費級 GPU 一星期內就能完成微調。

過去做單目深度估計，要麼靠傳統監督學習，要麼用擴散模型疊好多步去噪，兩者都唔易兼顧細節同效率。華為 Bayer Lab 開源 Marigold V2 走第三條路：直接把預訓練嘅擴散 Transformer（DiT）當成單步密集預測器，重新微調之後輸出深度、透視深度、法線、反照率等多種密集模態，毋須反覆去噪。對從業人員嚟講，呢個改動意味住一張普通 RGB 相可以即時變成帶細節嘅深度圖，毋須等幾秒去疊步驟，毛髮邊緣同髮絲呢類幼節都保留得到，貼近 SOTA 水準。

模型家族同訓練成本：每個 checkpoint 包含一組 rank-128 LoRA 適配器，配合 4-bit 量化嘅 DiT 主體，個別任務仲會附帶微調過嘅 VAE 解碼器。底層凍結嘅基礎模型會另外下載。整個微調流程用單張消費級 GPU 少於一星期就完成到，對個人開發者同細型實驗室都係可觸及嘅範圍。

程式碼結構清晰，方便二次開發：倉庫用 manifest graph 加 transform list 嘅方式定義數據集，網絡組件同損失函數都係讀寫 batch dict 嘅有序步驟，數據集定義、網絡圖、損失圖、優化排程四個層次分得幾開。對想擴展到新任務嘅人嚟講，只要跟住呢個結構加步驟就得，唔使由零砌起。

對比傳統多步擴散深度估計，Marigold V2 犧牲咗迭代式去噪嘅靈活性，但換嚟一步推理嘅速度同細節還原度；對比純監督方法，佢借用咗擴散模型對紋理同邊界嘅先天理解力，再加 LoRA 保持輕量。同一批權重仲可以用喺 metric depth completion 等下游任務，一個模型覆蓋多個密集預測場景。

**適合做 AR/VR、3D 重建、影像合成嘅中小團隊，或者想低成本試驗新密集預測任務嘅研究者，都會覺得呢個 setup 幾啱手。HuggingFace 上有對應嘅 demo 空間可以直接試，權重同訓練推理碼都已開源。

項目主頁 · GitHub · 模型

Categories: 開源, 華為, 模型, 模型訓練, Qwen, Image, 3D, 庫, Dataset 數據集

---

OpenWAM-α 把世界模型與動作模型拆開重組

2026 年 9 月 10 日 Share to X Copy link

來自XPolicyLab等團隊的開源研究棧OpenWAM，把世界–動作模型（World-Action Models）拆解成可替換模組，並以約6,400小時第一人稱與機器人資料訓練出OpenWAM-α，在八個模擬基準與真機實驗均取得頂尖表現。

如果你是做機器人策略或世界模型研究，大概都有過這種經驗：想換一個視覺編碼器、想試不同動作頭的耦合方式，結果整個訓練流程都要重寫，因為生成骨幹、視覺表示、架構、推論步驟和訓練資料全綁在一起。OpenWAM正是針對這種「綁死」的痛點而來。它是一個開源研究棧，把世界–動作模型（World-Action Models，簡稱WAMs）的設計空間拆成可組合模組，並用統一介面串接訓練、推論、部署與評估。

這個項目分成三層。OpenWAM-Infra提供模組化基礎設施，讓研究者可以像堆積木一樣替換模型、表示、訓練與評估設定；OpenWAM-Study則透過控制變量實驗，回答三個核心問題：應該從什麼預訓練骨幹繼承知識、世界學習與動作學習如何耦合、以及兩者如何隨規模擴展。基於這些結論，作者訓練出OpenWAM-α，一個以約6,400小時（5.185億幀）第一人稱人類與機器人資料預訓練的開放模型，並在涵蓋單臂、雙臂到靈巧手的八個模擬基準，以及真機實驗中維持頂尖水準。

架構由Hydra配置檔驅動，預設採用wan22 ti2v 5B作為影片骨幹，並搭配獨立的動作頭（如ActionDiT或共享動作骨幹），視覺編碼器則可在VAE、DINOv3、V-JEPA 2.1之間切換。基準測試覆蓋RoboTwin、LIBERO、LIBERO-plus、RoboCasa365、RoboCasa GR1、VLABench等主流環境，研究者可以直接用提供的評估客戶端跑對比。

• 定位：開源研究棧，專門解決世界–動作模型設計選擇難以分離比較的問題
• 核心貢獻：把生成骨幹、動作頭、視覺表示等模組化，並用控制實驗歸納出三條設計原則
• 預訓練模型：OpenWAM-α基於約6,400小時第一人稱與機器人資料訓練，在八個模擬基準及真機均表現頂尖
• 適用對象：機器人策略學習、世界模型研究團隊，以及需要可重現基準對比環境的從業者
• 配套資源：模型已上傳Hugging Face，並提供完整的訓練、推論、部署腳本

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港大學, 模型, 世界模型, 模型訓練, Video, World-Action Model, 庫, Dataset 數據集

---

anything2explainer：把任何主題變成科普影片

2026 年 9 月 10 日 Share to X Copy link

它不是 CLI，而是一套交給 AI 編碼 agent 用的方法包：從研究、旁白、字幕到分鏡，都用 Remotion 寫成 React 元件，產出可逐幀追溯的解說影片。

當你丟一個主題或一篇文件給它，系統會先做資料蒐集並標註來源，再寫旁白、生成 TTS 語音，並把時間軸對齊到逐個鏡頭。接著多個建構 agent 平行運作，每個負責一個 Remotion（React + TypeScript）元件，QC agent 再依書面標準審查每一幀。輸出是 1280×720 H.264 MP4，配上字幕、章節卡與進度條，全程沒有現成影片或生成式影像模型的痕跡。

這套流程對創作者的最大意義在於可追溯。每個鏡頭都有自己的原始碼、QC 報告與研究文件，螢幕上出現的年份、數字、英文術語都要對得到來源 URL；live-action B-roll 也強制記錄在 MANIFEST 裡，附上 sha256、來源與授權。這種「紙本文書鏈」對需要審核的場景——例如企業內訓教材或品牌內容——比多數 AI 影片工具更有交代。

在同類做法裡，它明顯偏向工程化交付而非即興 demo。Remotion 元件庫、燈光與樣式規格、多 agent 協作協議都以可複用資產形式提供，並用一段完整的參考影片作為品質基準。對會寫程式、需要大量長版講解影片但又受版權與準確性束縛的團隊——例如 SaaS 團隊做產品教學、研究單位做技術普及——會比較感受到它的價值。

限制同樣明顯：不是 CLI，必須搭配 Claude Code 或 Codex 這類 agent 環境；TTS 要自備並處理對齊；中英文以外語言未提及支援；整個流程壁鐘 1 到 3 小時，瓶頸在並行建構鏡頭的數量與長度。授權採 PolyForm Noncommercial，商用前要先看清楚。

重點摘要

• 全程程式碼繪製：用 Remotion 寫 React 元件產出每一幀，沒有生成式影片模型或現成素材。
• 可審核的紙本文書鏈：研究文件、旁白、分鏡、鏡頭原始碼、QC 報告全部保留。
• 多 agent 平行建構：研究、旁白、語音、分鏡後，由多個 agent 同時寫鏡頭元件，QC agent 再逐幀複查。
• 多語言旁白：支援中文與英文，TTS 需自備並做強制對齊。
• 非商業授權：採用 PolyForm Noncommercial，商用情境需自行評估。

GitHub

Categories: 開源, 文字轉語音, Agentic, AI productions, OpenAI, Video, Image, 工具, Content Creator, 庫, 語音, Anthropic, 動畫, Skill 技能

---

ComfyUI 眼睛方向 LoRA：用紅點指定角色視線

2026 年 9 月 10 日 Share to X Copy link

呢個 LoRA 透過畫面上嘅紅點控制眼睛睇邊度，無論寫實、動漫定 CG 角色都適用。

喺生成角色圖像嘅時候，好多人會發現想控制眼睛視線方向係一件好頭痛嘅事：用 prompt 寫「望鏡頭」或「望向左邊」往往效果不穩定。Eric Venti Seeds 推出嘅 Eyes Direction LoRA，以 black-forest-labs/FLUX.2-klein-9B 作為基礎模型，提供咗一個更直接嘅操作方式——只要喺畫面擺放一個紅點，眼睛就會自動望過去。

呢個 LoRA 嘅運作邏輯係參考圖像入面紅點嘅位置嚟決定瞳孔方向。紅點放喺正中間，雙眼就會望鏡頭，無視身體姿勢；紅點貼近畫面邊緣，視線就會偏向畫框外面。訓練時已包含人眼活動嘅物理極限，所以當紅點放喺「唔可能」嘅位置時，模型會將瞳孔隨機處理。LoRA 採用 MIT 授權，總檔案大小約 258 MB。

為了方便擺放紅點，作者額外開發咗 ComfyUI 專用嘅 Eyes Direction Control node，可以直接拖動紅點預覽效果。如果唔用 node，手動用 Photoshop 整張紅點圖都得。LoRA 同時保留咗原本瞳孔形狀同虹膜顏色，所以風格唔會走樣。

重點摘要

• 基礎模型：black-forest-labs/FLUX.2-klein-9B
• 控制方式：以畫面紅點位置決定眼睛視線方向
• 相容風格：寫實、動漫、CG、漫畫、油畫都適用
• 配套工具：ComfyUI Eyes Direction Control node，可手動拖動紅點
• 已知限制：動物眼睛效果差，極端頭部角度或異色瞳情況處理唔穩定

項目主頁 · 模型

Categories: 開源, ComfyUI, 模型, Stable Diffusion, Image

---

CosmoH2G 將人手示範轉成機械夾具軌跡

2026 年 9 月 10 日 Share to X Copy link

CosmoH2G 針對旋轉、翻轉等複雜空間動作，把人手示範轉換成機械夾具可執行的軌跡；其資料集包含 6,189 組配對示範。

人手示範雖然直觀，但當動作包含旋轉、翻轉或複雜空間路徑時，機械夾具往往難以直接模仿。CosmoH2G 是一套面向機械人操作的資料集與基準方法，專門處理 hand-to-gripper transfer：研究團隊同步記錄人手和手持機械夾具的動作，建立可配對的 RGB-D、3D 物件點雲、手部網格及夾具動作資料。

資料集共有 6,189 個配對示範、涵蓋 1,254 件物件，規模足以支援複雜空間操作的研究。與只適合平面移動的做法相比，CosmoH2G 把重點放在細緻的手部姿勢和空間運動，並以手持夾具示範減少人與機械裝置之間的動作轉換落差。

方法分兩階段處理完整軌跡。Stage I 先預測起點和終點等稀疏關鍵幀，把複雜動作濃縮成較容易學習的目標；Stage II 再以關鍵幀為條件生成連續的夾具姿態序列。系統亦保留夾具姿態的學習結果，再利用抓取啟發式與運動學一致性修正位置，減少旋轉和翻轉過程中的累積偏差。

在模擬及真實機械人實驗中，能穩定轉移旋轉等複雜動作，並明顯勝過傳統基準。適合研究機械人模仿學習、操作資料集、3D 手部追蹤，以及需要處理非平面夾具運動的團隊。程式碼和資料集在項目網站標示為即將推出，現階段較適合先評估方法和收集流程，部署細節仍要等官方發佈。

• 6,189 組人手與夾具配對示範，涵蓋 1,254 件物件。
• 專注旋轉、翻轉和其他細緻空間軌跡，而非平面搬運。
• 兩階段先學關鍵幀，再生成完整連續動作。
• 以抓取啟發式和運動學一致性降低累積漂移。
• 適合機械人模仿學習、資料集研究及操作策略開發。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 視覺模型, 模型訓練, Robotic, 3D, Dataset 數據集

---

Mask Forcing：雙重遮罩幫影片擴散模型

2026 年 9 月 10 日 Share to X Copy link

Mask Forcing 針對自回歸影片擴散蒸餾中嘅模式塌縮問題，利用雙重雜訊遮罩嘅 rollout 策略，令學生模型分佈覆蓋更多教師模式，同時唔使額外影片資料或後訓練。

用 DMD（Distribution Matching Distillation）把雙向影片擴散模型蒸餾成自回歸（AR）學生模型時，影片往往出現過度飽和同過度平滑嘅情況，背後成因係 reverse-KL 目標嘅 mode-seeking 傾向，令學生分佈容易塌縮到教師模型嘅少數模式之上。Mask Forcing 嘅切入點正正係呢個矛盾：佢喺 AR 蒸餾嘅 self-rollout 過程中，沿空間同時間軸隨機遮罩、注入較乾淨嘅 token，藉此擾動 rollout 軌跡，令學生有機會探索教師分佈嘅更多區域。

呢個做法同時帶來兩個好處：擾動令 DMD 嘅學習訊號唔再局限於學生已經覆蓋嘅模式；而較乾淨嘅 token 亦可以作為引導，協助同一 chunk 入面較嘈雜嘅 token 去噪，等中間過渡更穩定，從而減少錯誤喺後續 denoising step 同 chunk 之間累積。整個方法唔需要真實影片監督、唔需要額外後訓練階段，亦唔會增加推論成本，純粹改動訓練期嘅 rollout。

Mask Forcing 屬於一種蒸餾增強策略，主要服務於想把 AR 影片生成做快、但又想避開 DMD 視覺質素下降嘅團隊，例如做實時或近實時影片生成嘅研究同產品線。佢同一般做法嘅取捨清晰：放棄模式集中所帶來嘅短期穩定，換取分佈多樣性同中間步預測嘅可靠性。

• 針對 AR 影片擴散蒸餾中 DMD 嘅 mode-seeking 問題，用雙重雜訊遮罩擾動 rollout
• 不需真實影片監督或額外後訓練階段，唔改動推論流程
• 令學生分佈覆蓋更多教師模式，並以較乾淨 token 引導較嘈雜 token 去噪
• 適用於追求實時影片生成、又想提升視覺質素嘅研究同產品場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港科技大學, AI productions, 模型, 模型訓練, Video, 影像模型

---

MovieGrid 把長片拆成方格生成，解決多鏡頭一致性

2026 年 9 月 10 日 Share to X Copy link

來自 UC Santa Cruz 等院校的 MovieGrid 框架，把長片拆成空間方格同步生成，目標是同時兼顧鏡頭內連續動作與跨鏡頭視覺一致性。

MovieGrid 針對的痛點很直接：現有影片生成模型傾向犧牲多鏡頭敘事完整性來換取單鏡頭內的動作連貫，而傳統把整段故事沿時間軸壓縮的做法，更會加深這個偏差。

核心做法是把一段長影片切成分佈於空間方格上的短片段，每格只負責少量鏡頭與較短的時間跨度，從而降低單格需要建模的轉場數量；同時所有格子會被聯合生成，並透過 Grid Embedding、角色感知的 Story Prompt 以及 Grid Boundary Loss 來維持格與格之間的銜接。訓練時採用的 Noise-Free Random-Grid Training，會隨機保留部分格子作為乾淨視覺上下文，引導其餘格子的去噪過程。

項目以 Wan2.2-TI2V-5B 作為基座模型，並配搭自家構建的 MGLV 資料集——從 1,000 段長片萃取出 54K 條方格影片，每條都附有角色級故事標註。在等量 token 預算下，MovieGrid 在 1,616 幀長片裡可生成比 Temporal Packing 基線多 6.05 倍的鏡頭，並在自建基準上取得 0.9131 的鏡頭內一致性與 0.5914 的跨鏡頭一致性，分別優於 HoloCine 與 StoryMem。

目前已開源 16 格與 64 格的訓練與推理配置，以及對應的 MovieGrid-16、MovieGrid-64 LoRA 權重；環境需以 Python 3.10 搭配官方 Wan2.2 倉庫安裝。對需要批量產出多鏡頭短片、廣告分鏡或敘事預覽的團隊，這套框架提供了比單時間軸方案更可擴展的路徑，但生成品質仍受基座模型與資料規模所限，未來計劃加入 first frame 與 storyboard 條件控制。

重點摘要：
– 核心方法：將長片切成空間方格短片段並聯合生成，減輕每格時間跨度負擔。
– 關鍵機制：Grid Embedding、角色感知 Story Prompt、Grid Boundary Loss 與 Noise-Free Random-Grid Training。
– 基座與資料：基於 Wan2.2-TI2V-5B，配搭自建 MGLV 資料集共 54K 條方格影片。
– 開源狀態：已釋出 16 格與 64 格的推理配置、訓練代碼，以及對應 LoRA 權重。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, Embedding, 模型, 模型訓練, Video, 框架, Python, 庫, Dataset 數據集

---

FireRedTTS3：廣東話與各地方言內容創作，覆蓋 24 種語言與 21 種方言

2026 年 9 月 9 日 Share to X Copy link

FireRedTTS3 是把零樣本克隆、語音編輯、聲線設計整合進同一個模型的開源 TTS 項目，支援 24 種語言及 21 種中文方言，亦可純靠文字描述生成全新聲音。

做多語言配音或本地化短片時，最麻煩往往不是翻譯，而是要為每種語言找一個聽起來自然的聲線，又要顧及四川話、閩南話、上海話等方言差異。FireRedTTS3 想處理的就是這個矛盾：它是一個統一式的語音生成框架，把零樣本聲線克隆、語音編輯、以自然語言設計全新聲線三件事放在同一個模型裡，靠的是語義增強的連續語音表徵。

項目分兩個版本。FireRedTTS3-Base 主打多語言克隆，覆蓋 24 種語言（包括粵語在內）以及 21 種中文方言；FireRedTTS3-Instruct 則做到純文字驅動的聲線設計，不需參考音頻，只要描述性別、年齡、音色、語速等特徵，就能合成全新聲音，並且支援語義層與聲學層的自由形式編輯，例如改寫某段對話、調整語速或音量。

相對同類做法，它的差異在於把克隆、編輯、聲線設計整合成單一流程，而非各自獨立訓練模型。在 MiniMax-MLS-Test 上平均 WER/CER 約 3.754%、說話人相似度約 84.8%；在 Seed-TTS-eval 上克隆 WER/CER 約 3.04%、相似度約 78.8%，從公開數字看在多語言與中文方言任務都做到當前較高的水準。

本地配音、廣東話與各地方言內容創作、Podcast 或短影片自動化產出，以及需要快速原型不同聲線的產品團隊，都比較容易受惠。程式碼以 PyTorch 開源，模型已上架 Hugging Face 與 ModelScope，可透過 Python API 呼叫，亦提供 Instruct API 處理聲線設計與編輯。

重點摘要：

• 多語言零樣本克隆：覆蓋 24 種語言及 21 種中文方言，包括粵語、四川話、上海話、福建話等。
• 統一語音生成框架：把克隆、聲線設計、語音編輯整合在同一模型內，避免切換多套工具。
• 純文字聲線設計：以自然語言描述性別、年齡、情緒等特徵即可合成全新聲音，無需參考音頻。
• 自由形式語音編輯：支援語義層改寫（插入、刪除、替換）及聲學層調整（語速、音量、音調）。
• 開源易取用：PyTorch 實作、Apache 2.0 授權，模型於 Hugging Face 與 ModelScope 提供下載。

GitHub · 模型

Categories: 開源, 文字轉語音, AI productions, 模型, API, Video, Audio, 語音, 廣東話

---