WorldCast 讓角色跟隨大角度鏡頭仍保持一致

2026 年 10 月 27 日 Share to X Facebook Copy link

只需一張參考圖、鏡頭軌跡及最多四張不同角度的錨點圖，WorldCast 便可生成保持角色身份的影片。

只提供一張參考圖、目標鏡頭軌跡，以及 1 至 4 張不同視角的角色錨點圖，WorldCast 便能生成跟隨多角度運鏡的角色影片，同時減少轉換視角時身份走樣。這個開源模型項目針對的是影片生成中「鏡頭要郁得大」與「角色外觀要保持」難以兼顧的問題。

它以 Wan2.1-I2V-14B-720P 作為基礎模型，再加入 scale-aligned geometric guidance 和 Geometry-Aligned Memory Attention（GAMA）。前者把初始畫面轉成具校準深度的彩色 3D 點雲，沿目標軌跡渲染出 RGB 引導與 coverage mask；後者透過 Umeyama alignment 對齊多視角角色記憶，將相關特徵注入影片 token，補足新視角內容。

• 支援 360° 鏡頭移動
• 使用多視角 anchor images 維持角色身份
• CLACT 包含 80,000 個訓練樣本及 42 個評測場景
• 以 ATE、MEt3R 和影像品質比較結果

GitHub 已提供 inference code 和示範案例，但 WorldCast checkpoint、CLACT dataset 及 training code 尚未公開，因此下載 Wan2.1 基礎權重後仍未能完整執行示範。推理建議使用 Python 3.10 或以上、bf16，以及至少 48 GB 顯存；解析度和影片幀數提高後，記憶體需求亦會增加。

結果以較低的 ATE 和 MEt3R 對應更準確的鏡頭控制及跨視角一致性，影像質素則維持具競爭力。電影預視、角色廣告、遊戲過場及需要指定運鏡的生成影片工作流較適合採用。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Image, Content Creator, 3D, Python, Dataset 數據集

---

CLI-Anything 讓 AI 代理直接操控軟件

2026 年 10 月 25 日 Share to X Facebook Copy link

CLI-Anything 把圖像、CAD、3D 等軟件包裝成可供 AI 代理操作的 CLI，打通代理與既有工具之間的斷層。

當 AI 代理需要製作 CAD、3D 場景、圖表、遊戲或字幕，CLI-Anything 會把原本面向人類操作的軟件轉成可調用的 CLI。它屬於開源的 Agentic 工具與 CLI 生成框架，處理的是代理缺乏一致介面、難以持續操作軟件及產出可驗證成果的問題。

項目以 /cli-anything 作為主要入口，並配合預覽、即時預覽及 trajectory loops，讓代理不只發出指令，還能逐步產生和檢查真實 artifact。README 亦列出 Cursor plugin、Hub 及 skills，反映它同時照顧 CLI 生成端和代理使用端；舊版本則可能要改用 /cli-anything:cli-anything。

和只依賴 GUI 操作或個別 API 整合的做法相比，CLI-Anything 嘗試為不同軟件建立較統一的代理介面，方便重用流程，但效果仍取決於每個軟件的 CLI harness 是否完整，以及代理能否正確理解工具狀態。項目提供 CLI-Hub，使用者可瀏覽、安裝及管理社群建立的 CLI；原始資料未交代各 harness 的詳細安裝步驟、資源要求或一致的性能基準。

CLI-Anything: Turn ANY App into a CLI for Claude Code & Codex (GIMP, Blender, LibreOffice & More!)

• 支援把多類軟件轉成 AI 代理可調用的 CLI
• 以預覽與 trajectory loops 協助產生可檢查的成果
• 提供 CLI-Hub 管理社群 CLI
• 適合需要串連設計、製作及自動化流程的團隊
• 仍需逐一確認各軟件 harness 的成熟度

對熟悉 Cursor 或其他代理工作流的開發者，這套方法適合用來延伸圖像處理、CAD、3D 製作及內容生產流程；對只想即時使用單一軟件的使用者，則要先確認所需 CLI 是否已建立及可用。

GitHub

Categories: 開源, 香港大學, Agentic, API, Image, World-Action Model, 框架, 軟件, 工具, IDE, 3D, 編程, Skill 技能

---

Kimi K3.1 Pro：開放權重 1M 上下文支援長鏈路代理

2026 年 10 月 25 日 Share to X Facebook Copy link

完整 model weights 預定於 11 月 4 日釋出。1M-token 上下文支援編程與長鏈路代理，Kimi K3.1 Pro 亦延伸至 3D 創作及金融研究。

面對超長文件、終端機任務和多步驟研究，Kimi K3.1 Pro 以 1M-token context window 支援長鏈路代理工作，並把 coding、3D creation 與 financial research 放進 3T-class open-weight model。它是 Kimi K3 的 post-trained 版本。

訓練加入更大 post-training compute，在數百個下游領域進行 joint reinforcement learning（joint RL）；RL framework、long-context inference、sandbox infrastructure 及 rollout scheduling 亦一併優化，目標是令能力提升更穩定。

• 長上下文：1M-token context window，適合長文件及多步驟工作。
• 代理場景：涵蓋 coding、3D creation 及 financial research。
• 速度選項：Kimi K3.1 Pro Highspeed 標稱快 2 至 3 倍。
• 權重安排：完整 model weights 預定於 11 月 4 日釋出。

Terminal-Bench 4.0 以資源受限終端機任務和嚴格測試評估 coding agents；K3.1 Pro 得分 65.7%，高於 GPT-6 Astra 的 58.2%，接近 Claude Opus 5.5 的 66.4%，可作為編程代理場景的參考。

模型可於 Kimi Work、Kimi Code 及 Kimi API 使用。

項目主頁

Categories: Agentic, 模型, 模型訓練, API, Image, 框架, Vibe Coding, 3D, Python, 編程, Anthropic, Kimi, 任何模型, 強化學習

---

FilmFlow: 虛擬電影攝影機代理

2026 年 10 月 24 日 Share to X Facebook Copy link

FilmFlow 讓創作者用文字指示或參考影片，為 3D 場景生成鏡頭移動。它會結合場景理解與渲染後的視覺回饋，逐步修整鏡頭位置、方向和構圖。

想為 3D 場景安排推鏡、環繞或特定構圖，FilmFlow 可將文字指示轉成可執行的鏡頭軌跡，也能把參考影片中的運鏡轉移到另一個場景。這套電影攝影代理系統面向動態 3D 環境，處理的是如何把拍攝意圖落實成有時間安排、能在場景中執行的鏡頭動作。

FilmFlow 由四個代理協作：Interpreter 理解場景並整理鏡頭意圖，Scout 尋找合適的起始視點，Director 安排鏡頭操作及其時間和參數，Critic 則檢視渲染結果並提供修正方向。Director 可同時組合多項基本操作，控制鏡頭平移、旋轉和取景；整個流程會根據畫面回饋反覆調整，而非只輸出一段抽象描述。

兩種輸入方式適合不同工作流程：文字導向生成讓創作者直接描述鏡頭動作與構圖要求；參考影片導向生成則適合借用既有片段的運鏡，並套用到另一個 3D 場景。這可用於虛擬場景分鏡、動畫預演及 3D 鏡頭設計，但生成效果仍取決於指示能否表達清楚，以及場景是否提供所需的視覺條件。

研究團隊同時推出 CinemaBench，涵蓋 150 個 Blender 場景、750 項文字導向任務和 60 段參考影片，用來評估文字導向與影片導向的鏡頭生成。提供的資料沒有列出基準測試成績，也未交代安裝或使用流程，因此目前可確認的是系統設計與評估集規模，不能據此判斷其性能表現。

• 支援文字指示與參考影片兩種鏡頭生成方式。
• 以四個代理分工處理場景理解、起始視點、鏡頭規劃和畫面檢視。
• 可組合平移、旋轉與取景操作，並以渲染結果反覆修整。
• 適合 3D 場景的鏡頭設計、分鏡及動畫預演。
• CinemaBench 收錄 150 個 Blender 場景、750 項文字任務及 60 段參考影片。

項目主頁

Categories: 開源, Agentic, AI productions, Video, 框架, Content Creator, 3D, 動畫

---

AnyGameRenderer 把粗糙遊戲錄影變成可玩風格畫面

2026 年 10 月 24 日 Share to X Facebook Copy link

由灰色方塊與代理色組成的遊戲錄影，配合文字提示即可重繪成不同風格，同時保留角色、物件數量與動作時間。

遊戲原型仍是灰色方塊、彩色幾何體，AnyGameRenderer 就能把一段 24 fps、2 至 15 秒的普通影片，重繪成 AAA 寫實、LEGO、Ghibli、蠟筆或 synthwave 等風格。它屬於生成式影片模型，處理的是「畫面變漂亮後，角色位置、數量和出現時間仍要對得上」的問題。

輸入不需要逐物件標籤、引擎掛鈎或固定遊戲引擎格式，wireframe、semantic map、粗略 3D mockup、彩色 primitive 和 engine whitebox 都可作為來源。單一 checkpoint 已涵蓋 tower defense、kart racing、shooters、survivors-like 和回合制戰鬥等類型，適合 AI 遊戲生成工具、原型展示和美術風格探索。

• 保留 entity correspondence，細小及遠距離物件較不容易消失
• 文字提示可改變整體美術風格，同一段輸入可產生多種世界觀
• 以 entity-level benchmark 評估，而非只看逐幀畫面相似度
• LoRA 訓練尺寸為 1344×768、124 frames；更長影片可執行，但未按該長度訓練

59 個測試案例、753 個 ground-truth entities 中，temporal match 由 zero-shot base 的 50.9% 升至 62.9%，position match 由 57.1% 升至 61.9%；未渲染率由 4.1% 降至 2.9%，hallucination rate 由 52.1% 降至 46.0%。提升仍未代表每個物件都能穩定對齊，長片段和高密度場景仍需檢查輸出。

需要 Python 3.10、PyTorch 2.9.1+cu128 等環境資訊，以及 setup_env.sh 和權重下載流程；完整執行仍需要相應 GPU 環境。項目同時公開模型與資料集連結，較適合希望把可玩原型快速轉成視覺樣片的開發者和研究團隊。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Video, 工具, 3D, Python, 編程, Dataset 數據集, LoRA

---

SpatialScout 揭示 3D 定位落差，讓視覺語言模型探索室內空間

2026 年 10 月 23 日 Share to X Facebook Copy link

視覺語言模型要邊探索室內場景、邊把物件放進共通的 3D 座標，仍難兼顧完整度與精準度。SpatialScout 以 80 個場景測試這種主動建圖能力。

要讓視覺語言模型看過不同角度後，找出物件在房間中的位置，單靠辨認影像並不足夠：模型還要選擇鏡頭視點、累積視覺證據，再把多個畫面中的物件對應起來。SpatialScout 是測試視覺語言模型（Vision-Language Model，VLM）代理主動探索與物件級 3D 建圖能力的基準項目，涵蓋 80 個室內場景及 3,140 個目標物件。

每項任務提供物件清單、RGB 觀察畫面，以及相機校準資料和位置資訊；代理要控制相機，在有限互動回合內探索場景，並估算物件在共通 3D 座標系中的中心位置。這讓測試不只檢查模型能否辨認物件，也衡量它會否選擇有用視點、跨畫面追蹤物件，以及逐步修正位置。

結果反映出由大概布局走向精確地圖仍有明顯距離：表現最佳的受測模型平均 IoU 為 41.71%，只有 3.25%的目標物件達到 IoU 0.9 以上。項目亦提供涵蓋所有物件及已提交物件的八項 IoU 指標，並以成功完成 finish_mapping 的軌跡計算任務平均分；這有助分辨模型是定位不準，還是漏掉了物件。

• 基準涵蓋 80 個室內場景及 3,140 個目標物件。
• 每項任務最多 100 回合，模型需主動選擇觀察視點。
• 評分同時考慮定位準確度與物件完整度。
• 最佳受測模型平均 IoU 為 41.71%，高精度定位仍有限。

研究團隊可用自己的模型 API 執行全部任務，預設採用 Responses API 模式，亦可切換至 Chat Completions、Anthropic 或 Gemini 端點。項目要求 Linux x86_64 和 Python 3.10，安裝程序會設定 CPU 渲染並透過 apt/sudo 安裝系統套件；場景資源則需另行下載及掛載。它適合研究主動感知、機械人空間理解或多模態代理的團隊作比較測試，但目前提供的是評估基準，不是可直接取代建圖系統的模型。

項目主頁 · GitHub · 數據集

Categories: 開源, 模型, 視覺模型, 多模態模型, Gemini, API, Image, 3D, Linux, Python, Anthropic, Dataset 數據集

---

JCA 讓文字生成可重播的 3D 動作與影片

2026 年 10 月 22 日 Share to X Facebook Copy link

文字提示不只生成畫面，JCA 亦同步產生可重播的 3D 動作，並支援場景及關鍵影格控制。

文字生成影片時，動作通常只留在畫面裏，難以直接套用到指定的 3D 角色，或放回原有場景。NVIDIA Research 的 Joints, Camera, Action!（JCA）同步生成影片、3D 骨架動作與鏡頭資訊，讓動作可以重播，並對應到 3D 場景。

JCA 支援不同骨架結構，不限於人形角色。輸入圖片可令動作回應周邊環境，加入少量關鍵影格則可控制動作軌跡；模型亦支援由影片還原骨架動作，或由骨架動作生成影片，適合 3D 資產動畫、場景化影片製作和動作擷取。

• 文字提示可生成同步的影片與 3D 動作。
• 輸入圖片和關鍵影格可提供場景及動作控制。
• 支援不同骨架結構，並可進行影片與動作之間的轉換。

模型以圖編碼器描述骨架，並讓獨立的動作模型與預訓練影片生成器透過少量 cross-attention layers 交換資訊。動作模型可先利用較易取得和擴增的純動作資料學習；它亦會定位影片中的關節，以推算鏡頭位置，協助把 3D 動作放回場景。

訓練資料接近 20 萬組配對，涵蓋人類與機械人影片，以及經整理、確保動作有效的 3D 資產場景影片。研究團隊表示，評估中 JCA 比以影片生成為先的流程更貼合文字描述，動作也能回應場景；原文沒有列出量化指標，效果幅度仍難以比較。

項目主頁

Categories: AI productions, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Image, World-Action Model, 教學, 3D, 動畫

---

PhysSkin++ 令 3D 模型郁得唔再硬掘掘！

2026 年 10 月 21 日 Share to X Facebook Copy link

PhysSkin 把靜態 3D 形狀轉成可泛化的物理動畫控制，減少每個模型重新訓練的成本。

不同模型形狀、網格密度甚至空間表示法各異，物理動畫往往要重新建立變形控制。PhysSkin 屬於 3D 動畫模型，透過自監督 Neural Skinning 學習連續 Skinning Fields，讓不同形狀可以共用即時物理動畫能力。

模型先用 transformer-based shape encoder 讀取形狀，再由 cross-attention field decoder 產生與形狀相關的變形子空間；physics-informed self-supervised objectives 則以物理約束和正交性要求取代完整模擬軌跡標註。這個組合針對的是泛化能力與運算速度之間的取捨，而不是單純追求更細緻的離線模擬。

README 提供 Python 3.11、PyTorch 2.7.1 等環境版本，以及資料目錄、physskin_vis.ipynb 視覺化筆記本和訓練流程。資料包含 (1, 256, 768) 的 float32 latents 與三維內部點，項目亦列出預訓練 checkpoint 路徑；原始資料沒有交代公開下載方式，不能因此假設模型可隨意取得。

• 可跨不同形狀與 discretization 使用連續 Skinning Fields
• 以自監督物理目標減少動畫標註依賴
• 支援即時 physics-based animation 的研究與互動控制場景
• README 沒有提供具體 FPS、誤差或同類方法差距

對動畫研究、3D 內容工具及需要碰撞互動的圖形團隊，PhysSkin 更適合用作研究原型或既有 rig 的物理補強。配套的 PhysSkin++ 描述進一步延伸至 meshes、point clouds、NeRFs 和 3D Gaussians，但這些能力不應直接當成本 GitHub 項目中同一 checkpoint 已完整提供的功能。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, 工具, 3D, Python, 動畫

---

Scene-Designer：智能 3D 場景生成與設計

2026 年 10 月 20 日 Share to X Facebook Copy link

Scene-Designer 把場景生成、質素評估與反覆修正放進同一套 Agent 訓練流程，減少無效改動。

3D 場景生成最難的地方，往往不是砌出物件，而是知道場景是否合理，以及修正錯誤時避免愈改愈亂。Scene-Designer 是一個面向 Agentic 3D Scene Generation 的研究框架，目標正是讓模型學習設計場景、評審質素，再按評語作有效修正。

• 以 Scene-OTA-35K 的 Observation–Thought–Action 軌跡學習設計與修改流程。
• 透過 Scene-OTC-15K 的 Observation–Thought–Critic 經驗，比較場景質素。
• 用 Branch-ranking reward 比較同一父場景產生的分支。
• 以 Improvement reward 判斷子場景是否真正優於原場景。

Causal Trajectory Consolidation 會移除沒有下游貢獻的無效操作，同時保留有效決定及必要中間狀態。Scene perturbations 則刻意加入佈局偏差、功能退化和物理違規，再建立偏好比較，令模型不只是 spotting 錯誤，而是學習指出哪個場景較好。

Scene-GRPO 結合分支排名與改進獎勵，讓代理在相同起點的候選場景中選擇較佳設計，並減少沒有帶來實際進步的反覆修改。這種做法比只追求最終生成結果的訓練多了一層質素判斷，亦直接回應通用模型「識錯但不懂有效修正」的問題。

研究團隊比較了模型與 GPT-5.2 在成對場景比較及四場景偏好排序上的表現；首頁亦提供十組 prompt-to-scene 示範。不過，公開資料未交代完整安裝流程，Hugging Face 上已列出 Scene-Builder-Qwen3-VL-8B-Instruct 模型與 Scene-OTC-Bench 資料集，較適合具 3D 生成、Agent 訓練及模型評估經驗的團隊先行研究。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, OpenAI, 影像模型, World-Action Model, 框架, 3D, Dataset 數據集

---

SimVTA 為自動駕駛補上替代路線的視覺訓練

2026 年 10 月 17 日 Share to X Facebook Copy link

SimVTA 用模擬器生成不同駕駛路線的未來畫面，讓模型不只學習紀錄中的單一路徑。

自動駕駛模型需要判斷轉線、直行等替代路線，但行車紀錄通常只保留當時真正採取的路徑，其他選擇缺乏對應影像。SimVTA 屬於 driving world action model 的 post-training framework，處理的正是軌跡規劃與未來視覺監督不匹配的問題。

項目會在以 3D Gaussian Splatting（3DGS）重建的真實場景中，為候選軌跡渲染相配的未來影片，再以 Group Relative Policy Optimization（GRPO）優化軌跡，並加入 flow-matching video loss 更新共享表示。高回報候選之中，系統會優先挑選誤差較大的未來，減少有限渲染資源被低價值樣本消耗。

相較只依賴 logged trajectories 的訓練方式，SimVTA 補上了替代行動的視覺訊號；代價是需要 3D 場景重建與模擬渲染，訓練流程較複雜。推理階段則直接預測軌跡，不需再次呼叫模擬器，較適合納入自動駕駛規劃流程。

• NAVSIM v1：PDMS 由初始化模型的 86.2 提升至 91.3
• NAVSIM v2：取得 88.2 EPDMS
• HUGSIM 閉環測試：平均 HD-Score 為 38.8
• 消融結果支持共享表示更新及高誤差樣本優先策略

研究團隊包括 OpenDriveLab at HKU、Shanghai Innovation Institute、Li Auto、Tongji University 與 Tsinghua University。這個項目較適合研究自動駕駛、world action model 或模擬訓練的團隊；目前儲存庫仍標示 code 和 checkpoints 尚待發布，因此未能當作即裝即用的工具測試，重現結果仍需等待相關資源。

項目主頁 · GitHub

Categories: 開源, 香港大學, 清華大學, AI productions, 模型, 模型訓練, Video, Image, World-Action Model, 框架, 香港, 工具, 3D, 庫, 自動駕駛

---