Google Genie 4：即時探索與互動世界模型

2026 年 10 月 28 日 Share to X Facebook Copy link

Genie 4 可按文字或圖像提示生成可探索的 3D 世界，讓研究人員測試 AI 如何在變化中的環境裡理解場景和採取行動。

輸入一段描述或一張圖像，AI 便能生成可探索的 3D 世界，並隨玩家的操作即時改變場景。Google DeepMind 推出的 Genie 4 是一個世界模型研究項目，目標是建立能模擬環境、回應互動場景，為訓練和研究具身 AI 提供測試空間。

Genie 4: A new generation of world simulation

這類場景並非預先錄製的影片：玩家可以移動和探索，模型則持續生成後續畫面。研究人員可藉此觀察 AI 能否掌握環境的空間關係，並在多種情境中持續採取合適行動；不過，生成結果能否長時間保持一致，仍是世界模型需要面對的挑戰。

Genie 4 延續 Google DeepMind 的 Genie 系列研究。官方介紹聚焦於模型生成互動世界的能力，但未提供足以比較不同模型的完整量化評測，因此不宜單憑展示內容推斷它已能穩定支援所有模擬或訓練工作。

• 可由文字或圖像提示生成可探索的 3D 世界。
• 場景會隨玩家輸入即時變化，而非只播放固定影片。
• 可用於研究 AI 的場景理解與行動能力。
• 長時間維持世界一致性的能力及量化表現，仍需更多資料評估。

對具身 AI、遊戲環境生成和世界模型研究者而言，Genie 4 提供一種建立互動測試場景的方向；一般使用者則可透過生成世界，直觀感受模型如何把提示轉化為可操作的環境。

項目主頁

Categories: AI productions, 模型, 世界模型, 模型訓練, Google, Video, Image, 3D

---

InteractiveWorld：把穿戴式 AI 助理放進可驗證的互動世界

2026 年 10 月 28 日 Share to X Facebook Copy link

穿戴式助理要看見甚麼、怎樣給建議，最後能否幫人完成任務，InteractiveWorld 把整段互動放進可持續變化的 3D 場景中測試。

穿戴式 AI 助理不只要辨認眼前物件，還要理解人的要求、給出可執行的指引，並跟進行動後的變化。InteractiveWorld 是一套以人為中心的 3D 模擬器，用第一人稱視角呈現環境，讓助理與模擬人物多輪互動；同一個儲存庫亦提供 InteractiveBench，用來比較多模態大型語言模型（MLLM）在這類任務中的表現。

場景涵蓋 44 個 BEHAVIOR-1K 家居及活動空間。助理以對話提供建議，模擬人物則根據所見自行決定行動；研究者可用簡短指令描述抓取、開門、倒液體等操作，由模擬器處理移動、避障、操作物件及更新場景。世界狀態會延續到下一輪，因此助理要根據新視角調整回答，而非只生成一次性的文字答案。

InteractiveBench 收錄 120 個固定的多輪任務，分為六類，每類 20 個。評分會檢查場景中的狀態是否達成目標，而不是單憑回答文字判斷；基準亦提供評估流程、報告及影片。首頁資料提到曾以 12 個前沿 MLLM 進行評估，但所提供的內容沒有列出各模型分數，無法據此比較排名或判斷差距。

• 模擬器可用 Python API 開啟場景、執行動作、取得觀察結果及原生分數。
• 場景與人物行動涵蓋物件操作、室內移動及第一人稱畫面更新。
• 基準任務固定，適合研究團隊比較模型在多輪助理情境下的完成能力。
• 安裝指南列明資產準備與環境需求；執行需要處理 Isaac Sim 場景及相關資產，並非只呼叫一個輕量 API。

這個項目適合研究穿戴式助理、多模態模型及具身互動的團隊，尤其是需要可重複測試、以環境狀態核實結果的工作。模擬場景能補足純文字評測看不到的行動後果，但仍不能完全代表真實佩戴裝置時的感測誤差、人的習慣差異或實體操作風險；評測結果應視為模擬環境中的能力證據。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, API, Video, 3D, Python, 庫, Meta, 蘋果

---

World-in-Context 讓世界模型即時切換視角

2026 年 10 月 28 日 Share to X Facebook Copy link

操控生成影片時，切換第一人稱、第三人稱與自由鏡頭，畫面仍要延續同一個世界。World-in-Context 以共享控制機制處理這項挑戰。

想在生成影片中移動鏡頭、改變觀看角度，甚至在第一人稱與第三人稱之間切換，畫面仍須保持連貫。World-in-Context（WiC）是為互動影片世界模型而設的訓練框架，目標是讓視角、動作和鏡頭控制在同一段影片中協同運作，而不是各自處理。

WiC 以 Wan2.2-TI2V-5B 作為基礎模型，透過 In-Context Conditioning（ICC）把視角、動作與鏡頭控制轉成共享注意力空間中的 tokens；Interaction-Transport RoPE（IT-RoPE）則把累積的控制變化納入時間注意力。這讓系統可支援自由鏡頭、第一人稱及第三人稱視角，也能在影片進行中切換，適合研究互動式場景生成、遊戲環境及長時間因果推演。

在 WBench 評測中，WiC 的導航平均分為 81.5，視角切換成功率為 93.8%。這些結果反映它能處理導航與鏡頭切換，但不能單憑分數判斷生成影片在所有場景都同樣穩定；GPU 記憶體需求亦會隨影片尺寸和設定改變。

目前程式碼、訓練程式及 WiC 權重仍在審核，尚未公開，因此現階段無法自行安裝並重現推理結果。計劃中的版本要求 Linux、Python 3.10，以及支援 BF16 的 NVIDIA GPU；預設生成設定為 832×480、81 幀、16 FPS 和 50 個採樣步驟，並預計提供 11 個包含起始圖片、提示詞與控制資料的範例。

• 以 Wan2.2-TI2V-5B 為基礎，加入 WiC adapter。
• 同一影片支援自由鏡頭、第一人稱與第三人稱視角。
• WBench 導航平均分 81.5，視角切換成功率 93.8%。
• 程式碼與權重尚未公開，現時未能重現結果。

對研究影片生成、虛擬環境導航或互動遊戲場景的團隊而言，WiC 提供一條把鏡頭與動作控制合併訓練的路線；但在公開程式碼和權重推出前，這些能力仍主要停留在研究成果與展示範例，還不能直接納入工作流程測試。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, AI productions, 模型, 世界模型, 模型訓練, NVIDIA, Video, Image, 提示詞, 框架, 3D, Linux, Python

---

Iching 64 Motion：《易經》六十四卦結構動畫

2026 年 10 月 28 日 Share to X Facebook Copy link

想看懂六十四卦如何生成、相互轉換，這部約三分鐘的動畫把卦象、數學關係與經典次序串成一條視覺線索。畫面和配樂均由程式生成，亦可自行預覽及渲染。

由陰陽爻逐步生成六十四卦，再看卦象如何倒轉、互換和變化，iching-64-motion 把《易經》的符號關係整理成一部約三分鐘的知識動畫。它是以程式製作的動畫項目，處理的是如何把抽象卦序和結構轉成可觀看的畫面；內容聚焦符號系統，不提供占卜解讀。

全片分成七章，從邵雍「加一倍法」帶出六十四卦的生成，再以方圓圖、錯卦與綜卦、互卦、變卦、文王卦序、十二消息卦和京房八宮呈現不同關係。陰爻記作 0、陽爻記作 1，六爻卦可讀成六位二進制數；改變一爻，則可視為在六維立方體的頂點之間移動。這些呈現方式讓讀者能從圖像理解卦與卦之間的連結，而非只看靜態卦名。

畫面由 React、SVG 和 three.js 生成，Remotion 負責把場景渲染成影片；六十四卦、卦序等資料由程式推導，配樂則以 Python、numpy 和 scipy 合成，並按畫面事件安排聲音。項目沒有使用外部圖片、影片或音訊素材，視覺與音樂都能納入同一條可重現的製作流程。這對製作資料驅動動畫、教學影片或展覽內容的創作者，提供了可參考的做法。

本機預覽需要 Node.js 18 或以上；可在 Remotion Studio 預覽，再渲染 MP4；不生成配樂仍可預覽畫面。

• 資料由定義推導生成，涵蓋 384 爻及本卦、之卦的 4096 種組合。
• 可預覽並渲染影片；生成配樂需要額外安裝 Python 科學運算套件。

GitHub

Categories: 開源, AI productions, Video, Image, Audio, 教學, 工具, Content Creator, Python, 動畫, 音樂

---

WorldCast 讓角色跟隨大角度鏡頭仍保持一致

2026 年 10 月 27 日 Share to X Facebook Copy link

只需一張參考圖、鏡頭軌跡及最多四張不同角度的錨點圖，WorldCast 便可生成保持角色身份的影片。

只提供一張參考圖、目標鏡頭軌跡，以及 1 至 4 張不同視角的角色錨點圖，WorldCast 便能生成跟隨多角度運鏡的角色影片，同時減少轉換視角時身份走樣。這個開源模型項目針對的是影片生成中「鏡頭要郁得大」與「角色外觀要保持」難以兼顧的問題。

它以 Wan2.1-I2V-14B-720P 作為基礎模型，再加入 scale-aligned geometric guidance 和 Geometry-Aligned Memory Attention（GAMA）。前者把初始畫面轉成具校準深度的彩色 3D 點雲，沿目標軌跡渲染出 RGB 引導與 coverage mask；後者透過 Umeyama alignment 對齊多視角角色記憶，將相關特徵注入影片 token，補足新視角內容。

• 支援 360° 鏡頭移動
• 使用多視角 anchor images 維持角色身份
• CLACT 包含 80,000 個訓練樣本及 42 個評測場景
• 以 ATE、MEt3R 和影像品質比較結果

GitHub 已提供 inference code 和示範案例，但 WorldCast checkpoint、CLACT dataset 及 training code 尚未公開，因此下載 Wan2.1 基礎權重後仍未能完整執行示範。推理建議使用 Python 3.10 或以上、bf16，以及至少 48 GB 顯存；解析度和影片幀數提高後，記憶體需求亦會增加。

結果以較低的 ATE 和 MEt3R 對應更準確的鏡頭控制及跨視角一致性，影像質素則維持具競爭力。電影預視、角色廣告、遊戲過場及需要指定運鏡的生成影片工作流較適合採用。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Image, Content Creator, 3D, Python, Dataset 數據集

---

RoboJudge：把影片的物理合理性與指令分開評測

2026 年 10 月 27 日 Share to X Facebook Copy link

RoboJudge 分開檢視具身影片的物理合理性與指令完成度，並以人類評分訓練模型，供團隊比較生成結果。

具身影片可能動作自然卻未完成指令，也可能完成任務但違反物理規律。RoboJudge 以 Multimodal Language Models (MLLMs) 評審生成影片，分開衡量 Physical Adherence (PA，物理遵循) 與 Instruction Alignment (IA，指令符合度)。

這有助機械人及具身世界模型團隊分辨動作可信度和任務完成度。RoboJudge-Bench 收錄 800 段人工標註影片，涵蓋 8 個語料來源、10 個影片生成器，以及夾爪、人手與靈巧手。

RoboJudge-Train 收錄 12,000 段影片及 25,000 筆人工評分與理由；RoboJudge-9B 經監督學習及強化學習訓練。Pearson 相關係數在 PA 為 0.645、IA 為 0.775、整體為 0.719，較測試中的最佳專有基線高 0.089；相關性不代表每次判斷都正確。

GitHub 提供推理和基準評估程式，並連結模型與資料集。README 列出依賴安裝及執行流程，但沒有硬件需求資料，採用前宜先確認設備能否負擔模型載入與影片處理。

• PA 檢視影片是否符合物理與時間約束。
• IA 檢視影片動作是否符合指令。
• 基準可用於比較評分，不能取代人工核對。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Video, 香港, Dataset 數據集, 強化學習

---

Digital Human Koubo：一句需求生成數字人口播廣告，連聲音也自動完成

2026 年 10 月 27 日 Share to X Facebook Copy link

相片加一句需求，就能串起數字人口播、字幕與影片包裝；代價是依賴外部雲端生成。

一張相片加一句需求，便可生成有數字人口播、字幕和促銷包裝的短片。andyhuo520/digital-human-koubo 是由人工智能（Artificial Intelligence，AI）代理執行的影片工作流，串連文案、對嘴、聲音整理和剪輯。

主持人設定存於 persona.json，固定外觀和聲線描述；GPT Image 合成場景後，Grok Video 1.5 經 Renoise 的 Model Context Protocol（MCP）製作每段最多 15 秒的口播片。按 SKILL.md 配置代理並連接服務後，可先看倉庫示例；其中一條 27 秒廣告耗用 482 Renoise credits，不能視為固定價格。

• Whisper 逐段轉錄核對文稿，每段檢查 4 格畫面；若畫面出現生成字幕，該段會重做。
• 頻譜匹配、去齒音及響度標準化協助統一分段聲音；測試中的齒音差距由 13.2 dB 降至 5.9 dB。
• 48 項影片包裝手法參考 25 條創作者影片整理，可按需要增減。

這套流程適合需要反覆製作商品介紹或社交平台短片的小型內容團隊，也能把文字置於主持人身後。成品仍受外部模型服務和點數成本限制，使用前宜先檢查口型、畫面及人物一致性。

GitHub

Categories: 開源, AI productions, MCP, 數字人, 模型, Video, Image, Audio, Content Creator, 庫, Skill 技能

---

DirCast-code：AI 同時導播與解說，直播一手包辦

2026 年 10 月 26 日 Share to X Facebook Copy link

DirCast 每秒查看 Dota 2 十名英雄的鏡頭，自行選擇播出畫面並配上解說。它把導播與主播工作交給同一個模型，但目前評估仍集中於有限的職業賽事。

直播觀眾看到的畫面和聽到的解說，通常由導播與主播共同決定；DirCast 嘗試讓 AI 每秒查看十名英雄的原始鏡頭，選出播出畫面，再按該畫面決定何時發言及說甚麼。這個研究型工具以 Dota 2 賽事為場景，處理的是如何在比賽仍在進行時，同步完成選鏡和解說，而非只替已剪好的直播影片配音。

DirCast 使用單一串流影片語言模型 Qwen3-VL-8B，並以 LoRA 微調。模型先低解像度掃描各英雄鏡頭及遊戲狀態，再由導播模組決定維持現有畫面或切換；選中的鏡頭會再以高解像度讀取，供發言判斷和文字生成。這種安排把全場掃描與播出畫面的細節理解分開，也讓模型的解說跟隨自己選出的畫面。

模型不會永久保留所有低解像度鏡頭：這些畫面只在設定的時間窗內留在上下文，播出畫面、事件和已生成的說話則會保留，令處理長賽事時的上下文成本受控。訓練時加入受擾動的播出流程，讓模型練習從自己選錯鏡頭後恢復；事件標記則協助它把擊殺等值得呈現的時刻納入選鏡考量。控制切鏡與發言的門檻亦會按頻率調節，避免節奏過密。

研究資料集包含 27 場職業 Dota 2 比賽，記錄每名英雄的鏡頭、人類導播選擇及主播解說。示範涵蓋兩場留出比賽，展示模型切到鏡頭外發生的交戰並作出評論；但這些例子不足以證明它已能應付不同遊戲、直播延遲或長期穩定運作，現階段較適合研究團隊測試自動化直播製作，而非直接取代真人轉播團隊。

• 每秒掃描十路英雄鏡頭，並自行選擇播出畫面。
• 同一模型負責導播決策、發言時機及解說文字。
• 低解像度畫面會過期，播出內容與事件記錄則留在上下文。
• 訓練資料來自 27 場職業 Dota 2 比賽，公開示範展示兩場留出賽事。

GitHub 儲存庫提供模型、資料處理與賽事狀態相關程式碼；研究人員可據此檢視流程或測試模型。儲存庫資訊未列出完整安裝步驟、硬件需求或可直接重現的評估指標，因此部署成本與相對真人導播、主播的穩定差距，仍需更多測試才能判斷。

項目主頁 · GitHub

Categories: 開源, 北京大學, AI productions, 模型, 模型訓練, Qwen, OpenAI, Video, 工具, 庫, Dataset 數據集, LoRA

---

CapCut 以外，Concat 把影片剪輯搬回本機

2026 年 10 月 25 日 Share to X Facebook Copy link

想剪片但不想上載素材、註冊帳戶或處理浮水印？開源影片編輯器 Concat 提供本機字幕、語音與多軌剪輯功能。

剪短片、上字幕、替換背景，卻不想先建立帳戶，把原片交給雲端平台處理，Concat 提供了另一條路。這個跨平台開源影片編輯器把自動字幕、文字轉語音、聲音複製、背景移除、多軌剪輯及 4K 匯出放進同一個介面，支援 macOS、Windows、Linux 與 Android。

Concat 屬於桌面及流動裝置影片編輯工具，核心特色不是追求完整取代所有專業軟件，而是針對 CapCut 常用的剪輯流程，減少上載素材及依賴訂閱的摩擦。自動字幕由本機 Whisper 處理，選擇模型大小後即可把字幕放上時間軸，再配合文字轉語音、關鍵幀動畫、特效及標題完成內容製作。

這項取捨十分清楚：素材可完全留在本機，離線工作，不會因平台政策改變而失去作品控制權；但代價是本機運算能力會直接影響字幕生成等功能的處理速度。Concat 亦提供語音複製，只需數秒錄音便可建立聲音，適合處理旁白、角色對白及多語言版本，背景移除則涵蓋人物、物件，亦可自行修正遮罩。

• 支援 macOS、Windows、Linux 及 Android
• 本機 Whisper 自動字幕，無須上載影片
• 提供文字轉語音、聲音複製及背景移除
• 支援多軌剪輯、關鍵幀、特效、標題與 4K 匯出
• 無浮水印、無需帳戶，亦沒有上載限制或訂閱費用

對內容創作者、獨立製作者、教育工作者及需要處理敏感素材的團隊而言，這是一套頗完整的本機工作流。多軌剪輯、位置、縮放、旋轉、透明度及音量關鍵幀控制，令它不只停留在簡單裁片工具；惟目前版本號仍為 0.2.8，跨平台的成熟度、介面細節及不同裝置上的匯出表現，仍須經實際作品驗證。

GitHub

Categories: 開源, 文字轉語音, AI productions, 模型, Video, Audio, 軟件, 工具, Content Creator, Mac, Linux, 語音, 動畫

---

MoneyPrinterTurbo 整合 AI 影片流程

2026 年 10 月 25 日 Share to X Facebook Copy link

輸入主題即可生成短片內容與素材，亦可接入不同模型；適合內容團隊快速製作多語言影片。

給定一個主題，便要自行寫稿、找素材、配音、加字幕再剪輯；MoneyPrinterTurbo 將這套流程整合成 AI 短影片生成工具，涵蓋腳本、配音、素材搜尋、字幕、配樂及剪輯，並提供 AI Agent、WebUI、API 和 CLI 四種介面。

由一句主題到成片：它可自動生成或改寫多語言影片腳本，也允許逐個環節改用自訂內容。支援批量生成、任務紀錄，以及設定和 API Key 的匯入、匯出與恢復，對經常製作大量短內容的編輯、社交媒體營運團隊及小型工作室尤其方便。

• 輸入主題或關鍵詞，自動完成短片內容與素材配對
• 以 WebUI、API、CLI 或 AI Agent 接入不同工作流程
• 可替換腳本、配音、素材、字幕或配樂
• 支援批量生成、任務歷史及多語言腳本
• 兼容多種模型服務、統一網關及本地環境

模型選擇相當廣，可連接 Kimi／Moonshot AI、OpenAI、Anthropic Claude、Google Gemini、DeepSeek、阿里云通義千問、Microsoft Azure OpenAI、火山引擎方舟、xAI Grok、MiniMax、小米 MiMo，以及 Ollama、LiteLLM、OpenRouter 等平台。Kimi K3 獲項目採用，負責撰寫文案、提煉素材搜尋關鍵詞及判斷合適畫面；本地模型則適合重視資料控制或降低雲端依賴的團隊，但最終流暢度與準確度仍取決於所選模型、服務配額及素材來源。

這套工具的優勢不是生成單段影片，而是把多個製作步驟串成可重複運作的流程。代價是成品質素仍受文字模型、素材版權、語音及剪輯設定影響，重要影片應保留人工審核，而非直接自動發佈。

GitHub

Categories: 開源, Agentic, AI productions, 模型, Google, 微軟, OpenAI, DeepSeek, Gemini, API, Video, 工具, Ollama, 語音, Anthropic, Kimi, 小米-Xiaomi, MiniMax

---