lanshu-create-ai-presenter-video：數字人影片 Skill：一張圖＋文案自動生成完整講解影片

2026 年 9 月 19 日 Share to X Facebook Copy link

一個針對通用數字人影片製作 Skill。你輸入主題或文案，再加一張授權人物圖，它就會按完整配音時間軸組織生成、剪輯同驗收，輸出一條可發佈嘅講解片。

做數字人講解片最麻煩嘅地方，往往唔係生成人物，而係口型、文字同聲音對唔齊，最後剪埋一齊就甩拍。lanshu-create-ai-presenter-video 嘅切入點正正喺呢度：佢將「完整配音」鎖定為全片時間基準，人物主素材、字幕、關鍵詞動效同鏡頭轉場都跟住呢條音頻排，從而減少口型漂移同片段接駁嘅問題。整個項目屬於 Agent Skill 工具，由 Codex 或其他兼容本地 Skill 嘅 Agent 環境直接調用，源碼本身唔綁定任何特定服務商、模型或私有接口，可以按當前環境可調用嘅能力動態選擇配音、人物生成同口型同步工具。

最低門檻只需要一份主題或文案，再加一張已授權、包含清晰成年人物嘅參考圖。聲音樣本、屏幕錄影、B-roll、品牌素材、目標平台、時長、橫豎屏同風格等都係可選輸入，畀進階用戶調整。Skill 目錄會隨階段讀取對應參考文檔：generation.md 處理文案、聲音、能力選型同人物提示詞；editing.md 負責時間軸、字幕預設、封面同導出；qa-recovery.md 處理技術驗收、人工驗收同常見故障修復，避免一次過佔用過多上下文。

key	名称	the look · 画面	best for · 适合	3D
v1-editorial	V1 设计师「留白」	warm paper, ink, one vermilion accent, data blocks, page turns · 暖白纸、墨色、一抹朱红，大留白	serious, premium explainers; business and product topics · 严肃、高级感、商业与产品	no
v2-signal	V2 科技感「信号」	dark HUD, acid-lime accent, labels decode in, packets on wires, glitch cuts · 暗色仪表盘、荧光绿、数据包流动	AI / infra / networking, anything “system-like” · AI、基础设施、网络、系统类	no
v3-notebook	V3 手写衬线「手帐」	grid paper, a live pen writes every word, sticky notes, eraser · 方格纸上真笔书写、便利贴、橡皮擦	teaching step by step, derivations, study notes · 一步步推导、学习笔记、教学	no
v4-paper	V4 纸艺「立体书」	kraft pop-up book, pieces fold up with soft shadows, parallax · 牛皮纸立体书、折起的纸片、视差	warm stories, processes, consumer topics · 有温度的故事、流程、大众话题	no
v5-comic	V5 波普漫画「爆款」	halftone comic page, stickers slam on, bursts and sound words · 半调网点漫画、贴纸拍入、爆炸字	punchy short videos, hot takes, myth vs fact · 节奏快的短视频、观点、辟谣	no
v6-cinematic	V6 电影感 3D「一镜到底」	Three.js one-take in a graphite studio, porcelain props, bloom · 一镜到底的 3D 影棚、瓷质道具、辉光	flagship pieces, launches, big-picture concepts · 旗舰内容、发布、宏观概念	yes
v7-drafting	V7 图纸与注脚	one black drawing sheet, leader lines, ghost-letter karaoke, true footnotes · 黑色图纸、引线、注脚、卡拉OK式大字	technical deep dives for practitioners · 面向从业者的技术深挖	no
v8-chalkboard	V8 黑板报	a wooden blackboard written live in chalk, felt eraser, chalk mind map · 木框黑板、粉笔现写、板擦、粉笔脑图复习	classroom feel, beginners, memory-friendly recaps · 课堂感、入门、便于记忆	no
v9-clay	V9 黏土小城「一仓」	an isometric plasticine town, every analogy labelled with its real term · 等距黏土小城，比喻 + 真实术语标签	analogies for non-experts, cute and friendly · 用比喻讲给外行、可爱亲和	yes

預設輸出係 9:16、1080×1920、30fps 豎屏，時長 45 至 75 秒，發佈響度目標約 -16 LUFS。初始化可透過 init_job.py 自動建立標準任務目錄同 job.json，preflight.py 會做前期檢查，最後由 finalize_delivery.sh 收尾輸出，同時產出 QA 報告。環境要求 Python 3.9+、FFmpeg／ffprobe、Bash、jq、awk、sed，以及至少一種可調用嘅影片生成、語音生成同口型同步能力。

佢唔係一個獨立嘅模型，而係一套組織數字人影片工序嘅 Skill 框架，價值在於把配音、人物、字幕、剪輯、驗收等步驟統一在同一條音頻時間軸上，避免最常見嘅口型錯位同片段斷裂。內容創作者、行銷團隊、課程錄製同需要快速產出講解影片嘅場景會較受惠，特別係想喺不同 AI 服務商之間靈活切換、又唔想被單一平台鎖死嘅人。

• 以完整配音為全片時間基準，減少口型漂移同片段接駁問題
• 源碼不綁定服務商或模型，可按環境動態選擇配音、人物、口型工具
• 三份參考文檔按階段讀取，控制上下文用量
• 預設 9:16 豎屏、1080×1920、30fps、主題片長 45–75 秒
• 支援聲音樣本、B-roll、品牌素材、平台、橫豎屏等可選參數

GitHub

Categories: 開源, Agentic, AI productions, 數字人, Video, Audio, 提示詞, 框架, Content Creator, Python, 語音, Skill 技能

---

XGEN-JING 世界模型開源：邊走邊生成影片與音效

2026 年 9 月 18 日 Share to X Facebook Copy link

XGEN Labs 把互動式第一人稱世界模型 JING 開源：輸入動作與參考圖，就能邊走邊生成對應影片與環境音效，等於把世界模型變成可即時體驗的 demo。

過往的世界模型 demo 多半停留在「按一個鍵播一段片」，XGEN-JING 想把互動感再推一步：鍵盤操作鏡頭、輸入文字引導角色對話，模型即時生成第一人稱影片與配對音訊，並以參考圖約束人物、物件與場景的一致性。這個項目是一個以 MiniMax-H3 為骨幹的 egocentric interactive experience 模型，屬於世界模型 / 互動影片生成一類，目標是讓「在同一個起點做出不同選擇」這件事變得可視聽。

XGEN-JING 的核心差異在「四步雙向推論」與即時性：JING-Flash-v1 用四個步驟完成推論，再把動作、觀察歷史、參考圖同時餵進去生成下一段片段；鏡頭移動、物件互動、人物對話都由文字與按鍵驅動，而畫面與聲音同步輸出，所以更像「邊走邊生成」而不是「先想好再剪片」。

Step Into a World That Responds | XGEN Labs

這版本同時提供 Inference code、examples 與 Prompt skills，後者可以從故事與參考圖自動生成經過驗證的推論案例，降低試錯成本；但因果模型與技術報告尚未釋出，想深入架構細節的人需要再等等。硬件門檻亦偏高：項目方以六張 H100 做驗證，其中一張跑 text encoder、一張跑影音 VAEs、四張跑 DiT 加 sequence parallelism，並指定 FlashAttention-4 為預設後端。

以下幾類人會比較快從中受惠：做世界模型研究、需要互動 demo 的研究者；做遊戲 / VR / 沉浸式敘事、需要快速產出第一人稱體驗的開發者；以及關心 video generation xa in 2026 路徑、想理解「影片 + 音訊 + 動作」三軸如何耦合的團隊。對一般玩家或創作者而言，Hugging Face 上的模型頁與 xgenlabs.ai gallery 已足夠先看 demo，再決定是否投入本地部署。

重點摘要

• JING 是以 MiniMax-H3 為基礎的第一人稱互動體驗模型，支援鍵盤控鏡、文字對話與參考圖約束。
• JING-Flash-v1 以四步雙向推論同時生成影片與音效，比單向生成更貼近即時體驗。
• 官方硬件門檻為六張 H100（1 text encoder + 1 VAEs + 4 DiT），預設 FlashAttention-4，後端依賴 SGLang 特定 commit。
• Prompt skills 可從故事與參考圖自動產生驗證過的推論案例，方便快速試玩法。

項目主頁 · GitHub · 模型 · 影片集

Categories: 開源, AI productions, 模型, 視頻模型, 世界模型, Google, NVIDIA, Video, Audio, Content Creator, MiniMax, Skill 技能

---

MiniMax-H3-Reason：多模態仍未帶來物理推理穩定答案

2026 年 9 月 18 日 Share to X Facebook Copy link

這份評估刻意把任務資訊藏在圖像、音訊和影片裡，逼模型從片段線索拼出合理結果。MiniMax-H3 在 517 個案例中只得 41.97% 成功率，顯示多模態整合仍是關卡。

面對一段被刻意刪去關鍵資訊的指令，模型要靠圖像、聲音或前段影片這些「不在文字裡」的線索去補完事件，這正是這個評估項目想驗證的能力。它屬於研究類型的基準測試（Benchmark），專門設計來測 omni-modal 生成模型在物理世界推理上的表現，而不是單純比較畫質或動作流暢度。

整個框架圍繞四個場景展開：MSR 多視角空間推理、ADR 聲音消歧推理、VDR 影片決策推理，以及把聲音與影片約束結合的場景。每個場景都要求模型在 200 張圖、146 段聲音、影片前段等不完整輸入下，推斷出合理後續，並由專家判斷生成結果是否真的滿足語意要求，而非只追求像素相似。

MiniMax-H3 在這 517 個案例中整體成功率為 41.97%，差距明顯落在不同場景之間：影片決策推理最高，達 56.00%；聲音消歧推理最弱，只有 27.40%。這個落差直接說明，當聲音要承擔解開視覺模糊的責任時，模型很容易抓錯重點；反之，延續已觀察到的動態相對容易，因為線索更密集、更接近訓練分佈。

對做影片生成、世界模型或多模態整合的團隊來說，這套測試比起傳統 FID 或描述相似度更能反映真實瓶頸。它告訴我們，「支援多模態輸入」和「能可靠完成任務」之間仍有很大距離，尤其在聲音與畫面的細節對齊上。開發者可以用它找出弱項，研究者則能以此為基準，比較下一代模型是否真的在「聽懂並接住物理世界」這件事上有所進步。

重點摘要：

• 任務描述刻意不完整，逼模型從圖像、音訊或影片中補回缺失資訊
• 四個場景涵蓋空間、聲音、時間與音畫對齊四類物理推理
• MiniMax-H3 整體成功率 41.97%，影片延續最易、聲音消歧最難
• 由專家判斷生成結果是否滿足語意，而非僅看畫面或動作
• 對開發 omni-modal 影片生成與世界模型的團隊，是更貼近實戰的評估方式

GitHub

Categories: 開源, AI productions, 視覺模型, 多模態模型, 框架, MiniMax

---

Hypit：把爆款短片變成可換臉的模板

2026 年 9 月 16 日 Share to X Facebook Copy link

Hypit 是一套開源影片克隆工具，主打把 TikTok、Reel 或 Short 變成可重用的版面，換掉主持人、產品、開頭與長寬比，就能快速產出多個變體做投放測試。

短片團隊最常遇到的卡位，是手上有一條跑出來的素材，卻要趕在疲勞前把它複製成十幾條變體測試新 Hook。Hypit 想解決的正是這個工序：丟一條影片進去，它會拆解成鏡頭、字幕、B-roll、效果這些可組合的工作流部件，而不是只輸出一份腳本分析。對做付費社交投放的人來說，這意味著可以從 Meta Ad Library 複製一條已經贏過的廣告，換掉商品與開場就當日出 50 條 Hook 變體；等兩星期素材疲勞，再用同樣的主體版型換新開頭，主體片段完全保留。

它和一般「AI 影片生成器」差別在定位：生成式模型負責補上會變的部分，Hypit 則是負責把會變跟不會變的部分拆乾淨、串起來。每個組件都能被替換或 fork，使用者不必動到字幕或剪輯邏輯。商業模式上，項目本身是開源（Apache-2.0 with conditions），沒有平台座位費或浮水印，模型服務費則看你接的是哪一家。

技術偏向給內容團隊或 growth marketer 自建的工程師整合進既有管線。素材來源涵蓋 TikTok、Reel、Short，也可以從 Meta Ad Library 抓一支跑得好的 paid ad 當模板。對需要大量 A/B 測試 hook、不同市場語言切版、或長線養帳號的工作流來說，這種「一次結構、N 次變奏」的思路，比每次從腳本重頭來要省事不少。

我用AI 10分钟复刻爆款视频：Hypit详细教程，直接拆成可编辑工程

• 不是單次生成，而是變奏生產線：同一支片可以反覆換主播、產品、語言、長寬比
• 組件化設計：字幕、B-roll、效果都能獨立替換，不影響整體結構
• 開源但非全免費：項目本體免費、無浮水印；模型推理依賴外部服務計費
• 適合 paid social 與 viral clone 場景：Meta Ad Library、TikTok、Reel 都能當模板來源
• 技術門檻在整合端：需要 Node.js + TypeScript 環境，較適合有工程支援的團隊

GitHub

Categories: 開源, AI productions, Video, 工具, 庫, Skill 技能

---

PhysStream：邊播邊拉物件，讓 AI 影片生成更貼近物理直覺

2026 年 9 月 16 日 Share to X Facebook Copy link

PhysStream 是一個物理導向的影片生成模型，用戶可以在生成過程中隨時拖動物件來改變它的運動方向，做到真正的中途互動控制。

以往想用 AI 生成一段符合物理規律的影片，往往需要在生成前就設定好整個控制排程，而且很多方法只懂在像素層面指定物件位置，未必真正理解「力」與「速度」這類物理量。PhysStream 的切入點正正落在這個空隙：它是一個自回歸的物理導向圖生影片模型，支援中途互動，容許用戶在生成過程中隨時拉動物件，改變它的運動方向。

核心做法分兩個階段。先用一個雙向模型做微調，加入速度增量（velocity increment）這類稀疏信號作控制條件，讓模型學到背後的動力學；再訓練一個因果自回歸模型，引入結構化場景記憶，記錄位置圖與物件追蹤圖，使每一幀生成都能參考歷史畫面的一致狀態。同時解決了「中途介入」與「物理一致性」兩個難題。

PhysStream 把運動分佈距離（FVMD）降低 33%、軌跡誤差降低 12%，而且在真實場景的人類評測中，超過 85% 的對比都獲得偏好。在多物件桌面剛體場景裡，這種邊生成邊控制的能力是目前其他方法做不到的。對做特效、動畫預覽或物理模擬預演的團隊來說，這種「拉到邊做」的互動模式會比較貼近日常工作流。

重點摘要：

• 中途拖動控制：生成過程中可隨時改變物件運動方向，毋須事先設定控制排程
• 物理導向信號：採用速度增量而非像素位置，讓模型學習真正的動力學
• 結構化場景記憶：以位置圖與物件追蹤圖維持長影片一致性
• 兩階段訓練：先雙向微調學控制條件，再因果自回歸強化物理一致性
• 評測表現：FVMD 降 33%、軌跡誤差降 12%，人類評測偏好率逾 85%

項目主頁

Categories: AI productions, 視頻模型, 模型訓練, Video, World-Action Model, Robotic, 動畫

---

awesome-ai-for-games：基礎模型開始當玩家、設計師與測試員

2026 年 9 月 16 日 Share to X Facebook Copy link

基礎模型在遊戲場景的角色，已經不限於落子對奕。新加坡國立大學團隊發表的120頁綜述，把AI在遊戲生命週期中的用途分成六種角色，並用同一組問題貫穿比較。

過去談遊戲 AI，多數人直覺想到 AlphaGo 或強化學習對奕 agent，但這個 GitHub 項目展示的視角明顯更廣。它由新加坡國立大學與南洋理工大學作者群發表，圍繞 442 篇文獻、416 篇核心著作，把基礎模型在遊戲生命週期中的角色拆成六類：玩家或 NPC、世界或玩家模型、內容與規則設計、在遊戲引擎內操作、調整運行中的遊戲，以及產出測試證據。

之所以這樣分類，原因是同一個預訓練模型可能同時擔任多個角色，但每個角色對應的接口、限制與所需證據都不同。項目用三個反覆出現的問題貫穿六個角色：邊界（由遊戲或工作流提供、由 AI 負責的部分）、遷移與重用（哪些能力與產物能跨場景複用，哪些仍綁死在特定設定）、證據（評估方法是否真正支撐了結論）。這套問法讓「會寫程式」與「會做玩家」不再混為一談。

從實際工作場景看，遊戲工作室、引擎開發者、玩家行為分析團隊，以及研究遊戲 AI 的學界，都能從這份分類地圖中快速定位自己關心的子題，例如社交協調架構 CASCADE、桌面資料視覺—動作預訓練 D2E，或者長時程 LLM agent 的 bounded-memory 測試環境 AgenticSTS。

理解這個項目最直接的方式，是把它視為一份研究地圖加書目入口：項目網站提供可搜尋的 442 條參考清單、論文圖表與影片導讀，並把同一套分析框架套到每一個角色，讓讀者比較不同子領域的成熟度。對想入門遊戲 AI 的人而言，它比單篇論文更容易判斷哪些方向已有共識、哪些仍處於早期定義階段。

重點摘要

• 120 頁綜述、442 篇參考文獻，由新加坡國立大學與南洋理工大學團隊共同整理
• 把基礎模型在遊戲中的角色分成六種（玩家、世界模型、設計、引擎內操作、運行中調整、測試），而非按模型架構分類
• 用「邊界、遷移與重用、證據」三個問題貫穿所有角色，作為統一的分析視角
• 涵蓋社交協調、桌面視覺—動作預訓練、長時程 LLM agent 測試等多條子題線索
• 項目網站提供可搜尋書目、圖表與 90 秒影片導讀，方便快速定位子領域

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型訓練, Video, 框架

---

LynnReal-Omni 把十幾種影片任務塞進一個 32B 模型

2026 年 9 月 15 日 Share to X Facebook Copy link

一個 32B 多模態擴散 Transformer，同時做文字生影片、圖生影片、動作控制、風格遷移、影片修復同長影片串流。Flash 版本更可喺單張 H100 上 377 毫秒出 22 帧 540p 短片。

LynnReal-Omni 想解決嘅，係影片生成工具鏈最煩嘅一件事：每加一個任務（動作控制、參考影像、風格遷移、編輯、修復）就要疊多一個模型或多一套 pipeline。作者選擇用一個 32B 共享多模態擴散 Transformer（跟 MiniMax H3 架構）一次過承載文字生影片、圖生影片、人體與手部姿勢控制、結構控制、omni-reference、風格遷移、影片編輯、退化影片修復，以至串流式長影片生成，仲可以接駁外觀參考、可編輯 3D render、遊戲錄影等異質輸入，等 Agent 可以喺同一個模型內組合視覺條件。

對比同類做法，最大差異係「統一框架」而非「任務專用模型」。每個源帧獨立編輯再組裝成無聲 24fps 影片，每帧只需四次 DiT forward，120 帧即 480 次 forward。輸入限制清楚：24fps、寬高需為 32 倍數、目前只支援 768p（1344×768 起手）。獨立逐帧編輯會帶來亮度或形狀嘅帧間抖動，作者亦坦白標示為已知限制。

LynnReal-Omni

對短片創作者、遊戲或 3D 團隊、Agent 開發者來講，好處係少咗一套模型接駁嘅工程成本；Agent 可以直接用外觀參考同 3D render 嚟組裝條件。Flash 版本（27B、三步生成、輕量 VAE decoder）將單張 H100 上 22 帧 540p 由 843 毫秒壓到 377 毫秒，為實時或互動應用鋪路。

項目已提供 ComfyUI workflow 涵蓋 t2v、i2v、r2v、pose2v、v2v 幾個入口，但作者明言仲係早期 beta，質量、兼容性同 bug 仍然存在，訓練代碼、部分訓練數據同更高效 DiT 預計稍後釋出。打算用佢做關鍵流程嘅團隊，宜先以小批量預覽（--indices 0,24,48 --keep-clips）確認穩定性再評估是否引入生產。

重點摘要：
– 一個 32B DiT 模型覆蓋十幾種影片任務，Agent 可直接組合異質視覺條件
– 每源帧四次 DiT forward，120 帧共 480 次；輸入限 24fps、寬高需 32 倍數、768p
– Flash 版本用 27B 加輕量 VAE，單張 H100 上 22 帧 540p 暖機生成耗 377 毫秒
– 獨立逐帧編輯會產生帧間亮度與形狀抖動，屬已知限制
– ComfyUI 支援 t2v、i2v、r2v、pose2v、v2v，目前屬早期 beta，訓練代碼尚未開源

GitHub · 模型

Categories: 開源, ComfyUI, Agentic, AI productions, 模型, 多模態模型, 模型訓練, Video, Image, 框架, 工具, Content Creator, 3D, MiniMax

---

AlayaVista：全景潛態驅動嘅可串流世界模型

2026 年 9 月 15 日 Share to X Facebook Copy link

AlayaVista 從一張透視圖出發，建立 360° 全景先驗，再隨鏡頭動態演化作為視點潛態，逐區塊渲染並局部精煉所選畫面，做流暢且高保真嘅可控影片生成。

想由一張普通圖片，邊拉鏡頭邊即時生成高質影片，而又唔丟失 360° 場景記憶？AlayaVista 就係為呢個矛盾而設計——佢屬於世界模型（World Model）類研究原型，處理嘅係可控、可串流嘅影片生成問題。

核心做法分三步：先用一張透視圖估出完整 360° 全景先驗，模擬出 VR 風格嘅場景記憶；之後鏡頭控制訊號會驅動呢啲全景潛態持續演化，保持全局一致性；最後系統只渲染用戶當前視角所在嘅區域，並用潛態視口渲染與局部精煉做高保真合成。為咗兼顧速度與質素，佢採用 chunk-autoregressive 逐區塊自迴歸生成，配合少步蒸餾（few-step distillation），令串流過程唔使逐幀重頭計，全部運算力集中在真正需要輸出嘅視窗。

比起傳統逐幀擴散或全景一次性輸出嘅做法，呢種「全景當記憶、視口當輸出」嘅分工換嚟兩個明顯取捨：視窗畫面更銳利、代價係鏡頭一轉就要重新做視口對齊；同時間全景一致性同幀率都受惠於 chunk 邊界設計，對長鏡頭平移類場景特別友好。

幾個重點摘要：

• 全景記憶 + 局部渲染：以 360° 全景潛態維持場景上下文，鏡頭視口獨立精煉，避免整段重算。
• 鏡頭可控串流：支援 user-controlled camera 訊號輸入，邊互動邊生成適合遊戲引擎、VR 預覽或 cinematic pre-vis。
• 效率設計：chunk-autoregressive 加 few-step distillation，專注運算力於選定視窗。
• 仍屬研究階段：roadmap 列明推理代碼同預訓練權重尚未釋出，目前只可睇 paper 與 project page 嘅 demo。

呢類模型對做互動敘事、VR 內容預覽、遊戲關卡 walkthrough 嘅團隊最有直接參考價值，因為佢直接處理「鏡頭會行、背景要穩」呢個常見卡位。對純做離線一鍵出片嘅用家嚟講，呢類串流設計嘅優勢未必即刻見效，但對需要低延遲、長時序一致嘅創作流程，呢條技術路線值得留意。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 視覺模型, 視頻模型, 世界模型, Video, Image, 框架, 教學

---

KaiNinja 將 3D 生成推到部件級 – 直接拆零件

2026 年 9 月 15 日 Share to X Facebook Copy link

一張圖就能生成分件可拆的 3D 模型，毋須人手標註或語義分割。KaiNinja 用兩個 O-Voxel 體素保留部件接觸面，把原生 3D 生成器延伸到部件級。

以往想做一張椅子、可以分開拆件再重新組裝的 3D 模型，往往要事先畫遮罩或跑一套語義分割網絡，既費時又限制後續編輯彈性。KaiNinja 由 Alaya Lab 團隊提出，目標是把 TRELLIS.2 這類原生 3D 生成器直接延伸成「部件級」輸出，毋須遮罩或分割網絡就能從單張圖生成可拆分的部件網格。

模型輸出兩個 O-Voxel 體素，各自解碼後透過連通區分量化成獨立部件，同時保留部件之間的接觸面，避免拆件後出現破洞或懸空。換言之，它在現有 3D 生成流程中替代或補強的，就是那一步手動標註與分割。

對遊戲美術、3D 資產設計、以及需要快速做可編輯原型的團隊來說，這類即拆即改的部件輸出明顯降低後製成本。雖然目前只釋出技術報告與項目頁面，推斷碼與預訓練權重尚未開源，但官方展示的下游材質替換與手繪動畫片段，已能看出部件分離對後續工序的實質幫助。

官方在 986 個物件的評測中，以匈牙利配對方式同時報告整體與部件級指標，在 CD、F1、mIoU 七個項目上均領先 X-Part、OmniPart、PartPacker、AutoPartGen 等同類方法，亦勝過用同一語料微調過的 TRELLIS.2。Fail 率（即整體 CD 大於 0.1 的比例）亦由 5.4% 降至 0.7%，代表部件拆分並沒有犧牲整體幾何質素。

重點摘要

• 輸入單張圖片即可輸出部件級 3D 網格，免遮罩免分割網絡
• 以兩個 O-Voxel 體素保留部件接觸面，避免拆件破洞
• 在 986 件評測中，部件與整體指標同步領先 OmniPart、PartPacker、AutoPartGen
• Fail 率由 TRELLIS.2 的 5.4% 降至 0.7%，整體幾何質素未受部件任務拖累
• 目前僅有技術報告與項目頁面，源碼與權重標示為 Coming soon

項目主頁 · GitHub

Categories: 開源, 騰訊, AI productions, 模型, Image, 3D, 動畫

---

BVB 用 影片內容令 AI 自動轉為 Blender 3D 場景

2026 年 9 月 15 日 Share to X Facebook Copy link

BVB 拋開選擇題，要求 AI 代理直接用 Blender 重建 288 段真實室內影片，從程式碼品質判斷它到底有冇真正理解畫面內容。

現時大多數影片理解 benchmark 都係問 AI 「張圖入面有幾多張椅」，但 BVB（Blender-VideoBench）行另一條路：畀 AI 睇一段室內影片，然後叫佢自己寫 Blender 腳本，把場景、鏡頭動線逐個 primitive 砌返出嚟。如果代理人交到一個可以重新開啟、可以渲染嘅 .blend 檔，代表佢真係睇明條片。

每個代理會都被困喺同一個 Blender 4.2 Docker 沙盒入面，淨係可以用 bash 同 frames，仲有共享成本上限。禁止使用任何外部素材庫，幾何體全部由代理自己用基本操作砌出嚟。呢種「同條件競技」設計解決咗以往影片 benchmark 靠選擇題容易被 prompt hack 或者背答案嘅問題。

數據方面，BVB 用咗 ARKitScenes、ScanNet、ScanNet++ 嘅 288 段室內影片，配合 5,130 條時空題目，並涵蓋 10 個模型家族、共 51 個配置。評分用兩條軸：Dual VQA 睇重建場景保留幾多影片入面嘅時空事實；Latent Similarity 就用凍結影片 embedding 對比重建結果同原片嘅感知距離，再以平方根均值合成綜合分數。

對做空間智能、機器人感知或者影片理解研究嘅團隊嚟講，呢個 benchmark 提供咗一個更貼近「代理人真係要喺軟件入面操作世界」嘅測試場景。視頻生成、動畫製作或者世界模型團隊亦可以直接借用 Mini-BVB harness 喺自己 pipeline 度做壓力測試。

團隊結果顯示，最強配置喺 Latent Similarity 做到 88.6，但 Dual VQA 仲有明顯差距，代表現時頂級模型仲未做到「理解」同「重建」兩條線同步推進。呢個落差本身就係 BVB 想凸顯嘅訊號：識答題未必等於識建模。

重點摘要

• 288 段真實室內影片，全部來自 ARKitScenes、ScanNet、ScanNet++ 嘅 held-out split。
• 51 個代理配置橫跨 10 個模型家族，統一跑喺 Mini-BVB 沙盒同成本上限下。
• 禁止使用外部素材庫，逼代理人由 Blender primitives 自己砌幾何。
• 評分用 Dual VQA 加 Latent Similarity 兩條軸，避免單一指標偏廢。
• 目標係可執行、可重新渲染嘅 .blend 檔案，而唔係文字描述或者單張圖。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, Embedding, 視覺模型, 多模態模型, 世界模型, Qwen, OpenAI, Gemini, Video, 軟件, 庫, Anthropic, 動畫, Dataset 數據集

---