InferNews

mischief 1：用生物神經元技術加速影片生成

Share to X Facebook

mischief 1 建基於 Wan 2.2，主打以相近質素提供快 5 倍、成本更低的 image-to-video 生成。

6aa474e3eb96b19a0696dbe6 cta row bg

生成影片最花時間和預算的地方，往往是反覆試做、比較不同版本，再逐步修正畫面。TBC mischief 1 是 The Biological Computing Co. 推出的 AI video model，透過從活神經元取得的計算效率，處理 image-to-video 生成速度和成本之間的取捨。

TBC執行長兼聯合創辦人Alex Ksendzovsky表示：「我們曾說過，要將對活體神經元的研究成果轉化為人人都能使用的產品，而我們實現這一目標的速度遠超預期。這個模型背後是一個持續學習的發現平台。每一次實驗都加深了我們對神經元計算方式的理解，並為我們改進人工智慧提供了新的契機。」

模型建基於廣泛使用的 open-weight video model Wan 2.2，TBC 表示 mischief 1 在保持相近質素的同時，生成速度提升至基礎模型的 5 倍。項目已在 fal 和 OpenRouter 提供，定價為每秒半美仙；五秒短片約需 2.5 美仙，100 段影片約為 2.50 美元。

較低成本適合需要大量試作的影片創作者、AI-native creative studio，以及把影片生成功能整合到產品的開發者。Wonder Studios 測試後表示，模型讓團隊可以在相同時間和預算內反覆推進創意；不過，來源內容未提供具體畫質指標、支援格式或詳細使用流程。

  • 建基於 Wan 2.2，主打相近質素與更快生成
  • 生成速度較基礎模型快 5 倍
  • 每秒半美仙，適合大量試作和版本比較
  • 可在 fal 和 OpenRouter 使用
  • 技術效率來自 TBC 對活神經元計算方式的研究

項目主頁

Categories: AI productions, 模型, 視頻模型, Video, Image, World-Action Model, Content Creator

AskStream：讓模型主動追問影片的缺失資訊

Share to X Facebook

串流影片未必會自然提供完整答案，AskStream 讓模型在等待與回答之外，判斷何時應該主動提問。

AskStream Logo

串流影片問答遇到畫面缺失、問題含糊或個人資料不足時，模型往往只能繼續等待，甚至猜出答案。AskStream 是一個串流影片理解 benchmark 與資料集，把 WAIT、ASK、ANSWER 放進多輪互動流程，實際測試模型能否找出不確定性、問對問題，再在資訊足夠時回答。

它涵蓋 Food & Dining、Sports、Clothing、Daily Life、Film & TV、Repair、Education、Travel 和 Technology 九類影片，共 438 段影片、1,401 條問題，以及 2,714 個人工標註的 frame-level time windows。每段影片平均有 3.2 個互動回合，資料再按 Video Uncertainty 和 User Uncertainty 拆成四類任務、八個 subtasks，適合檢查模型是只懂回答，還是懂得主動索取缺少的證據。

  • 同時評估 When to Ask、What to Ask、When to Answer 和 What to Answer
  • 支援 multiple-choice 及 open-ended 評測
  • Ask-F1 同時反映提問時機、提問內容和回答決策
  • 最強模型目前只有 52.18% Ask-F1，主動尋找資訊仍然困難

使用者可從 GitHub、Hugging Face dataset、論文及 project page 了解資料和評測入口；提供的資料沒有列出完整安裝流程、推理程式或硬件要求，因此不能據此承諾特定 GPU、記憶體配置或本地執行方式。研究團隊、影片理解模型開發者和多模態 agent 評測項目較適合採用它，尤其是需要處理直播、教學、維修或含個人背景問題的場景。它的價值不在單次答案準確度，而在揭示模型何時應該停止等待、向誰問甚麼，以及取得資訊後能否及時作答。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, Video, 教學, 中國, Dataset 數據集

WeVisCut 單一 9B 模型自主剪出多分鐘知識影片

Share to X Facebook

由文章或旁白稿生成多分鐘影片，WeVisCut 讓模型逐步選擇剪輯工具，並可在時間線上修改成片。運行 9B 模型約需 24 GB NVIDIA GPU。

WeVisCut

把知識文章或旁白稿變成多分鐘影片，通常要處理分段、鏡頭、配音、素材、字幕和配樂。WeVisCut 是一個長流程影片剪輯 Agent，由單一 9B 模型讀取剪輯狀態，每次呼叫一項工具，逐步完成製作；它處理的是長篇內容轉成可編輯成片的流程，而非只生成單一畫面或短片段。

模型不依照寫死的階段流程前進，而是按當前狀態決定下一步；防護規則只會拒絕不合法的操作，不會代替模型選擇。每次任務通常約有 12 次工具呼叫，涵蓋文章分段、鏡頭規劃、語音合成、素材檢索、動畫模板、配樂、檢查、修正及合成。檢查與反思本身也是工具，模型可按檢查結果修補未達要求的部分。

Studio 提供八條同步時間軌，成片完成後仍可手動編輯，也支援暫停與續做、聊天修改、單鏡頭重製及版本回退。這讓內容團隊能把它用作長篇解說影片的初剪與修改工作台；成片仍需要人手確認素材、旁白和敘事是否合適。要運行 bf16 9B 模型，項目列出的硬件需求約為 24 GB NVIDIA GPU；只開啟介面、不執行模型則不需 GPU。資料未提供完整安裝及素材服務設定流程，不能只憑這些資訊判定部署所需的全部硬件與外部服務。

評估使用 100 項保留任務，整體分數為 90.5；項目亦報告，每分鐘成功輸出的生成 token 數約比 Claude Opus 5 少 33 倍。這些數字反映項目設定下的測試結果，不足以單獨證明不同影片類型或工作環境都能得到同樣成效。訓練資料則由 3,750 個完成影片項目還原剪輯意圖，再經驗證重播整理出 134,771 個訓練例子；開放的資料建構流程可供研究長流程工具操作的團隊參考。

  • 輸入知識文章或旁白稿，輸出多分鐘剪輯影片。
  • 單一 9B policy 每次呼叫一項工具，按編輯狀態自行規劃後續動作。
  • Studio 保留可編輯時間線，支援逐鏡修改與版本回退。
  • bf16 9B 模型約需 24 GB NVIDIA GPU；純介面模式毋須 GPU。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, AI productions, 模型, 模型訓練, NVIDIA, Video, 工具, 語音, Anthropic, 動畫

L3G-World 可以連續生成長達數分鐘影片

Share to X Facebook

L3G-World 把單張影像、文字提示和鏡頭路徑接成可持續探索的 3D 世界，重點在長片段一致性與生成速度。

L3G-World overview: input images, text and cameras initialize latent 3D Gaussian memory; L3G-Mem updates the memory whil

由單張影像、文字提示和鏡頭路徑開始，L3G-World 可以連續生成長達數分鐘、視角一致的影片。它屬於世界模型及視頻生成模型項目，針對長時間生成容易失去場景結構、記憶不斷膨脹的問題，加入可持續更新的 3D 記憶。

L3G-Mem 會在新探索區域建立 Gaussian，重訪舊區域時則修正原有幾何資料；L3G-Gen 再利用更新後的記憶，自回歸生成下一段影片。每個 Gaussian 儲存 VAE latent，直接渲染到 diffusion 的 latent space，省去先渲染 RGB、再重新編碼的步驟，配合 few-step video model，目標是支援即時生成。

  • 長時一致性：影片片段會共享持續更新的 3D memory。
  • 記憶增長受控：記憶量跟隨探索範圍，而不是單純跟隨影片幀數增加。
  • 多視角探索：支援單張影像或少量多視角輸入，沿不同 camera trajectory 延伸場景。
  • 速度取捨：直接 latent rendering 減少重建成本，但項目仍屬研究原型。

對需要從影像建立可探索場景的研究團隊、世界模型開發者、機械人和虛擬環境項目較有參考價值。相比每段影片獨立生成的做法，它把場景記憶放入閉環流程；代價是需要同時處理 3D Gaussian 記憶、latent rendering 和擴散模型，工程整合較複雜。

項目首頁展示了 minute-long generation、不同鏡頭路徑和多視角場景延伸，但未提供明確的 FPS、GPU 型號或 VRAM 要求。儲存庫列出的 L3G-Mem、L3G-Gen、推理程式及 Fast checkpoints 仍在發布計劃中，因此目前只能按公開展示理解能力，未能據此確認安裝流程、所需硬件或可直接部署程度。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 視頻模型, 世界模型, Video, Image, World-Action Model, 3D, 庫

Open-H3-Regenerate-2K：把 MiniMax H3 影片提升至原生 2K

Share to X Facebook

[YouTube 影片]NVIDIA 的 Open-H3-Regenerate-2K 可在 ComfyUI 將 480p MiniMax H3 草稿提升至 2K，並提供兩種測試方法。

Og image

將 480p 影片提升至 2K，往往要在畫面細節、運算成本與輸出穩定性之間取捨。NVIDIA Open-H3-Regenerate-2K 把這項流程帶入 ComfyUI，針對 MiniMax H3 產生的影片草稿進行高解像度重建，適合需要改善輸出尺寸而又想保留原有動態內容的影像工作流程。

影片示範以三個步驟完成處理，並測試兩種方法，相關檔案亦附有連結。不過，提供的原始資料沒有列出具體工作流程、模型檔案名稱、安裝方式或硬件要求，使用者仍需按影片內容及項目檔案確認 ComfyUI 節點、顯示卡記憶體和運算時間。

  • 將 480p MiniMax H3 草稿提升至原生 2K 影片
  • 以 ComfyUI 組合 NVIDIA Open-H3-Regenerate-2K 流程
  • 示範三步處理方式及兩種測試方法
  • 適合影片生成後的放大、修復及高解像度輸出
  • 硬件規格與安裝細節未在原始資料中提供

對內容創作者而言，這個項目可用於先以較低解像度製作草稿，再把選定結果交由高解像度流程處理，減少一開始便以 2K 生成所帶來的資源壓力。它較適合已經使用 ComfyUI、MiniMax H3 或 NVIDIA 影片模型工作流的使用者。

YouTube 影片介紹

Categories: ComfyUI, AI productions, 模型, NVIDIA, Video, Image, Content Creator, 安全, MiniMax

OmniShowcase：維持物件形態生成 360°影片運鏡

Share to X Facebook

幾張多角度參考圖，就能引導 Wan2.1 生成沿不同鏡頭路徑移動的物件影片，並盡量保持外觀與立體結構一致。現階段程式碼與資料集尚未公開，硬件需求亦未交代。

Repository image for justin4ai/OmniShowcase

想把一件商品或角色放進不同場景，再沿環繞鏡頭拍成影片，難處是視角轉到參考圖以外時，物件外形容易走樣。OmniShowcase 是一個影片生成模型項目，利用少量多視角圖片生成同一物件的影片，鏡頭路徑涵蓋完整 360° 環繞，目標是維持物件身份與 3D 結構。

它以 Wan2.1 image-to-video 模型為基礎，透過輕量 LoRA 調整生成模型。流程會由四張參考圖重建物件，再渲染成一組表面法線圖作為條件；生成影片時，鏡頭不必逐格對齊這組法線圖，提示詞可指定其他運鏡路徑。這令模型能沿指定路徑生成影片，而不只是重播固定的旋轉角度。

  • Showcase-4K 是合成訓練資料集，涵蓋 12 種鏡頭運動及 88 種路徑配置。
  • ShowcaseBench 是評測資料集，提供影片對應的來源網格與鏡頭參數，方便檢查生成結果。
  • 項目展示環繞、螺旋下降、弧線移動、推近及拉遠等運鏡；目前提供的資訊未列出量化評測分數。
  • 訓練資料、評測集、推理程式碼及訓練程式碼均尚待公開，暫時未能按文件安裝或執行。

這種方法適合商品展示、角色視覺化及需要多角度鏡頭素材的內容製作，也可供研究多視角條件影片生成的團隊參考。代價是生成品質依賴參考圖的 3D 重建與表面法線條件。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Image, 提示詞, 3D, Dataset 數據集, LoRA

Google Genie 4：即時探索與互動世界模型

Share to X Facebook

Genie 4 可按文字或圖像提示生成可探索的 3D 世界，讓研究人員測試 AI 如何在變化中的環境裡理解場景和採取行動。

Hero image preview

輸入一段描述或一張圖像，AI 便能生成可探索的 3D 世界，並隨玩家的操作即時改變場景。Google DeepMind 推出的 Genie 4 是一個世界模型研究項目，目標是建立能模擬環境、回應互動場景，為訓練和研究具身 AI 提供測試空間。

Genie 4: A new generation of world simulation

這類場景並非預先錄製的影片：玩家可以移動和探索，模型則持續生成後續畫面。研究人員可藉此觀察 AI 能否掌握環境的空間關係，並在多種情境中持續採取合適行動；不過，生成結果能否長時間保持一致，仍是世界模型需要面對的挑戰。

Genie 4 延續 Google DeepMind 的 Genie 系列研究。官方介紹聚焦於模型生成互動世界的能力，但未提供足以比較不同模型的完整量化評測，因此不宜單憑展示內容推斷它已能穩定支援所有模擬或訓練工作。

  • 可由文字或圖像提示生成可探索的 3D 世界。
  • 場景會隨玩家輸入即時變化，而非只播放固定影片。
  • 可用於研究 AI 的場景理解與行動能力。
  • 長時間維持世界一致性的能力及量化表現，仍需更多資料評估。

對具身 AI、遊戲環境生成和世界模型研究者而言，Genie 4 提供一種建立互動測試場景的方向；一般使用者則可透過生成世界，直觀感受模型如何把提示轉化為可操作的環境。

項目主頁

Categories: AI productions, 模型, 世界模型, 模型訓練, Google, Video, Image, 3D

InteractiveWorld：把穿戴式 AI 助理放進可驗證的互動世界

Share to X Facebook

穿戴式助理要看見甚麼、怎樣給建議，最後能否幫人完成任務，InteractiveWorld 把整段互動放進可持續變化的 3D 場景中測試。

First-person view of the human walking to a soda can, grabbing it, putting it on the coffee table and sitting on the sof

穿戴式 AI 助理不只要辨認眼前物件，還要理解人的要求、給出可執行的指引，並跟進行動後的變化。InteractiveWorld 是一套以人為中心的 3D 模擬器，用第一人稱視角呈現環境，讓助理與模擬人物多輪互動；同一個儲存庫亦提供 InteractiveBench，用來比較多模態大型語言模型（MLLM）在這類任務中的表現。

場景涵蓋 44 個 BEHAVIOR-1K 家居及活動空間。助理以對話提供建議，模擬人物則根據所見自行決定行動；研究者可用簡短指令描述抓取、開門、倒液體等操作，由模擬器處理移動、避障、操作物件及更新場景。世界狀態會延續到下一輪，因此助理要根據新視角調整回答，而非只生成一次性的文字答案。

InteractiveBench 收錄 120 個固定的多輪任務，分為六類，每類 20 個。評分會檢查場景中的狀態是否達成目標，而不是單憑回答文字判斷；基準亦提供評估流程、報告及影片。首頁資料提到曾以 12 個前沿 MLLM 進行評估，但所提供的內容沒有列出各模型分數，無法據此比較排名或判斷差距。

• 模擬器可用 Python API 開啟場景、執行動作、取得觀察結果及原生分數。
• 場景與人物行動涵蓋物件操作、室內移動及第一人稱畫面更新。
• 基準任務固定，適合研究團隊比較模型在多輪助理情境下的完成能力。
• 安裝指南列明資產準備與環境需求；執行需要處理 Isaac Sim 場景及相關資產，並非只呼叫一個輕量 API。

這個項目適合研究穿戴式助理、多模態模型及具身互動的團隊，尤其是需要可重複測試、以環境狀態核實結果的工作。模擬場景能補足純文字評測看不到的行動後果，但仍不能完全代表真實佩戴裝置時的感測誤差、人的習慣差異或實體操作風險；評測結果應視為模擬環境中的能力證據。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, API, Video, 3D, Python, 庫, Meta, 蘋果

World-in-Context 讓世界模型即時切換視角

Share to X Facebook

操控生成影片時，切換第一人稱、第三人稱與自由鏡頭，畫面仍要延續同一個世界。World-in-Context 以共享控制機制處理這項挑戰。

Alibaba Token Hub

想在生成影片中移動鏡頭、改變觀看角度，甚至在第一人稱與第三人稱之間切換，畫面仍須保持連貫。World-in-Context（WiC）是為互動影片世界模型而設的訓練框架，目標是讓視角、動作和鏡頭控制在同一段影片中協同運作，而不是各自處理。

WiC 以 Wan2.2-TI2V-5B 作為基礎模型，透過 In-Context Conditioning（ICC）把視角、動作與鏡頭控制轉成共享注意力空間中的 tokens；Interaction-Transport RoPE（IT-RoPE）則把累積的控制變化納入時間注意力。這讓系統可支援自由鏡頭、第一人稱及第三人稱視角，也能在影片進行中切換，適合研究互動式場景生成、遊戲環境及長時間因果推演。

在 WBench 評測中，WiC 的導航平均分為 81.5，視角切換成功率為 93.8%。這些結果反映它能處理導航與鏡頭切換，但不能單憑分數判斷生成影片在所有場景都同樣穩定；GPU 記憶體需求亦會隨影片尺寸和設定改變。

目前程式碼、訓練程式及 WiC 權重仍在審核，尚未公開，因此現階段無法自行安裝並重現推理結果。計劃中的版本要求 Linux、Python 3.10，以及支援 BF16 的 NVIDIA GPU；預設生成設定為 832×480、81 幀、16 FPS 和 50 個採樣步驟，並預計提供 11 個包含起始圖片、提示詞與控制資料的範例。

  • 以 Wan2.2-TI2V-5B 為基礎，加入 WiC adapter。
  • 同一影片支援自由鏡頭、第一人稱與第三人稱視角。
  • WBench 導航平均分 81.5，視角切換成功率 93.8%。
  • 程式碼與權重尚未公開，現時未能重現結果。

對研究影片生成、虛擬環境導航或互動遊戲場景的團隊而言，WiC 提供一條把鏡頭與動作控制合併訓練的路線；但在公開程式碼和權重推出前，這些能力仍主要停留在研究成果與展示範例，還不能直接納入工作流程測試。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, AI productions, 模型, 世界模型, 模型訓練, NVIDIA, Video, Image, 提示詞, 框架, 3D, Linux, Python

Iching 64 Motion：《易經》六十四卦結構動畫

Share to X Facebook

想看懂六十四卦如何生成、相互轉換，這部約三分鐘的動畫把卦象、數學關係與經典次序串成一條視覺線索。畫面和配樂均由程式生成，亦可自行預覽及渲染。

shot 8

由陰陽爻逐步生成六十四卦，再看卦象如何倒轉、互換和變化，iching-64-motion 把《易經》的符號關係整理成一部約三分鐘的知識動畫。它是以程式製作的動畫項目，處理的是如何把抽象卦序和結構轉成可觀看的畫面；內容聚焦符號系統，不提供占卜解讀。

全片分成七章，從邵雍「加一倍法」帶出六十四卦的生成，再以方圓圖、錯卦與綜卦、互卦、變卦、文王卦序、十二消息卦和京房八宮呈現不同關係。陰爻記作 0、陽爻記作 1，六爻卦可讀成六位二進制數；改變一爻，則可視為在六維立方體的頂點之間移動。這些呈現方式讓讀者能從圖像理解卦與卦之間的連結，而非只看靜態卦名。

畫面由 React、SVG 和 three.js 生成，Remotion 負責把場景渲染成影片；六十四卦、卦序等資料由程式推導，配樂則以 Python、numpy 和 scipy 合成，並按畫面事件安排聲音。項目沒有使用外部圖片、影片或音訊素材，視覺與音樂都能納入同一條可重現的製作流程。這對製作資料驅動動畫、教學影片或展覽內容的創作者，提供了可參考的做法。

本機預覽需要 Node.js 18 或以上；可在 Remotion Studio 預覽，再渲染 MP4；不生成配樂仍可預覽畫面。

  • 資料由定義推導生成，涵蓋 384 爻及本卦、之卦的 4096 種組合。
  • 可預覽並渲染影片；生成配樂需要額外安裝 Python 科學運算套件。

GitHub

Categories: 開源, AI productions, Video, Image, Audio, 教學, 工具, Content Creator, Python, 動畫, 音樂
Page 3 of 22
1 2 3 4 5 … 22