框架 – Page 6 – InferNews

InfinityEdit：支援多輪連續編輯嘅開源影片框架

2026 年 8 月 24 日

InfinityEdit 將影片編輯變成連續接力，每個指令都在上一段結果上再延伸。它適合要處理長片段、持續畫面同多輪改動嘅場景。

InfinityEdit 係一個影片編輯框架，核心問題唔係單次改一段短片，而係面對持續流入嘅影片，連續套用多個指令，令後一段自然接住前一段，仲要保住畫面連貫。對做長片生成、直播式視覺改寫，或者需要一路加指令一路修正畫面嘅工作流程，佢處理嘅正正就係「編輯唔可以只限喺固定片段內」呢個限制。

佢嘅做法係喺凍結嘅 video diffusion backbone 上面加一個輕量嘅 Edit-Ignition Adapter，令原本負責串流生成嘅模型多咗三層訊息路徑：歷史畫面引導、時間因果注意力，同埋編輯指令注入。生成時只會喺有新編輯指令到達嘅那一段啟動 adapter，之後嘅片段就交回原模型接力，記憶體負擔唔會一路膨脹。

項目提供訓練程式同多輪推理流程，安裝方法都幾直接，先建 Python 3.11 環境，再裝 requirements.txt，之後下載基座模型 Helios-Distilled。訓練分兩階段，第一階段學基本編輯能力，第二階段再針對低噪聲細節同時間權重做修正；推理則會輸出一串 source.mp4、edit_1、edit_2 之類嘅連續結果，方便睇到每次指令點樣疊落去。

同一般固定源片逐格改寫嘅方法相比，InfinityEdit 睇重嘅係「延續」而唔係「覆寫」。呢個取捨令佢更貼近長影片、持續鏡頭、反覆編修呢類工作，但亦意味住訓練資料要先做 VAE latent 同文字 embedding 預處理，流程比即插即用工具重少少。官方展示同評估都集中喺長片生成同多輪 sequential editing，顯示佢嘗試解決嘅唔係單次風格轉換，而係編輯累積後仍然保持穩定。

支援多輪順序編輯，每次指令都建立喺上一段已編輯內容之上
以凍結 backbone 配合輕量 adapter，改動集中，唔需要重寫整個生成模型
適合長片生成、持續鏡頭改寫、分段式影片修正呢類場景
訓練同推理都已經拆好流程，但前期資料預處理同模型下載仍然係必要步驟
評估重點放喺長序列穩定性同編輯連貫性，而唔係單一片段嘅局部改動

對做影片生成、研究串流式編輯，或者想將文字指令一路疊加到同一條影片流嘅團隊，呢個項目提供咗一個較完整嘅技術路線。佢唔係追求一次過改到最盡，而係用較細嘅介入，令編輯可以一路接力落去，仲保持住原本生成器嘅長片能力。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Embedding, Video, 框架, Python

VoxEMW：把 Mac 變成 1.3 秒回應的私人語音助手

2026 年 8 月 24 日

VoxEMW 將語音處理放在 Apple Silicon Mac，手機只需透過瀏覽器或 iOS 客戶端對話，回應速度與音色克隆是最大賣點。

對住手機講完一句話，約 1.3 秒後便聽到固定角色用克隆聲線回答，VoxEMW 屬於開源語音助手項目，處理判停、轉寫、對話調度及語音合成，解決語音對話延遲高、角色聲線難以保持的問題。Mac 負責主要語音管線，只有 LLM 大腦經 DeepSeek API 上雲，日常成本相對可控。

整套流程由 Silero 加 SmartTurn 負責判斷何時真正講完，Qwen3-ASR-0.6B-hf 在 MPS 上轉寫，再由 DeepSeek v4-flash 產生回覆，Qwen3-TTS-1.7B-Base 以 MLX 6bit 執行零樣本音色克隆。參考聲音配合逐字台詞便可註冊角色，首段聲音約 0.5 秒生成；中途打斷時，已播放及已聽內容會寫回上下文，對話較不容易斷層。

一块 4090 跑通 AI 视频通话全栈：Qwen3.8-27B 本地部署，对话时延 2 秒

Watch this video on YouTube

項目需要 Apple Silicon Mac 作本地伺服器，實測以 M5、16GB 記憶體可以流暢運行，模型及環境約需下載 4GB。瀏覽器可直接連接本機介面；iPhone 或 iPad 則要透過局域網 HTTPS/WSS 連線，並自行處理 TLS 證書、Xcode 簽署及免費帳戶七日側載限制。

• 回應最快 1.26 秒，中位數約 1.6 秒，實際速度仍受網絡及 API 影響
• VAD、STT、TTS 留在本機，DeepSeek API 按 token 收費
• 支援流式字幕、空回覆重試及語音中斷後續接
• 全屏星空會隨說話及聲波變化，增加角色互動感

相比全程雲端方案，VoxEMW 減少語音資料離開家中 Mac，但需要一部 Apple Silicon Mac 長期運行；相比完全離線方案，DeepSeek API 帶來額外費用及資料傳輸考慮。適合想建立固定聲線角色、研究低延遲語音管線，或有 Mac 作家庭伺服器的開發者，普通使用者則要先接受證書、模型環境及 API 金鑰設定等門檻。

GitHub

Categories: 開源, 文字轉語音, Qwen, DeepSeek, API, 框架, Mac, 語音, 蘋果

TRACE-Bench 拆解多參考生圖失誤來源

2026 年 8 月 18 日

多張參考圖生成得似，未必代表每個要求都做對。TRACE-Bench把失誤拆成可追蹤能力，方便看清模型真正卡在哪裏。

生成圖片時同時引用多張參考圖，最難的地方往往唔係畫面夠唔夠完整，而係模型有冇準確保留指定主體、抽出正確屬性，再綁到啱嘅目標上。TRACE-Bench屬於 Multi-Reference Image Generation Benchmark，處理的正是這類「成品看似合理，但細節要求逐項出錯」的評估問題。它不再只用一個總分判斷好壞，而是把每條提示拆成可追蹤的能力步驟，讓研究者知道錯誤發生在身份保留、屬性抽離、屬性綁定，還是多元素構圖。

這個基準最核心的做法，是用四個原子操作統一資料建構、評分與診斷流程：Anchor負責鎖定並保留參考主體的身份特徵，Disentangle負責把某個屬性從原本載體抽離，Apply負責把抽出的屬性自然地套到指定目標，Compose則負責在空間、關係或整體場景限制下安排多個內容。TRACE-Bench把每個 prompt 表達成 compositional formula，令多參考生成不再只按「風格轉移」或「主體組合」這類粗分類來看，而是按能力需求逐層拆解。

它和常見 benchmark 的差異，在於評估單位由任務類型改成能力組合。原有做法容易出現覆蓋不足、案例難度難比較、失敗原因不透明等問題；TRACE-Bench則把同一套公式結構用於案例生成與對齊評分，並要求參考資訊有精準 grounding。資料規模方面，這個 benchmark 約有1,600個 evaluation cases、631個公式模板、約4,000張 reference images，覆蓋1至8個 operator slots，並評估了9個領先模型。現有結果顯示，真正的瓶頸主要落在 attribute disentanglement 同 binding，不是單純的場景級 composition。

對模型研究、影像生成工作流設計，甚至要挑選評測方法的團隊來說，TRACE-Bench的價值在於它能把「生成得唔錯」這種籠統印象拆成具體能力地圖。當案例失敗時，它還會用遞迴簡化方式做 diagnosis，逐步定位干擾來自哪一個參考需求。對於想改進多圖條件生成、測試 reference-following 能力，或者分析模型為何經常把屬性套錯對象的人，這種可追溯結構比單一總分更有用。

用四個操作符描述多參考生成：Anchor、Disentangle、Apply、Compose。
每個 prompt 都可寫成 compositional formula，方便控制複雜度與對齊評分。
約1,600個案例涵蓋1至8個 operator slots，資料來自約4,000張參考圖。
九個模型的評估結果指出，屬性抽離與屬性綁定比場景構圖更常成為瓶頸。
原始資料聚焦 benchmark 設計與診斷方法，未提供一般讀者可直接下載或部署的完整使用流程。

整體來看，TRACE-Bench不是再增加一批「看圖感覺差不多」的測試題，而是把多參考生圖最難處理的依賴關係寫成可分析、可比較、可回溯的結構。當模型要同時記住誰是誰、哪個屬性要抽出、又要套到哪個實體上時，這套方法更能反映能力上限與失誤模式，也讓後續改進有更清晰的落點。

項目主頁

Categories: AI productions, Image, 框架, Dataset 數據集

MBA：把商業點子變成多模態評測題

2026 年 8 月 13 日

MBA 將商業點子生成拉回真實場景，讓模型不只看文字，還要理解圖片、情境同市場證據。它同時提供評測基準同兩個 agent 訓練版本，方便比較不同取捨。

MBA（Multimodal Benchmark and Agents for Real-World Business Ideation）把原本偏文字的商業構思流程，改成要連圖片、場景同市場證據一齊理解的多模態任務。對做產品構思、創業點子篩選或研究 agent 的團隊來講，重點唔係生成幾多答案，而係點樣喺真實視覺線索下提出夠新意、又講得通的方案。

這個項目同時提供 MBA-Bench 同兩個 agent，MBA-b 同 MBA-k。前者偏盲測設定，後者會利用已知標準，兩者都用 LoRA-based supervised fine-tuning，再接 group relative policy optimization，並加入 creativity、feasibility 等獎勵去訓練。

官方資料提到，MBA-Bench 有 30K 筆樣本，涵蓋六個有明顯視覺線索的領域，評估亦用多個商業向準則去看答案是否具體、可行、具差異化同可擴展。這代表它不只是比模型「講得靚」，而是逼系統在多個限制之間作取捨。

倉庫提供環境設定、資料準備、訓練同推理流程；資料亦可從 Hugging Face 取得，適合想重跑基準、改 reward 設計，或者把 multimodal agent 套到商業 ideation 工作流嘅研究者同工程團隊。現階段最它把 business ideation 由純文本任務，推向更接近現實訊號的評測框架。

同時有 benchmark 同 agent，方便做訓練、比較同復現
強調圖片與市場證據，唔再只靠文字提示
以 creativity 同 feasibility 作核心獎勵
MBA-b 同 MBA-k 對應 blind 與 known 兩種設定
適合做多模態 agent、產品構思同商業研究的團隊

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, 模型訓練, 框架, Dataset 數據集

S2R 用物理模擬解決影片反光

2026 年 8 月 13 日

隔住玻璃拍片常見嘅反光，會令畫面難睇又影響後續辨識。S2R 把合成、去反光同評測串成一條流程，重點是先補足可信訓練資料。

隔住玻璃拍攝時，反光往往唔只影響觀感，仲會干擾偵測、辨識同追蹤等後續視覺工作。S2R 屬於影片去反光項目，重點唔係單靠清理單幀畫面，而是同時處理資料不足、時間連貫性同評測基準缺位三個卡位。

呢個項目用一個閉環流程連接 S2R-Synthesis、S2R-Removal 同 S2R-Benchmark。前段先以 Physics-Grounded Augmentation 與影片擴散生成方法合成成對影片，控制玻璃粗糙度、反射率、厚度等性質；後段再把 pretrained video diffusion prior 調整成適合去反光的模型，加入 reflection-aware latent adaptation 同 one-step pixel-geometric refinement，減少殘影並維持時序一致。

它跟常見做法最大分別，在於先把反光結構同外觀拆開處理。S2R-Synthesis 會從 FLUX-generated pseudo videos 學習較真實的反光外觀，再把兩段乾淨影片經 Physics-Grounded Augmentation 融合，生成可配對訓練資料，避免只靠傳統合成或少量真實資料，令模型較難學到穩定的影片反光模式。

用物理約束方式合成反光影片，補足 paired video data 不足
以 diffusion-based video dereflection 處理影片，強調跨幀一致性
提供 S2R-Benchmark，兼顧 full-reference 評估同真實場景人類感知評估
在 OpenRR-1k 的結果中，加入完整 PGA 後，PSNR 與 SSIM 都比基線再提升

現有資料顯示，S2R 特別適合需要穿玻璃拍攝的內容整理、監控視覺流程，或者任何重視畫面可讀性與後續分析品質的工作流。項目亦反映一個明確取捨：先花力氣建立可信的反光合成與評測系統，再用 diffusion-based 方法做移除，換來較完整的訓練閉環，但最終表現仍會受真實場景複雜反射型態影響。

項目主頁

Categories: Stable Diffusion, Video, Image, 框架, Dataset 數據集, 小米-Xiaomi

Self-Geometry 補強 3D VFM 幾何一致性

2026 年 8 月 13 日

同一個場景睇落都幾準，跨視角一對就出現幾何唔一致，正正係 Self-Geometry 想補上的缺口。它用測試階段微調，幫現成 3D Vision Foundation Models 把深度、位姿同 pointmap 對齊。

單張推理已經夠快，但去到多視角場景，depth、camera pose 同 pointmap 未必互相講得通，之後做重建、定位或者室內掃描就會累積誤差。Self-Geometry 屬於 3D 視覺模型適配流程，重點唔係重新訓練一個新模型，而係喺測試階段替現有 3D Vision Foundation Models 補回明確幾何約束。

它採用 GT-Free 的 Test-Time Adaptation (TTA)，直接由 2D pixel correspondences 生成 pseudo ground-truth，再把 Multi-View Consistency、Epipolar Consistency 同 Gradient Disentanglement 組合起來，減少幾種幾何訊號互相拉扯。配合基於 SO(3) geodesic distance 的 Frame Angular-Neighbor 抽幀方式，以及用 LoRA 做 Lightweight TTA，部署理解上比較直接：你可以把它視為加喺 VGGT、π³、DA3-Giant/Large/Base/Small 之上的後處理適配層，而唔係取代原本 backbone。

同類做法常見會依賴模型自己輸出的隱式一致性訊號，Self-Geometry 則改為在測試時加入顯式 multi-view geometry constraints。取捨亦好清楚：它換來較穩定的 pose estimation 同 geometry estimation 改善，但仍然要針對每個 scene 做一次短時間適配，未必適合極端低延遲或單張即時推理流程。

現有資料指出，它在六個 VFMs 同四個 benchmarks，包括 7Scenes、ETH3D、ScanNet++、HiRoom，都有一致提升，而且每個 scene 的適配可在兩分鐘內完成。互動示例亦提供 baseline 與 Self-Geometry 的 pointmap、depth-map 對照，以及相對 TCO、Free-Geometry 的 depth-error、pointmap-error 視覺比較，較適合做 3D reconstruction、camera localization、室內空間感知，或者想保留既有 VFM 而補強幾何一致性的研究團隊同工程項目。

針對預訓練 3D VFM 的多視角幾何不一致問題，而唔係另起一個新模型
用 2D pixel correspondences 當 pseudo ground-truth，避免依賴真實標註
可直接套用到 VGGT、π³、DA3 系列，核心形式屬於 plug-and-play TTA
已公開互動比較與定性結果，重點放在 depth、pointmap 與 pose 的一致改善

項目主頁 · GitHub

Categories: 開源, 框架, 3D

NCP-Bench 把電影故事變成可逐輪檢查的互動環境

2026 年 8 月 13 日

這個基準把電影故事變成可逐輪檢查的互動環境，重點不是講得順，而是能否守住既定事實與劇情承諾。你可以把它理解成用來測試 LLM agent 會否在長對話中改寫故事的工具。

NCP-Bench overview: data construction, interaction history, and evaluation framework

NCP-Bench 是一個 benchmark，加上一套固定 evaluator，用來測試 Interactive Narratives 裡的 Narrative Commitment Preservation (NCP)。它處理的問題很直接：當玩家自由輸入動作時，Narrator agent 會不會偷改已建立的世界事實，或跳過本來應該出現的劇情節點。

使用方式偏向研究與評測流程：每個電影 synopsis 會被轉成 stateful environment，內有 initial fact ledger、narrative commitments 同 ordered reference trajectory；agent 每回合回應後，固定 evaluator 會檢查 fact、commitment 同 player-input conflicts，再更新狀態。儲存庫同時提供 100 個 benchmark environments、方法無關的 episode runner，以及 Baseline 和 HiAgent 參考方法，方便直接比較。

這套做法的價值在於，它不只看文字是否自然，還逼系統在長 horizon 內維持一致性。和只看單輪生成的測試比，NCP-Bench 更接近互動式敘事真正會遇到的拉扯：玩家可以亂入，但系統仍要守住已承諾的劇情骨架。

較適合關心長對話敘事、互動式故事生成、角色扮演型 agent 的研究者與團隊。若要部署，重點不是訓練一個新模型，而是接上既有 narrator，再用 repo 提供的環境規格同 evaluator 跑整個 episode，觀察違反事實、承諾和劇情順序的情況。

100 個 movie-level environments，涵蓋 18 個 genres
每個環境都有 YAML 規格，包含 metadata、facts、commitments 同 trajectory nodes
評測核心是逐回合檢查一致性，而非只看最終輸出
提供 Baseline 與 HiAgent，方便和論文結果對照
適合做長篇互動敘事、Narrative agent 與一致性評測

GitHub

Categories: 開源, Agentic, 框架, Dataset 數據集

StateFlow 把預視化變成可反覆編修 3D 世界

2026 年 8 月 13 日

想像先搭好一個可重用的3D世界，再慢慢改鏡頭、物件同事件。StateFlow想處理的，正是生成式預視化最常見的連貫性問題。

影像預視化最麻煩的地方，往往不是生成一條片，而是改完場景、換完鏡頭之後，前後內容仲要講得通。StateFlow屬於面向 previsualization 的 3D world-state modeling 框架，它把場景視為可持續保存的 3D world states，令同一個世界可以反覆建構、演化、再取用，而唔使每次修改都由頭生成。

呢個做法先處理內容一致性，再處理畫面輸出。StateFlow用 object-centric structured 3D state 去描述世界，每個物件都帶有 geometry、spatial pose 同 semantic attributes，將底層世界內容同最終 render observations 分開，於是場景結構、物件關係、動態事件同 cinematic camera direction 可以分步調整。

整個流程分成三段。State Construction 針對 2D 內容提升到 3D 世界時容易出現的歧義，用 prior-guided、conflict-aware dual-view initialization 建立較一致的起始世界；State Evolution 把使用者修改轉成 structured state transitions，保留 world memory，避免每次編修都重建整個場景；State Access 則配合 render-feedback reflection，把鏡頭意圖修正成視覺上可行的 cinematic trajectories。

把一次性影片生成，改成可編修、可重用的 persistent world
同一套世界狀態可支援 video production 同 3D game prototyping
重點不只是生成畫面，而係保住場景結構、物件關係同時間上的連貫性
鏡頭控制加入 render-feedback reflection，提升拍攝路徑的可行性

使用場景相當清楚：要先做分鏡、試鏡頭、試事件節奏的創作團隊，或者想由 3D scene 快速走到 playable prototype 的遊戲項目，都會較受用。現有內容著重方法展示、應用示例同與 baselines 的 3D scene generation 對比，但未見完整論文與量化細節公開，所以目前較適合視為一個值得留意的工作流方向，而唔係已完全定型的產品規格。

項目主頁

Categories: 北京大學, 視頻模型, Video, World-Action Model, 框架, 3D

Rest2Art 用單張靜態觀察重建可動 3D 物件

2026 年 8 月 12 日

只見到物件關上的樣子，Rest2Art 仍可推回零件結構與關節。對數碼孿生、模擬和機械人操作都幾實用。

只見到抽屜關上、櫃門未打開，系統仍要估到哪些部分可以動、會沿哪個軸轉或滑，這正是 Rest2Art 想處理的難題。它屬於 articulated object reconstruction，目標是由單一 closed-state observation 重建出可直接放入模擬環境的 articulated asset，而不需要先拍到物件在不同狀態下的運動。

這個做法的價值，在於把原本要靠動態觀察先完成的工作，提前到靜態輸入就處理好。Rest2Art 會先用 vision-language model 與 segmentation model 互相校正零件層級和遮罩，再把結果對應回 mesh；之後再借助 video diffusion model 產生可能的 articulation hypotheses，但真正的 joint parameters 不是直接照抄影片，而是再用幾何一致性去驗證。

回應了一個很現實的限制：很多日常物件未必容易拍到完整開合過程，但建模、模擬與機械人任務仍然需要知道它如何運動。Rest2Art 用 explicit mesh 作為中介，方便跨模型比對與融合，最後再把各部分轉成封閉體積，令輸出不只是「睇得明」，而是可用於 physical simulation。

單靠 single closed configuration 重建 part-level geometry 與 joint parameters
結合 vision-language model、segmentation model 與 video diffusion model 補足缺少 motion cues 的問題
以 explicit mesh 做 cross-model verification and fusion，減少不同模型輸出互相衝突
可輸出 simulation-ready articulated asset，並支援 URDF 匯出

論文描述顯示，它在 reconstruction-based、generation-based 與 modular pretrained-model families 之間，都能做到有競爭力的表現，重建出的零件分解與關節亦具備 physical plausibility。對數碼孿生、虛擬場景整合、real-to-sim-to-real，以及機械人 policy learning 而言，這種由靜態觀察直接產生可互動資產的流程，明顯比只重建外形更進一步。

項目主頁

Categories: 視覺模型, 多模態模型, Video, 影像處理, 框架, 3D, Dataset 數據集

NeMo Speech：NVIDIA 把 ASR、TTS、語音 LLM 收進同一條 PyTorch 生產線

2026 年 8 月 12 日

NVIDIA 把語音研究最常碰到的 ASR、TTS 與 Speech LLM 整合成單一框架，研究員和工程師不用再東拼西湊，也能用預訓練權重快速微調與部署。

語音 AI 的痛點往往不是模型不夠強，而是開發者要同時面對 ASR、TTS、串流識別等好幾套獨立工具鏈。NVIDIA NeMo Speech 把這些任務收進同一個 PyTorch 框架，並提供預訓練權重，讓研究員可以把精力花在實驗設計，而不是從頭搭建訓練流程。

從近期更新可以看到三個值得留意的方向：MagpieTTS v2607 把支援語言擴展到 12 種，新增阿拉伯文、韓文、葡萄牙文；Nemotron-3.5-ASR-Streaming-0.6B 在單一 H100 上能同時處理最多 2400 條串流，並允許把延遲控制在 80ms 到 1s 之間；Parakeet-unified-en-0.6b 則把離線與串流推理合併成一個英文模型，最短延遲 160ms。

Nemotron 3 VoiceChat 把 LLM、骨幹與 TTS 解碼器串成全雙工對話，能自然處理打斷與插話，這對於想建立語音助理的團隊是比較完整的一條路。Fastconformer 等快取感知架構是背後的工程功臣，讓長音訊串流不需要犧牲太多吞吐量。

訓練階段必須配備 NVIDIA GPU 與 CUDA 環境，推薦使用 PyTorch 2.7 或以上版本；現時倉庫正進行拆分，下一個主要版本預定 2026 年 6 月發佈，短期內穩定使用可以考慮 26.02 NGC container。對做客服、會議記錄、媒體字幕或有聲書生成的團隊，這套框架能把語音模型從原型走到部署的距離明顯縮短。

重點摘要：

單一框架覆蓋三大任務：ASR、TTS 與 Speech LLM 都在 NeMo Speech 內，減少切換工具鏈的成本。
串流效能突出：Nemotron-3.5-ASR-Streaming-0.6B 支援 40 種語言，單張 H100 可並行 2400 條流，延遲可調。
多語 TTS 擴張：MagpieTTS v2607 覆蓋 12 種語言，並提供 Hugging Face 線上 demo。
全雙工語音助理：Nemotron 3 VoiceChat 把 LLM 與 TTS 解碼器結合，支援自然打斷與低延遲對話。
硬體要求明確：至少配備 80 GB 記憶體。訓練需 NVIDIA GPU 與 CUDA，PyTorch 2.7 或以上版本，推理可在 CPU 或 GPU 執行。

GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, NVIDIA, 框架, Python, 語音, Dataset 數據集

Page 6 of 26

« Previous 1 … 4 5 6 7 8 … 26 Next »