InferNews

AVE-Compass：音畫編輯終於有了更嚴格的驗收尺

Share to X

AVE-Compass 把音效、畫面與指令完成度放在同一套測試中，揭示編輯模型最容易忽略的失真與不同步問題。

AVE-Compass overview

音畫編輯模型最難兼顧「改得夠準」與「其他內容不走樣」。AVE-Compass 是一套針對自由格式音訊影片編輯的診斷基準及評估工具，檢查模型有沒有完成指定修改，同時保留非目標畫面和聲音，亦會捕捉音畫不同步與感知瑕疵。

測試範圍包括145段來源影片、196條經人工核實的音畫指令、2,688項細緻 checklist，以及28種編輯操作，涵蓋聯合音畫、語音、純影片和純音訊修改。它以 Multimodal Large Language Model (MLLM)-as-Judge 配合跨模態、影片及音訊自動指標，分開計算 Instruction Following、Fidelity Preserving、Editing Intent 和 Realism。

MiniMax H3 Turbo LoRA Faster Sampling Steps & Prompt Agent Skill

使用者可從 AVE-Compass-v2 資料集取得樣本，再按設定檔和輸入模板交予評估 pipeline，輸入來源影片、指令、checklist 及模型產生的編輯結果。樣本以共享的識別值配對，來源影片則由 instruction JSON 解決；未啟用或缺失的客觀指標會維持未設定，不會被當成虛構的零分。

重點可整理為：
– Editing Intent 同時要求完成修改及保留非目標內容，避免模型不作修改卻取得偏高保存分數。
– 音訊執行和音畫時間同步是常見失分位置。
– AVE-Agent 加入 planning 和 self-reflection，對複雜指令的 Editing Intent、Instruction Following 及音訊處理有較明顯改善。
– 基準適合研究團隊比較模型，也適合影片生成產品建立回歸測試。

它的價值不在於只給一個總分，而是把「改錯了甚麼」拆開呈現；代價是需要模型輸出影片、完整評估資源及相應 MLLM，部署門檻高於單純像素或音質比較。對正在開發跨模態編輯模型的團隊，AVE-Compass 更像一套找出失敗原因的驗收框架，而不只是排行榜。

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, 語音, Dataset 數據集, 南京大學

VIABench 視覺模型如何協助失明應用

Share to X

不少影片模型識描述畫面，未必識幫人做決定。VIABench 把測試搬到視障人士日常片段，重點睇模型能否提供真正有用的協助。

VIABench cover

講到視覺模型，很多測試仍然停留在「見到乜、答到乜」；VIABench 把焦點轉去更貼身的助盲情境，直接檢查多模態大型語言模型可否在日常片段中作出提醒、回答環境問題，甚至按目標提供引導。它屬於Dataset 數據集兼評測基準，處理的是視障協助場景長期缺乏貼地測試標準這個問題。

VIABench 不再只量度被動理解，而是把影片 Multimodal Large Language Models 與真實任務綁在一起。資料來自盲人錄製或分享的第一身影片，包含 761 段影片、46.9 小時內容，以及 14,526 筆人工整理標註，圍繞 Proactive Reminder、Visual Question Answering、Vision-Guided Interaction 三類任務，測試模型會否在合適時間講合適內容。

和常見視覺問答基準相比，VIABench 的分野在於它重視「協助能力」多過一般描述能力。這意味模型不單要看懂畫面，還要判斷何時提醒、如何回應環境細節，以及怎樣支援使用者完成目標；取捨是任務更接近真實世界，但評測難度也更高，單靠表面語意對齊未必夠。

  • 核心價值在於測試影片 MLLMs 能否提供可行協助，而非只做畫面解說
  • 任務覆蓋主動提醒、視覺問答、互動引導三種助盲場景
  • 數據來自真實第一身影片，場景代表性比通用影片基準更強

較適合關注無障礙 AI、assistive technology、video MLLMs 評測的研究團隊，也適合想比較不同模型在真實互動場景表現的人。現有資料已足夠理解它作為基準的定位；使用前較合理的做法，是先查閱論文與 Hugging Face 資料集頁面，再確認支援哪些相關模型與評測設定。

GitHub

Categories: 開源, Video, 多模態模型, 視覺模型, Dataset 數據集, 南京大學

VideoChat3 一個睇得耐又睇得準的影片模型

Share to X

要同一個模型同時處理細微動作、長片理解同直播回應，一向好難。VideoChat3 把重點放在時序理解同效率，定位相當清晰。

VideoChat3 logo

影片理解最麻煩的地方，往往唔係「識唔識睇」，而係要一邊保留動作細節，一邊捱得住長時間片段。VideoChat3 就係朝住呢個矛盾落手：它屬於多模態模型（Multimodal Large Language Model, MLLM），目標係用同一個 4B 模型處理細微動作、長片推理、temporal grounding 同 live streaming 回應。

同類項目好多時只會專注其中一段工作流，例如短片動作辨識，或者長片問答。VideoChat3 的取向係做 generalist video understanding，代價就唔係追求單一場景最極致的規格，而係用 I3D-ViT 同 Adaptive Frame Resolution 平衡 token 成本、時序證據同延遲，令模型唔需要全程用高成本方式讀完整段影片。

  • 重點唔只係睇單格畫面，而係保留跨時間的證據
  • I3D-ViT 提供 16× spatiotemporal compression，主打效率
  • Adaptive Frame Resolution 會按需要提高畫面解析度，較適合 streaming 場景
  • 已公開 model weights 同完整訓練數據，但 training code 仍未釋出

部署同測試的理解方式幾直接：現階段較接近研究釋出與模型體驗，適合先經 Hugging Face 取用 models & data，再按示範場景驗證長片問答、時間定位同串流回應表現。README 已列明完整訓練資料包括 Academic2M、LV116K、OL617K，對研究團隊、做 video agent、或者要建構影片檢索與監察流程的團隊最有參考價值。

公開資訊亦交代咗幾個關鍵數字：4B parameters、3M curated instruction samples、2,048 frames 下約 20.4s latency。呢啲數據未必代表所有環境都會有同樣效果，但至少講清楚它想證明的方向：唔靠超大模型，都可以把影片中的時間線索、事件關聯同即時反應放入同一套架構。相關模型與模組則以 VideoChat3、I3D-ViT、Adaptive Frame Resolution 為核心，整體更似一個面向研究與進階應用的開源影片理解項目。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, Video, 3D, 多模態模型, 模型, 視覺模型, 框架, 南京大學

SciReasoner 想把科學推理拉回結構本身

Share to X

做蛋白質、分子同材料推理，只靠文字序列往往唔夠。SciReasoner把3D結構直接變成可推理證據，重點是答案背後的科學線索都盡量保留。

SciReasoner architecture overview

只看文字去判斷蛋白質功能、分子反應性或材料性質，經常會漏掉真正關鍵的空間結構。SciReasoner屬於多模態 scientific foundation model，針對的正是這個落差：把 protein structures、3D molecules、crystals、sequences、formulas 同 text 轉成可對照的 structure-aware evidence tokens，再用來做 scientific QA、prediction、classification 同 generation/design。

與科學資料先「文字化」再交畀大型語言模型處理的做法不同。作者明確押注 native structural reasoning，保留 Foldseek 3Di、ConfSeq、SLICES 呢類結構編碼，令模型唔係淨係讀描述，而係可以沿住 residues、fragments、conformers 甚至晶體配位環境去推理；官網展示的 traces 亦反映出，項目希望連推理路徑都可以檢查，而唔只係輸出答案。

GitHub 上的 models 同 demo 仍標示為 coming soon。換句話說，眼前較合理的理解方式係先把它當成研究型項目：閱讀 benchmark、看案例 traces，判斷它是否適合生物資訊、化學資訊或材料 AI 團隊之後的評測與整合方向，而唔係即刻下載部署到生產流程。

  • 在 86 個評測任務入面，67 個做到 state-of-the-art，對比 generalist LLM baselines 有 75 個任務表現最好
  • 與已發表的 specialist 方法相比，在 33 組比較入面有 26 組持平或更好
  • 範圍唔只化學，亦覆蓋 proteins、DNA/RNA、small molecules、3D molecular structures 同 inorganic crystals
  • traces 可檢查，雙盲專家評分中，與 DeepSeek-V4-Pro 相比有 98% 判斷屬 preferred 或 comparable

相關模型方面，SciReasoner以 Qwen3-14B 初始化，再對齊 domain-native structural vocabularies。對需要跨蛋白質、核酸、分子同材料做統一推理介面的團隊，呢個方向幾有吸引力；限制同樣明顯，因為公開模型與可直接測試的 demo 尚未提供，現階段更適合當成值得追蹤的研究項目，而唔係可即用工具。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, 香港, 香港中文大學, DeepSeek, 3D, Medical醫學, 多模態模型, 模型, 中國, 南京大學, Dataset 數據集

Light-Omni 想把長影片 Agent 變得更快

Share to X

面對長影片互動，Light-Omni唔再靠一輪輪搜尋同推理。它把記憶、檢索同回應壓縮成較輕量流程，重點放在速度同連續互動。

Light-Omni

長影片互動最易卡住的位，不是模型看不懂，而是每次都要重新搜尋線索、反覆推理，回應自然會慢。Light-Omni把這件事改寫成一個Agentic video understanding研究項目：用長期多模態記憶處理視覺、語音與文字串流，目標是讓代理在連續對話中更快決定要直接回答、提取記憶，還是補足證據。

現有做法常採用作者所說的 detective-style iterative reasoning，一邊規劃、一邊搜尋、一邊聚合證據；好處是步驟清楚，代價是延遲高、計算開銷大。Light-Omni提出 reflexive video understanding，核心不是拉長 reasoning loop，而是以單次 forward pass 產生全域脈絡與 retrieval embeddings，再配合 Generation Adapter、Memory Adapter、Reaction Adapter 三個模組，分別負責回應、長期記憶整理，以及預測何時檢索。

這個取向的價值很直接：它不是追求最繁複的推理鏈，而是優先解決互動代理在長影片場景的反應速度。項目建基於 Qwen2.5-Omni，示範則用 Qwen3-Omni-30B-A3B-Instruct；記憶設計包含 identity profiles、semantic memory、episodic memory，並加入 sleep-time memory consolidation，把較長時段的觀察壓成緊湊全域狀態，同時保留近期細節。

  • 相比 M3-Agent，平均準確率提升 2.4%
  • 速度達 12.1x，加強長影片互動的即時性
  • GPU 記憶體效率提升 2.6x，較適合資源有限的部署
  • 倉庫附有 eval.py、Flask/Socket.IO demo、Hugging Face 模型與訓練資料

想驗證這個項目，現時可沿三條路理解：先看 web demo 感受反應方式，再用倉庫內的 eval.py 配合 logs/ 檢查長影片 benchmark 結果，最後參考 thirdparty/ 內已修補的 transformers 與 ms-swift 組件做訓練或推理環境配置。較受用的讀者會是做多模態代理、長影片理解、記憶檢索，或者需要低延遲互動系統的研究團隊；它仍屬研究原型，效能數字主要來自項目提供的 benchmark 與示範，部署前仍要按自己的影片長度、硬件條件與任務形式再核實。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, Video, Embedding, 多模態模型, 模型, Dataset 數據集, 南京大學

多模態程式碼生成論文整理：視覺輸入如何改變寫程式

Share to X

一份聚焦於「看圖寫程式」的論文清單，涵蓋 UI、圖表、SVG、CAD 等多模態程式碼生成的研究與基準。

mllm code logo

Awesome-Multimodal-LLM-for-Code 是一份論文整理型資源庫（paper list / survey collection），專門蒐集「多模態大型語言模型（Multimodal LLM, MLLM）用於程式碼生成」相關的研究論文、基準測試與評估方法，核心任務是把「視覺輸入」與「程式碼輸出」串接起來，例如把 UI 截圖、圖表、SVG 向量圖、CAD 草圖轉成可執行的程式碼。

傳統的 text-to-code 研究主要處理純文字描述生成程式碼，但很多真實任務的意圖是透過圖片、影片或互動畫面來表達的，純文字範式無法處理版面配置、視覺語意與互動行為等約束。這個資源庫把研究切成清楚的子題，包括 Web/Mobile UI 程式碼生成、科學圖表程式碼生成、視覺豐富的程式設計題、SVG 生成、簡報生成、UML、CAD、海報、3D 點雲、遊戲程式碼，以及程式修復等，方便研究者按場景查找對應論文。

與一般 Awesome 列表相比，這份資源的差異在於聚焦於「視覺證據如何影響程式正確性」，並收錄了 Design2Code、ChartMimic、Chart2Code、StarVector、PPTAgent、ScienceAgentBench 等具代表性的基準測試與模型。從支援資料可以看到，附帶的 survey 論文進一步把領域分成 GUI、科學視覺化、結構化圖形與前沿任務四大類，並指出視覺相似度不足以評估正確性，還需要語意、互動與領域約束的證據。

對前端工程師、資料視覺化研究者、AI 程式碼助手開發者，以及做 benchmark 設計的人特別有用，能快速掌握 MLLM 在程式碼任務上的最新進展與評測方法。

重點摘要：

  • 屬於論文整理資源庫，聚焦多模態程式碼生成
  • 涵蓋 UI、圖表、SVG、CAD、簡報、3D 等十多個子題
  • 收錄 Design2Code、ChartMimic、ScienceAgentBench 等基準
  • 強調視覺相似度不足以評估程式正確性
  • 原始資料未提供安裝或部署方式，僅供論文索引與閱讀

GitHub： https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code

Categories: 開源, 香港, 香港大學, 香港中文大學, 編程, 中國, 南京大學

Relit-LiVE：令影片重新打燈更自然

Share to X

這個專案主打影片重打光，重點是光影連貫而且更像真實拍攝。對影像研究者和進階創作者特別有參考價值。

Nanjing University

Relit-LiVE 是一個用來幫影片「重新打燈」的研究型專案。簡單講，就是把原本影片中的人物或場景，在不改動內容主體下，換成另一種光線效果，並盡量保持整段影片前後一致，不會一時光、一時暗。

這個專案較特別的地方，是它不依賴預先知道鏡頭姿態，並且會一同生成重打燈影片與環境光影片。這種做法有助提升物理一致性，令反光、陰影等細節看起來更合理，對比只逐格處理的方式，更重視時間上的穩定。

實際使用上，它目前較適合有 NVIDIA GPU 的使用者，官方亦建議至少 24GB VRAM，代表一般人未必適合在普通手提電腦直接試。現階段已提供推論程式與模型權重，但訓練流程、完整 inverse-forward pipeline，以及 Gradio 介面似乎仍未完全公開。

如果你是做影像研究、生成式影片實驗，或者想測試影片後期中的光照控制，這類工具會幾有參考價值。它未必是即開即用的消費級產品，但對需要高質感光影變化、又想減少畫面閃爍的人來說，方向相當清晰。

  • 主要用途是把現有影片重新套用新的光照效果
  • 重點創新是聯合生成環境光影片，提升連貫性與真實感
  • 已公開推論代碼與 checkpoints，適合先做效果驗證
  • 硬件要求偏高，較適合研究者或進階創作者
  • 相關模型資訊可見權重路徑提到的 Wan2.1-T2V-1.3B，亦有 Hugging Face 模型發佈頁可供參考

整體來看，Relit-LiVE 最吸引之處不只是「換光」，而是嘗試令影片中的光影變化更像真實世界。若你關心影片生成中的物理合理性、時間穩定性，以及反射和陰影表現，這個專案值得加入觀察名單。

Source: https://github.com/zhuxing0/Relit-LiVE

Categories: 開源, 影像處理, 模型, 視覺模型, 視頻模型, 中國, 清華大學, 南京大學