InferNews

LensErase 超精確移除物件，水印

Share to X

只需圖片與 mask，LensErase 便可移除物件、文字或水印，再按周圍內容補回較自然的畫面。

logo mark

移除圖片中的水印、文字或多個物件時，難處往往不在於遮走目標，而是要同時處理陰影、反光及原本被遮住的背景。LensErase 以 foundation model 形式處理這類影像擦除工作，輸入一張圖片和一個 mask，輸出清理後的結果，適合海報整理、圖片修復及內容再利用等場景。

項目配套的 LensErase-100M 包含 101.07M 組對齊的 input–mask–target 三元組，涵蓋一般圖片、水印、大範圍 mask、視覺文字及海報五類資料，另有 140K 組 SFT samples 和 19K 組 RL samples。高解析度資料會由 GPT-5.6 Sol 檢查 mask 有效性、編輯正確性、重建效果及非目標內容保留程度。

LensErase-Bench 收錄 500 個案例，毋須指定唯一的 ground-truth target，改以 Removal、Inpainting、Preservation 和 Cleanliness 四個維度評估，當中完整移除目標及相關效果佔總分 40%。較貼近擦除任務的實際情況，因為同一個遮罩可能存在多個合理的背景補全方案。

  • 支援物件、視覺文字、水印及其相關效果的移除
  • 以 LensErase-100M 支援 pretraining、SFT 及 RL
  • 以 LensErase-Bench 評估移除、補全、保留和畫面潔淨度
  • 提供與 GPT-Image2.5-Sunburst、Flux2-Erase 及多個開源模型的比較
  • 頁面目前只表示 Code coming soon，未提供安裝、下載或使用流程

項目展示了跨場景和多物件擦除能力，亦包括海報及反射等較複雜案例。對需要批量清理素材、保留非目標結構的影像工作流；不過使用者仍需等待程式碼及更多可重現資料。

項目主頁

Categories: 開源, 北京大學, 模型, 模型訓練, 微軟, OpenAI, Stable Diffusion, Image, Dataset 數據集, 強化學習

Multics：開源多玩家世界模型

Share to X

Multics 是騰訊 ARC Lab 與港大合作的多玩家影片生成世界模型，靠分層通訊機制讓同一個訓練版本直接推廣到 6、8、10 人，玩家與鏡頭控制互不干擾。

Repository image for TencentARC/Multics

打機時如果有 4 個、6 個甚至 10 個玩家走在一起，畫面要保持連貫，又要讓每個人各自控制鏡頭與動作，舊做法往往一加人就 O(N²) 爆計，或出現互相干擾。Multics 正是針對這個卡位：來自騰訊 ARC Lab 與香港大學的開源世界模型，採用 Player → Group → Global 的分層通訊，動態根據最近鏡頭軌跡分組，限制無關事件直接混合。共享的 group-token 參數令用 4 人數據訓練的模型，可以直接推廣到 6、8、10 人而毋須重新訓練。

對於做多人遊戲原型、模擬訓練環境或敘事影片的團隊，這個項目直接省掉「人數一變就要重訓模型」的麻煩，同時降低自注意力計算量，GPU 開銷壓得較低。它的代價是依賴 NVIDIA GPU、CUDA 12.8 與 Linux 環境，安裝需用 uv 同步依賴，並從 Hugging Face 下載包含 VAE、tokenizer 與 4-player checkpoint 的完整推理包。

Repository 提供 inference.py 配合 YAML 配置，可選擇 4-player 範例或擴展到多人數測試，原始資料未列出具體的玩家數上限驗證結果，只說明同一個 4 人 checkpoint 能支援 10 人輸出。代碼以 Apache 2.0 授權，研究與商業應用皆可改作。

重點摘要：

  • 騰訊 ARC Lab 與香港大學共同開發的多玩家影片生成世界模型
  • 分層通訊機制降低注意力計算成本，避免無關玩家互相干擾
  • 共享參數設計讓 4 人訓練版本直接支援 6、8、10 人，毋須重新訓練
  • 推理需 Linux + CUDA 12.8 + NVIDIA GPU，模型權重經 Hugging Face 發佈
  • 適合多人遊戲畫面合成、模擬訓練、互動敘事等需要可擴展多視角的工作場景

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 騰訊, 模型, 世界模型, 模型訓練, NVIDIA, Video, 香港, Linux, Tokenize

Agent Sociodrama：以社交方式強化 Agent

Share to X

北航與南洋理工團隊提出 Agent Sociodrama，追蹤多智能體對話中的情緒與關係演變，再以 Trajectory-Guided Persona Recasting 重新分配角色，部分場景準確率提升達 83.3%。

Repository image for lululu896/Agent-Sociodrama

多個 LLM agent 組隊做任務時，常出現一些尷尬的社交故障：掌握關鍵資訊的角色不發言、意見領袖把答案鎖死在錯處、有人越界卻無人制止。北京航空航太大學與南洋理工大學的合作研究 Agent Sociodrama，正是要把這些「社交病徵」量化，再對症下藥。

這個項目的核心做法是把每一次對話拉成兩條可追蹤的軌跡：每個 agent 的情緒狀態 S，以及彼此之間有向、不對稱的關係 R。系統在六款主流骨幹模型、五個社會情境中重播這些軌跡，檢驗它們是否符合社會學經典模式，並比對人類評審的判斷。當軌跡顯示團隊運作出現結構性偏差，便啟動 Trajectory-Guided Persona Recasting（TPR）診斷失敗根源，重新調整各 agent 的人格設定再重跑任務。

四個協作基準測試中，TPR 在異質與隨機初始的團隊組合上皆有改善，準確率最高提升 83.3 個百分點；在分散資訊合作及混合動機議題類任務中，三個場景擊敗 SOTOPIA 與 AgentVerse，Pareto 比率領先最多 37.5%。對於需要模擬談判、群體決策或角色扮演的研究團隊，這套框架把「為何對話走偏」變成可分析的數據，而非只能靠事後觀察。

目前已公開 fidelity 與 recasting 兩組實驗的處理結果、重算表格的腳本，以及 Tavern 繼承糾紛與 Lost at Sea 兩個完整對話範例；模擬引擎與 TPR 控制器則待論文獲接收後釋出。要快速理解這套方法，可以直接看 fidelity_tavern 資料夾內 Claude Sonnet 4.6 驅動的五位 agent 九輪對話，逐輪檢視 S 與 R 的更新。

  • 追蹤情緒狀態 S 與有向關係 R，建立可量化嘅多 agent 社交軌跡
  • 以社會理論模式同人類評審交叉驗證社交保真度
  • TPR 自動診斷團隊失敗並重塑人格，喺四個基準平均顯著提升表現
  • 已釋出數據、重現腳本同完整對話範例，方便本地分析

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, World-Action Model, 框架, Anthropic

WOVEN：把視覺世界模型放入多模態 LLM 的新訓練範式

Share to X

WOVEN 提出視覺轉換推理（visual transition reasoning）框架，用約 2,000 條受控樣本就能讓多模態 LLM 在 22 個外部基準上進步最多 27.3 個百分點。

WOVEN

Multimodal LLMs 在空間推理、具身操作、物理常識、時間理解等多個範疇長期被當作獨立問題處理。WOVEN 把這些差距收斂到同一個原語：視覺轉換推理（visual transition reasoning），也就是在狀態—動作—新狀態 (s, a, s′) 中，根據已觀察部分推斷未觀察部分。這個框架既是訓練素材，也是一個評測基準。

WOVEN 內含 36,076 條四選題，覆蓋 20 種場景、5 種動作、8 種推理類型，並用影片生成模型嘅 rollout 構建。研究團隊在 Qwen2.5-VL-3B-Instruct 上以監督微調（SFT）加上 GRPO 訓練，11 個約 2,000 條嘅受控子集分別針對一類動作同推理家族，最終令 26 個外部基準中嘅 22 個出現提升，幅度最高達 27.3 個百分點，呢個幅度令人意外。

WOVEN 嘅分類包含前向動力學、逆向動力學、反事實移除、反事實替換、結果預測、線索預測、時間排序同時間相鄰性八種，並設計咗單因子受控變化、反事實 rollout、錯誤類型誘餌同三類測試集以排除偏差。研究者亦喺不同模型規模同模型家族上做咗複現。WOVEN 將視覺世界建模定義為可重用嘅原語，並非單一任務嘅效果集合。對做視覺推理、具身智能同多模態基準建設嘅團隊，呢套資料同訓練食譜提供咗一個統一切入點。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Qwen, Video, 框架

CrossTimeEdit-release：用衛星變化還原歷史街景，補回城市記憶

Share to X

CrossTimeEdit 把歷史街景生成改成有證據約束的影像編輯，利用新舊街景與衛星變化重建城市過去面貌。

CrossTimeEdit teaser

街景資料未必記錄到城市每次改建，CrossTimeEdit 便把近期街景、不同時期的衛星影像和跨視角資訊結合，推算較早期的街道外觀。這個項目屬於視覺生成模型及跨視角資料集，實際處理的是在保留未改變背景的同時，重建建築、道路或其他城市元素的歷史變化。

核心資料集 VIGOR-his 收錄來自三大洲 11 個城市的 43,653 組位置級四元組，配對早期與近期街景、衛星影像，並加入變化分類、衛星變化描述及局部編輯指令。模型以近期街景固定視角和場景內容，再把不同時期的衛星差異當成變化證據，較單純依賴文字提示的生成方式更適合處理具地理關聯的重建工作。

CrossTimeEdit 以 FLUX.2 [Klein] 4B 為起點，先進行 Supervised Fine-Tuning (SFT)，再以 Online Reinforcement Learning (RL) 優化。訓練獎勵同時考慮 Instruction Alignment (IA)、Background Preservation (BP) 及 Quality and Physical Plausibility (QP)，並透過 Flow-GRPO 與 GDPO 在不同獎勵維度之間作平衡，減少只追求畫面逼真而破壞場景一致性的取捨。

  • VIGOR-his 提供約十年跨度的跨視角城市資料
  • 模型同時保留未變背景及重建指定變化
  • 評估涵蓋指令符合度、背景保留和物理合理性
  • 整體三項編輯指標較預訓練基線提升 17.12%
  • 相比跨視角生成模型，在場景一致性、視覺真實感及感知質素上更佳

城市歷史研究、地理資訊分析、舊城改建記錄和地圖內容補全都可能受益於這套方法，但生成結果仍屬推算，不能取代真實歷史影像。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Stable Diffusion, Image, 庫, LoRA, 強化學習

VIS-Ground 讓互動影片真正記住前文與要求

Share to X

觀眾暫停影片後提出要求，VIS-Ground 會把來源、已播內容與指令整理成可驗證的生成約束。

VIS-Ground teaser

觀眾要求「用船運藥，而且不要弄濕」時，系統不能只理解一句新指令，還要記得橋已斷、目的地是祖母家，以及故事原本交代的背景。VIS-Ground 屬於互動影片生成研究框架，處理的正是來源資料、影片前段與觀眾介入之間容易互相牴觸的依賴關係。

它先以 Structured Context Abstraction 對齊 grounding source、已渲染的 video prefix 和 viewer request，再以 Generation Constraints Induction 抽取對下一段影片真正有關的條件，最後經過 plan、verify、revise、render 循環，檢查成片是否同時符合劇情連貫、知識來源和觀眾要求。這比單純把新提示詞交給影片生成器更重視前文約束，但代價是流程更複雜，也需要額外驗證。

  • 以可執行 constraint model 連接文字來源、影片內容與互動指令
  • VIS-Bench 包含 250 個 sources、1,004 個 viewer interventions 和 2,008 個 instances
  • 評估涵蓋 source faithfulness、story continuity、interaction fulfillment 及 joint score
  • 在 Omni-1.1-Flash、Veo 3.1 和 MiniMax-H3 三個 video backbones 均取得最高 composite score

Composite score 為 Omni-1.1-Flash 84.2、Veo 3.1 84.6、MiniMax-H3 78.8，較各自最強 baseline 高 12.3、15.3 和 3.4 分；提升主要集中在 story continuity。這些結果反映方法能跨越不同影片生成 backbone 工作，但資料只涵蓋 1,004 個互動介入，未足以代表所有敘事類型。

適合研究互動敘事、可控影片生成和多模態代理的團隊，用來測試「觀眾改變故事後，生成結果能否守住既有事實與新限制」。GitHub 目前只列出代碼、VIS-Bench 資料和評估腳本預告在 2026 年 12 月 15 日前釋出，因此暫時缺乏可按步驟安裝及本地測試的完整資訊。

項目主頁 · GitHub

Categories: 開源, AI productions, 多模態模型, Video, 提示詞, 框架, Dataset 數據集, MiniMax

T3lescope 把多視角影像變成高質 3D 場景

Share to X

由單一物件到城市級戶外場景，T3lescope 嘗試以生成模型兼顧整體幾何、細節，以及玻璃和鏡面表面重建。

T3lescope teaser

面對影像稀疏、表面反光或透明等情況，T3lescope 仍嘗試由已標定相機姿態的多視角影像重建高保真 3D scene mesh。它屬於生成式 3D 重建模型，處理的是大型場景難以同時維持覆蓋範圍與局部細節的問題。

模型以 mesh flow models 直接生成高解析度網格，並在推理階段採用 coarse-to-fine cascade：先用較粗層級建立全局布局，再於更細的 spatial cells 內擾動、去噪和補回幾何細節。各層共用同一個 fixed-resolution generator，訓練時以不同尺度的 cells 學習，因此層級數量、cell 尺度和位置都可於推理時調整。

這做法減少把大型場景切成多個獨立重建區域後出現的接縫和全局不一致風險，也不需要逐個場景進行 per-scene optimization。代價是重建品質仍取決於輸入影像數量、視角覆蓋和模型推理配置，而 README 未提供硬件要求、速度或完整操作流程。

T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images
  • 支援由單一物件、室內環境延伸至戶外和城市級場景
  • 可在推理階段選擇 cascade 層級與網格細緻程度
  • 針對稀疏觀測、細小結構、glossy 及 transparent surfaces 提供生成式補全
  • 在室內、戶外及城市場景測試中勝過 feed-forward 和生成式基線，並達到或超越部分 per-scene optimization 方法

適合需要多視角影像轉 3D 資產的視覺研究、數碼孖生、機械人感知和場景製作團隊，較容易受惠於這種跨尺度重建能力。不過 GitHub 項目目前只標示 Code is coming soon，尚未提供可安裝程式碼；現階段可參考 arXiv、項目網站和示範影片理解結果，未能按儲存庫直接測試。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Image, 3D, 庫

tabulaflow：自然語言查數據(text2SQL)

Share to X

TabulaFlow 讓使用者用自然語言分析、轉換和視覺化多種數據，並可由圖表追查背後的資料表與查詢。它適合需要跨資料來源探索數據、又要保留分析脈絡的團隊。

想查詢資料庫、整理檔案或探索 Hugging Face 數據集時，使用者可以用自然語言描述分析目標，再由 TabulaFlow 這個開源 Python 數據代理程式處理查詢和圖表。它支援 SQL 和圖形資料庫、檔案、Wikidata 及網頁，適合研究、數據分析和需要把數據功能整合進應用程式的團隊。

與以檔案和 Shell 為核心的編程代理不同，TabulaFlow 把表格當作主要工作單位。代理程式負責產生查詢和視覺化規格，系統則處理資料解析和圖表呈現，減少模型直接拼接資料值或 HTML 的需要；核心數據工作亦可在關閉 Shell 和檔案存取時運作。它仍能編寫程式、執行 Shell 指令和瀏覽網頁，但這些能力不是數據工作的必要條件。

每張視覺化結果都能查看所用的資料表，而資料表亦保留產生它的查詢，方便核對結果來源和重現分析。這對需要審視數據處理過程的團隊有幫助；不過，查詢是否符合使用者原意，仍會受問題描述和模型判斷影響，追蹤來源不等於保證結果正確。

項目提供互動式消歧、資料庫對話、研究資料庫建立及圖形數據查詢等示範。研究者亦可用配套工具進行 text-to-query 實驗；ARCS 是用來評估 SQL 問題歧義處理的基準，不是 TabulaFlow 本身的效能分數。文件列出安裝方式為透過 uv 安裝並設定模型供應商金鑰，支援哪些模型則需查閱其模型文件；提供的資料未列出完整操作流程或各資料來源的設定細節。

  • 支援資料庫、檔案、Hugging Face datasets、Wikidata 和網頁等來源。
  • 以查詢和視覺化規格驅動分析，資料解析及圖表呈現交由系統處理。
  • 圖表、資料表與來源查詢之間保留可追溯關係。
  • 適合數據分析、研究及建立數據應用程式；結果仍需按資料和查詢目的核實。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 工具, Python, 庫, 編程, Dataset 數據集

Motion2MixamoRig：把真人動作搬入 Mixamo 角色的開源工具

Share to X

Motion2MixamoRig 將單人影片或照片姿勢轉成 Mixamo 角色動作，直接輸出可供 Blender、Unity 使用的 3D 檔案。

Motion2MixamoRig

把單人動作影片或一張姿勢照片套到 Mixamo 角色上，Motion2MixamoRig 便可輸出預覽影片及帶蒙皮的 .glb 角色檔，減少遊戲開發者重新製作基礎動作的工序。它屬於 3D 動作轉移工具，處理的是真人影像與已綁定骨架角色之間的動作銜接問題。

流程以 SMPL-X、GVHMR 等模型先從影像估計人體動作，再將結果映射到 Adobe Mixamo rig；模型不負責生成全新動作，而是把影片或照片中的姿勢重建後套用到指定角色。輸出可放入 Blender 或 Unity，仍要留意單人畫面、遮擋、鏡頭角度及原角色骨架會影響結果。

模型權重首次執行時約需下載 5 GB；原始資料沒有提供正式性能基準或準確率數字。項目目前仍屬 experimental，0.1.0 提供 command-line pipeline，亦附有 Blender 4.2+ Extension，並在外部 Python 環境執行同一套流程。

  • 支援影片動作及單張照片姿勢
  • 輸出預覽影片與 .glb 檔案
  • 兼容 Blender、Unity 工作流程
  • 需要單人素材及外部模型權重

遊戲原型、角色動畫測試及需要快速重用真人動作的團隊較適合採用。ffmpeg 並非流程必需，但缺少它會令輸出影片沒有聲音，並可能無法在瀏覽器播放；對需要穩定製作級動畫的人員而言，仍要自行檢查骨架映射、腳部滑動和遮擋造成的誤差。

GitHub

Categories: 開源, AI productions, 數字人, 模型, Video, Image, Audio, 工具, 3D, Python, 庫, 動畫

GroundAnything 以並行解碼提升視覺定位速度

Share to X

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

GroundAnything

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

  • 速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
  • 模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
  • 評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
  • 適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習
Page 1 of 170
1 2 3 … 170