InferNews

LooseControlVideo 用 3D 方框指揮 AI 影片動作

Share to X
Hero image preview

LooseControlVideo（LCV）是一個針對影片生成與編輯的框架，核心做法是用稀疏、帶方向的 3D boxes 來安排物件移動、旋轉、遮擋關係，以及鏡頭運動。它想解決的，是多物件場景中「位置安排」與「時間變化」經常纏在一起，令文字轉影片很難精準控制。

常見控制方法多數依賴 dense depth maps、optical flow 或 3D point tracks，雖然細緻，但要逐格準備條件，製作成本高。LCV 改用人手較易繪製的 3D boxes，讓使用者先定出高層次 blocking，再交由生成模型補足自然的動態、互動與遮擋，控制感和自由度之間取得較好平衡。

技術上，項目以 Wan 2.2 backbone 為基礎微調，並配合 DNOCS 這種編碼方式，表示 3D 尺寸、方向及按深度排序的遮擋資訊。頁面亦提到它支援局部修訂，例如只調整跳躍軌跡，或加入新的互動，而不必大幅破壞整體場景。

重點可先看這幾項：
– 可控制軌跡、旋轉、遮擋、鏡頭運動與局部編輯
– 輸入形式是稀疏 oriented 3D boxes，較易手動建立
– 適合多物件場景與需要導演式安排動作的影片生成
– 在 nuScenes、HO-3D、BEHAVE 上，優於 2D-box 與 flow-based baselines
– 指標上約有 1.2 至 3 倍 Trajectory Error 改善、2 倍 Rigid Motion Consistency 改善，以及 1.5 至 2 倍 Occlusion Accuracy 提升

這類方法特別適合想精準安排角色走位、物件互動，或需要補拍式修改片段的人。現有資料主要展示項目頁與結果示例，若讀者想接觸這個項目，較可行的做法是先觀察它如何用少量 3D boxes 改動單一動作，再比較與傳統 layout-conditioned models 在遮擋與旋轉控制上的差別。

項目： https://shariqfarooq123.github.io/LooseControlVideo/

Categories: Video, 3D, 影像處理, 模型, 視覺模型, 視頻模型, 框架

visually_grounded_thinking：讓 VLM 推理同時指向圖片證據

Share to X
Visually grounded thinking modes

現時不少 Vision-Language Models（VLMs）做視覺推理時，通常只輸出文字思路，證據其實來自圖片哪一部分，模型未必講得清。作者認為這種 text-only reasoning trace 難驗證、亦難監督，所以提出 visually grounded thinking：在推理文字中插入 <obj>...</obj>，直接標示 point 或 box 座標，將語句同圖片區域綁在一起。

這不是單純加標籤的格式改動，而是一套訓練與評測流程。項目先用 open-source counting 與 spatial reasoning datasets 合成帶視覺依據的思路，再用 SAM3-based grounding agent 產生 mask supervision，之後分別用 SFT 與 GRPO 訓練；RL 階段再靠 grounding-aware reward，以 box IoU 或 point F1 檢查模型指向的物件是否對應正確證據。

同類做法多數關注答案啱唔啱，這個項目連中間引用的圖像證據都計分，取向明顯較重視可驗證性。不過代價亦很清楚：資料製作、物件對齊、reward routing 都更複雜，訓練門檻比只做文字 reasoning 高，較適合已經有 VLM 訓練流程的研究團隊。

在 counting benchmarks 與 spatial reasoning benchmarks，加上 visually grounded thinking 的 Gemma3-4B-IT 普遍優於原版模型與 non-grounded thinking baseline；在部分空間推理任務，4B 版本甚至可追上或超過 Gemma3-27B-IT。作者亦指出 point grounding 較適合 counting，而 box grounding 在 spatial tasks 配合 grounding rewards 效果更突出。

  • 類型上，它屬於 VLM 訓練框架加研究代碼，重點是改善視覺推理過程缺乏可核對證據的問題。
  • 儲存庫已分開 data_synthesis_pipeline、agent、rl_reward、sft_dataset、VLMEvalKit 與 scripts，結構算清晰，理解流程會比直接改模型權重更重要。
  • 部署思路偏研究用途，較可能需要 Docker 環境、SFT/RL 訓練配置，以及自備算力，而不是即裝即用的終端工具。
  • 相關模型與元件包括 Gemma3-4B-IT、Gemma3-27B-IT、SAM3、GRPO、SFT、VLMEvalKit。
  • 適合關注可解釋視覺推理、VQA、counting、spatial reasoning，或者想把中間推理變成可監督訊號的團隊。

GitHub： https://github.com/Jun-Kai-Zhang/visually_grounded_thinking

Paper： https://arxiv.org/pdf/2606.16122

Categories: 開源, Gemini, Agentic, Image, 工具, 多模態模型, 庫, 模型, 模型訓練, 視覺模型, Meta, 框架, Dataset 數據集

FreeStyle：用社群 LoRA 做雙參考生圖

Share to X
FreeStyle teaser

現時不少 style-reference 生成，只處理單一風格參考；至於 content + style dual-reference，常見難位是資料難整、風格長尾不足，兼且 style reference 容易把人物、物件等內容一併「滲」入結果。FreeStyle 把社群 LoRA 視為風格或內容概念的聚類中心，再配合自動生成與過濾流程，重組出可訓練的雙參考資料，連 benchmark 一起補上。

這不是單純模型，而是一個結合資料管線、benchmark 與 DiT-based model 的影像生成項目，目標是解決 SRef 與 CRef+SRef 兩類任務中，內容保持、風格對齊與 leakage suppression 很難同時兼顧的問題。文中提出 attention-level constraint，以及 RoPE low-frequency modulation，核心取向很清楚：寧可多做約束，也要壓住 style-reference content leakage。

資料規模是 FreeStyle 最有份量的部分。CRef+SRef dataset 提供 480K sequences，涵蓋 1,704 種 styles；SRef dataset 則有 619,302 sequences、622 種 styles。評測亦不只看靚唔靚，還加入 CSD、OneIG、DINOv2、CAS、CLIP-T、aesthetic predictors 及 VLM-as-judge，將 style similarity、content preservation、instruction following 同 leakage rejection 分開量度。

想理解怎樣測試這個項目，較合理的做法是分三層看：先用公開 dataset 與 benchmark 檢查資料結構；再看 repo 提供的 LoRA metadata 與 ComfyUI workflows，理解 triplet 怎樣生成與驗證；最後才研究 checkpoint 表現。它較適合研究團隊、做可控生圖的產品組，或者本身已在用 FLUX、Qwen、Illustrious 生態的人。

  • 把 Civitai、TensorArt、Liblib 的社群 LoRA 變成可用訓練訊號
  • 同時覆蓋 SRef 與 CRef+SRef，而非只做單一風格參考
  • 重點不是單純追求風格像，而是壓低內容洩漏
  • 提供 dataset、benchmark、workflow、checkpoint，便於重現整個流程

相關模型與基礎生態包括 DiT-based model、FLUX、Illustrious、Qwen，以及資料生成用的 ComfyUI workflow。若你關心的是商用穩定性，仍要留意它相當依賴社群 LoRA 品質與過濾流程；作者亦有講明，原始 LoRA 權重本身未必會隨項目再分發。

GitHub： https://github.com/Blue2Giant/FreeStyle

項目： https://blue2giant.github.io/FreeStyle/

Categories: 開源, 阿里巴巴, Qwen, ComfyUI, Stable Diffusion, Image, 工具, Content Creator, Sora, 多模態模型, 影像模型, 影像處理, 模型, 模型訓練, 視覺模型, Meta, Dataset 數據集

JanusMesh 把雙提示變成 3D 視覺

Share to X
Teaser

現有 3D visual illusions 做法，多數不是走 optimization-based methods，就是把兩個形體直接拼接。前者慢，還容易出現過飽和顏色；後者雖然直接，但會留下明顯幾何接縫，亦會有 semantic leakage。JanusMesh 提出的不是新訓練模型，而是一條 training-free pipeline，目標是把兩個文字提示融合成一個 3D mesh，並在指定視角各自呈現不同語意。

它的核心分成兩步：先用 cross-space dual-branch denoising，在 voxel 與 Signed Distance Field (SDF) 之間處理形體融合，再配合 CLIP 做 orientation alignment；之後再用 view-conditioned 2D diffusion 補貼圖與外觀。這種拆法的重點，不是單純把兩個物件疊上去，而是先解決幾何是否連貫，再處理不同視角看到的表面語意。

部署上，現有資訊顯示它較適合有 CUDA 環境的研究或圖像團隊，因為要安裝多個 CUDA extensions，例如 flash-attn、nvdiffrast、diff-gaussian-rasterization、pytorch3d。測試思路相當清晰：可先用 case 1 或 case 2 直接生成固定 voxel split 結果，再用 case 3 加入 CLIP pose search，比較視角對齊是否更穩定；另外也可調整 noise guidance、space control、t0 idx value 與 guided structure weight，觀察語意強度與形體穩定度之間的取捨。

JanusMesh 的表現頗有競爭力：生成時間約 3–5 分鐘，主打 geometric integrity、semantic recognizability、efficiency 都比同類方法好。不過它目前更像研究型工具，適合做 3D 內容展示、視覺實驗、生成式藝術或學術比較；若想要任意角度都自然，文中亦明言這類物件在非目標視角本來就可能難以辨認，這其實是 3D 視覺錯覺成立的一部分。

  • 項目類型：一個 training-free 的 3D 生成流程，解決雙語意 3D visual illusions 的幾何接縫、語意外漏與生成速度問題。
  • 最值得留意的差異：不是 per-shape optimization，也不是 direct concatenation，而是先做 cross-space 幾何融合，再做 view-conditioned 外觀細化。
  • 較適合的情境：3D 生成研究、視覺傳達、展覽內容、概念設計，以及想比較多種 3D illusion 範式的團隊。
  • 性能重點：論文聲稱 3–5 分鐘可完成，較傳統 SDS-Based Methods 快，亦減少 oversaturation 與 seams。
  • 相關模型／組件：CLIP、2D diffusion、voxel、Signed Distance Field (SDF)、flash-attn、nvdiffrast、diff-gaussian-rasterization、pytorch3d。

GitHub： https://github.com/siang1105/JanusMesh

項目： https://siang1105.github.io/JanusMesh.github.io/

Categories: 開源, NVIDIA, Image, 工具, 3D, IDE, Python, 模型, 模型訓練, 視覺模型

Holo-World 把天氣與鏡頭控制放進影片生成

Share to X
Repository image for XiangchenYin/Holo-World

Holo-World 是一個Video World Model項目，目標不是單純把靜態圖片變成短片，而是由單張首幀出發，按照指定的鏡頭路徑、物件動態與天氣指令生成影片，盡量保留原本場景結構。對一般讀者來說，可把它理解成「你先給一個世界起點，再要求系統改變拍攝方式與天氣，但不要連場景骨架都改走」。

它和常見影片編輯做法的分別，在於不少方法要先有來源影片，甚至依賴已經包含未來結構的重建場景；Holo-World 則強調 first-frame-anchored source-to-state 設定，只由一張圖開始。這種取向更靈活，但難度也高，因為模型要自己補出後續畫面，同時維持鏡頭控制、物件位置和天氣效果不互相打架。

這個項目核心包含 HoloStateData、Unified Scene Adapter 與 Scene-Weather Decomposed CFG。前者是為相機、物件、天氣建立統一監督樣本的資料集；後兩者則把「場景保持」與「天氣轉換」分開處理，目的是減少下雨、下雪、起霧時把整個場景細節一併沖散的情況。論文與項目頁提到，量化與視覺結果都顯示它在 weather-state generation 上優於 video-to-video weather editing baselines，但目前倉庫內容仍偏研究展示，未見完整安裝與推理流程，較適合先當作研究方向理解。

  • 可由單張圖片出發，而非必須先提供完整來源影片
  • 同時控制 camera、object、weather，比單一條件生成更完整
  • 重點取捨在於維持場景結構一致，同時讓天氣效果夠明顯
  • 較適合研究 world model、可控影片生成、合成場景模擬的團隊

如果你關心自動駕駛模擬、生成式影片控制，或想研究世界模型如何把幾種控制訊號整合，這個項目很有參考價值。相關模型與組件可留意 Holo-World 本身，以及資料集 HoloStateData；從現有資料判斷，它現階段更像研究型模型與方法展示，未必是即裝即用的生產工具。

GitHub： https://github.com/XiangchenYin/Holo-World

項目： https://xiangchenyin.github.io/Holo-World/

Categories: 開源, Video, Image, 工具, 庫, 模型, 視覺模型, 視頻模型, 世界模型, 中國

ImageWAM 用圖片編輯做機械人決策

Share to X
Repository image for yuyangalin/ImageWAM

ImageWAM 是一個模型訓練與評測項目，核心目標是用 image-editing foundation models 取代傳統 World Action Models (WAMs) 常見的影片生成流程，處理機械人動作預測又慢又重的問題。它的判斷很鮮明：與其生成一段未來畫面，不如直接從「當前影像 + 指令」抽取足夠的動作線索。

這項目把圖片編輯模型的中間表徵拿來做 robot action prediction。根據項目頁資料，ImageWAM 推論時不一定要解碼出編輯後影像，而是使用單次 image editing forward step 產生的 KV caches，再交給 action expert 生成未來動作，方向上比多幀影片預測更輕量。

先看 FLUX.2 ImageWAM，因為倉庫已表明它是主力版本，並提供 4B 與 9B 變體。之後再按手上資料與算力，準備本地 datasets、pretrained weights、ActionDiT 初始化權重，然後在 LIBERO、LIBERO-plus 或 RoboTwin 這幾個基準環境做訓練與評測。

這個方向不只是概念實驗。項目頁列出 RoboTwin 2.0 為 93.38%、LIBERO 為 98.4%、LIBERO-Plus 為 83.1%，並提到可節省 4.1× FLOPs、推論延遲加速 84.7%。這些數字很吸引，但始終以作者公開的實驗設定為準，若換成不同機械人平台或資料分布，表現仍要再驗證。

  • 支援多個相關模型：FLUX.2 ImageWAM、OmniGen2 ImageWAM、Ovis-U1 ImageWAM
  • FLUX.2 提供 4B 與 9B 版本，Ovis-U1 走較細模型路線
  • 適合機械人控制、world modeling、action prediction 研究與基準測試
  • 重點不是生成漂亮畫面，而是抽取對動作決策有用的變化資訊

整體來看，ImageWAM 不算面向一般用家的 AI 工具，更像給研究者與工程團隊驗證新路線的開源項目。若你關心 world action models 是否一定要靠影片生成，這個項目提供了一個相當具體，而且有基準成績支持的反例。

GitHub： https://github.com/yuyangalin/ImageWAM

項目： https://zhangwenyao1.github.io/ImageWAM/

Categories: 開源, Video, Image, 工具, 庫, 影像模型, 影像處理, 模型, 模型訓練, 視覺模型, Robotic, 世界模型, Dataset 數據集

SSync 用選擇式蒸餾改善影片物件分解

Share to X
SSync

現有的 video object-centric learning（VOCL）多數沿用 slot-based frameworks，通常建基於 reconstruction-driven encoder–decoder architectures：encoder 產生 attention maps，decoder 產生 object maps，再嘗試把兩者對齊。近年的 dense alignment strategy 會對所有 spatio-temporal patches 做 contrastive learning，但這種全對全對齊會把 encoder 的雜訊和 decoder 的模糊邊界一併放大，計算量亦會升到 quadratic complexity，影片一長就更難擴展。

SSync（Selective Synergistic Learning）屬於一個可插入現有流程的 PyTorch 學習模組，目標是改善影片中的物件分解質素。它不是強迫所有 patch 全面一致，而是只挑選較可信的訊號做 mutual-distillation：用 encoder 幫手修邊界，用 decoder 清理物件內部雜訊，方向相當明確。

這項目把「全部都對齊」改成 selective distillation，並透過 pseudo-labeling 把成本降到 linear complexity。作者亦加入 transitive pseudo-label merging，處理 slot redundancy，將時序上反覆重疊的 slots 合併，減少模型把同一物件拆成多份的偏差。

如果你本身有研究 Slot Attention、影片分解、無監督物件發現，這項工作相當值得細看；如果你只是想快速試概念，亦可直接留意作者提供的 PyTorch implementation、Hugging Face 權重和 project page。它屬於 plug-and-play module，較適合已有 VOCL 基礎模型的人接入比較，而不是給完全零基礎讀者當成獨立應用程式。

  • 核心問題：dense alignment strategy 計算昂貴，亦會傳播 encoder 與 decoder 各自的錯誤
  • 核心方法：Selective Synergistic Learning 只蒸餾可靠線索，分開處理 boundary refinement 與 interior denoising
  • 結構補強：加入 transitive pseudo-label merging，減少 slot redundancy
  • 論文聲稱：可提升 decomposition quality，並對 slot configurations 有較強 robustness
  • 相關技術詞：VOCL、slot-based frameworks、Slot Attention、mutual-distillation、pseudo-labeling

整體來看，SSync 的價值不在於另起爐灶，而是在既有 slot-based video learning 範式上，直接指出 dense patch alignment 的兩個痛點：錯誤傳播與計算擴張。對研究型讀者而言，這比單純再堆模型容量更有意思；對工程導向團隊而言，它也提供了一個較容易插入現有項目的改良方向。

GitHub： https://github.com/wjun0830/SSync

項目：https://wjun0830.github.io/SSync/

Categories: 開源, Video, IDE, Python, 模型, 深度學習, 編程, 視覺模型, 框架

MiniMax-M3：開源多模態模型新選擇

Share to X
Og image

MiniMax-M3 是 MiniMaxAI 放上 Hugging Face 的模型。主要提供模型推理，image、video、tool_call 及 think 等標記，顯示它很可圍繞多模態互動、工具調用與對話生成能力而設計。

這項目的用途是把文字、圖片或影片訊息放進同一套模型流程中處理。

值得關注的在於它不只像傳統文字模型那樣處理純文字，還預留了工具調用與多種內容標記格式。對開發 Agentic workflow、聊天助理、內容理解流程的人來說，這類設計可減少自行定義輸入格式的工夫，亦方便把不同媒體資料放進同一條處理鏈。

重點可先看以下幾點：
– 支援 image、video 等多模態標記
– 具備 tool_call 結構，適合工具調用場景
– 可用於聊天、內容理解與自動化互動流程

若你是開發者、研究者，或想找可整合多模態能力的模型，MiniMax-M3 有一定參考價值。至於效能、模型尺寸、硬件需求與基準測試，暫時未有完整列出，使用前宜先核對 Hugging Face 頁面的更新資訊。

項目： https://huggingface.co/MiniMaxAI/MiniMax-M3

Categories: 開源, Video, Image, 多模態模型, 模型, MiniMax

ActWorld 讓世界模型學懂互動

Share to X
Og image

ActWorld 是一個 Interactive World Model，目標是把「可四處觀看的世界」推進到「可以即時操作的世界」。以往不少世界模型主要支援移動、轉向、環視等導航動作，對場景中的物件互動支援有限；這個項目則加入中途操作物件的能力，例如拾取、搬運、放置，令同一次 rollout 不只是在場景中行走。

這個項目想處理兩個核心問題：一是缺少高質素的人與物件互動數據，二是模型容易忘記早前發生、但會影響之後物件狀態的關鍵畫面。為此，團隊建立了 100K interaction video dataset，並以 chain-of-thought reasoning 產生 per-chunk captions；同時提出 hierarchical action-aware memory 和 persistent memory bank，讓模型按互動重要性保留歷史資訊，減少 action-forgetting。

使用時，讀者可先從項目頁面的 Paper、Code、Video 和 Comparisons 了解能力範圍。從內容描述判斷，ActWorld 適合研究 Interactive World Model、Computer-use agents（CUAs）相關模擬環境、機械人互動、或需要長時序場景生成與控制的團隊參考。

  • 在單一模型內同時處理 long-horizon navigation 與 object interaction
  • 透過 100K interaction video dataset 補足互動數據不足
  • 用 hierarchical action-aware memory 保留較重要的互動歷史
  • 以 persistent memory bank 追蹤事件更新與物件身份

按頁面說明，實驗結果顯示它在不犧牲 viewpoint control 的情況下，interaction fidelity 明顯優於只做導航的 baseline。現階段公開資訊以研究展示為主，若想深入理解效果，最應留意 Comparisons 及論文中的評測設定與限制。

項目： https://interactwm.github.io/ActWorld/

Categories: 開源, 騰訊, Agentic, Video, AI productions, 多模態模型, 模型, 世界模型, Dataset 數據集

UniAR 用一個 Transformer 包辦看圖、作圖、改圖

Share to X
teaser

現有 Unified Multimodal Models（UMMs）多數會把影像理解和影像生成分開處理，常見做法是用兩套 visual tokenizers。作者認為這種 fixed paradigm 會把表示空間拆開，模型生成完圖片後，還要再重新編碼才能理解自己剛產生的內容，shared context 也就難以真正成立；UniAR 因此提出一個 unified autoregressive framework，用單一 discrete visual tokenizer 連接理解、生成與編輯。

項目屬於多模態模型，目標是用同一個 Transformer 解決 image understanding、image generation 和 image editing 之間來回切換的成本。它的核心判斷很直接：若模型看圖與作圖共用同一套視覺 token，流程就不需要額外 re-encoding，系統結構會更一致。

技術上，UniAR 有幾個辨識度很高的設計。Multi-level BSQ tokenizer 把高層語意與低層細節一併保留，並透過 Binary Spherical Quantization 擴大有效 vocabulary；parallel bitwise prediction 則把視覺碼以分組方式一齊預測，令 autoregressive 長序列壓短，論文提到 1024×1024 影像只需 256 個 AR tokens，對應 32x visual compression ratio。

  • 單一 discrete visual tokenizer 取代雙 tokenizer 架構
  • 支援 image understanding、image generation、image editing 同模運作
  • Multi-level BSQ tokenizer 同時顧及語意與細節
  • parallel bitwise prediction 壓縮視覺序列，加快 autoregressive 生成
  • DiT-based visual decoder 以 discrete visual tokens 重建高保真影像
  • 需求：Python 3.12、CUDA 12.1+、推理的 GPU 記憶體 >= 24 GB

如果你想試這個項目，較合理的切入點不是直接拿來當日常工具，而是先看它公開的模型權重與項目頁，分開測理解、生成、編輯三類輸出是否一致。它較適合研究多模態統一架構的人、關注 Qwen 生態的開發者，以及想比較 autoregressive 與 diffusion 混合路線的讀者。

性能方面，原文聲稱 UniAR 經 large-scale pre-training、supervised fine-tuning 和 reinforcement learning 後，在 image generation 與 image editing 達到 state-of-the-art，同時在多模態理解 benchmark 保持競爭力。不過目前公開資訊較像研究成果展示，visual decoder training code 仍未完整放出，因此更適合拿來理解方法論，而不是立即評估成成熟生產工具。

相關模型與組件包括 SD3-medium visual decoder、Qwen Team 背景下的多模態模型路線，以及論文聚焦的 Unified Multimodal Models（UMMs）。若你在意的不是單次生成效果，而是模型能否「理解自己生成的內容」，UniAR 的 shared context 設計確實提出了一個有意思而且相當具體的答案。

GitHub： https://github.com/ShareLab-SII/UniAR

項目： https://sharelab-sii.github.io/uniar-web/

Categories: 開源, 阿里巴巴, Qwen, Stable Diffusion, Image, 工具, AI productions, Vibe Coding, 多模態模型, 影像模型, 影像處理, 模型, 框架
Page 14 of 22
1 … 12 13 14 15 16 … 22