字節跳動 – InferNews

Lucida：用「解析、生成、放置」三步把實景變成可編輯的模擬場景

2026 年 9 月 1 日

字節跳動 Seed 團隊把真實室內環境拆解成獨立物件資產，透過閉環姿態修正讓重建結果能直接用於模擬。

從一段真實拍攝的室內影片，要還原成可以模擬、可逐個編輯嘅場景，一直都係 3D 重建嘅痛點：擺位、遮擋同殘缺幾何往往令資產難以重用。Lucida 就係針對呢個矛盾提出嘅方案，屬於實景到模擬（real-to-sim）類嘅場景建模系統。

整個流程分成三步。第一步 Parse 揀選有用嘅關鍵幀，跨視角對應實例並建立場景圖，輸出遮擋、局部點雲同參考視圖等證據。第二步 Generate 利用每組證據合成無遮擋嘅物件影像，再提升成完整、可編輯嘅 3D 資產。第三步 Place 先粗略初始化，再用 GizmoAct 喺閉環中反覆執行姿態編輯，直到渲染結果同觀察對齊。

GizmoAct 係呢套系統嘅核心控制器，由視覺語言模型（VLM）操作 3D 編輯器，每一步根據渲染觀察、點雲疊加同正交視圖等線索，落一個可執行嘅姿態修正。同一條策略可應付由 Boxer、Any6D* 到 SAM 3D 等不同初始化，並以最多 4 個視圖同 12 步修正完成對齊。

Lucida 喺 R2S、CA-1M 同 Aria Digital Twin 數據集上都提升咗場景級 3D 物件檢測、姿態估計同完整場景重建指標。重建出嚟嘅場景以一組獨立、可編輯嘅 mesh 呈現，每件物件都準備好進入模擬階段。

對從事機器人模擬、室內數據合成或場景理解嘅團隊，呢套閉環做法比起傳統單次擬合更能容忍幾何誤差同遮擋問題，令實景資產更易直接落落去模擬器使用。

重點摘要

三步流程：Parse、Generate、Place 把實景拆解成可重用物件資產
GizmoAct 閉環修正：VLM 操作 3D 編輯器，反覆落姿態編輯直到對齊
初始化容忍度高：同一策略兼容 Boxer、Any6D*、SAM 3D 等不同起點
輸出可直接模擬：每件物件係獨立、可編輯 mesh
多數據集提升：喺 R2S、CA-1M、Aria Digital Twin 都有指標改進

項目主頁

Categories: 北京大學, 字節跳動, 視覺模型, Video, Image, 3D

Video-IFBench：跟足要求的影片評測

2026 年 8 月 27 日

Video-IFBench 用來量度多模態大語言模型在影片理解場景中的指令跟隨能力。它把單步、多步、選擇和嵌套指令拆開測，直接看模型能否按條件做對。

Overview of the Video-IFBench construction and evaluation pipeline

Video-IFBench 是一個用來評測多模態大語言模型（Multimodal Large Language Models, MLLMs）在影片理解場景中是否跟足指令的資料集與基準。它處理的不是單純看懂影片，而是模型能否在複雜限制下，依照影片證據作出正確分支判斷、完成多重要求，並保持輸出格式一致。

這套基準把任務分成 Single、Multi、Selection 和 Nested 四類，覆蓋由簡單到層層加條件的情境。項目建構流程結合影片標註、任務與限制採樣、複雜指令生成、checklist、程序化處理和人工驗證，適合拿來測試模型在真實工作流裡會否因為條件一多就失手。

和一般只看整體問答正確率的影片基準相比，Video-IFBench 更著重嚴格遵循指令的程度。資料集同時提供 TCSR 和 TISR 兩種指標，結果顯示即使是頂級商用模型，遇到條件累積或需要按證據選分支的題目，分數也會明顯下滑；開源模型的差距更大，尤其在 Nested 類別。

對做影片理解、視覺問答、agent 評測，或者需要檢查模型能否按規則輸出內容的團隊，這個基準很有參考價值。它不只看模型「知唔知」，而是看模型「有冇照做」，這正是很多落地應用最容易出問題的位置。

覆蓋影片理解中的四種指令型態，從單步到嵌套條件都有測。
以 checklist 和人工驗證強化標註可靠度。
用 TCSR 與 TISR 分開看內容命中與指令跟隨。
商用模型整體較強，但複雜條件下仍有明顯失分。
開源模型在多條件、分支選擇和格式遵循上差距更大。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 字節跳動, 騰訊, Agentic, 視覺模型, 多模態模型, Video, Dataset 數據集

DiffusionOPSD：將自我蒸餾影像獎勵轉為可更新訓練目標

2026 年 8 月 26 日

DiffusionOPSD 將影像級獎勵轉成可反覆更新的中間目標，補上 diffusion 訓練中間步驟的監督空白。它適合想在有限訓練預算下，改良生成質素同可診斷性的團隊。

DiffusionOPSD(ByteDance Seed) 主攻的是 diffusion 模型後訓練時，只有最終圖片分數、欠缺中間步驟指引的問題。它屬於一套用於模型後訓練的開源方法，透過 on-policy self-distillation，把影像級 reward 轉成可直接學習的中間目標。

它的做法不是單純追分，而是先用凍結的 behavior policy 收集低噪聲查詢狀態，再用 reward gradient 建出正負兩種 bounded target，最後由可訓練 policy 去擬合這些切斷計算圖的目標。這種安排把目標品質和模型更新分開處理，亦令 supervision 可以隨住模型演化持續刷新。

實作層面，公開版本支援 SD3.5-M 512²，同時覆蓋原生 few-step 的 Z-Image-Turbo 1024² 設定；文件亦提到可做單一 reward 或多個 reward 的加權訓練。原文未提供完整安裝流程或逐步使用指引，只能確認它有項目頁與程式碼釋出，適合自行拉取後依研究環境配置。

它和同類 diffusion reward optimization 的主要分別，在於用 on-policy 查詢配合 EMA 持續重建 supervision，而不是只依賴離線或固定噪聲替代狀態。官方結果聲稱在多個 evaluator 與兩種 backbone 上都有較強的最終 held-out 表現，亦以較少 GPU-hours 完成訓練；這令它特別適合做生成模型後訓練、獎勵對齊與方法比較的研究團隊。

將 image-level reward 轉成可學習的中間目標
用 EMA 反覆刷新 trajectory、anchor 與 target
支援 SD3.5-M 與 Z-Image-Turbo 兩種 backbone
可做單一 reward，亦可做多 reward 加權
適合研究 diffusion 後訓練同 reward alignment 的團隊

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 字節跳動, 模型訓練, Image, 影像處理, txt2img, 框架

OmniAssistBench：以多輪互動評測即時影片助手的表現

2026 年 8 月 25 日

OmniAssistBench 以 LLM-as-a-Judge 固定互動路徑測試 Omni-LLMs 的多輪影片助手能力，涵蓋685組開放式問答、7類任務，影片含自然語音、打字或手寫提示。評分顯示 Gemini-3-Pro 以66.4分領先。

OmniAssistBench proposes an annotation pipeline which allows annotators to build test samples from existing Internet vid

當影片助手的回答會改變使用者下一步行動，傳統只對固定影片問答的測試便難以反映真實體驗。OmniAssistBench 屬於 Omni-LLMs 的影片助手評測基準及數據集，透過固定互動路徑，處理多輪對話中影片內容會隨模型回應變化的問題。

項目涵蓋 685 組開放式問答，分成 Basic Tier 與 Advanced Tier，涉及社交理解、時間感知、手勢提示、程序指導及主動回應等 7 類主要任務和 16 類細分任務。影片取材自運動、煮食、講課、DIY 及談話節目，另有 3 個自行拍攝案例，每個平均超過 15 輪互動；問題會以自然語音、打字或手寫方式嵌入影片，而不是只放文字提示。

以影片連同對應音訊輸入模型，再按互動回合回答問題
由專家先整理影片步驟，再剪輯片段及加入字幕，固定測試路徑
評分採用 LLM-as-a-Judge，原始 0 至 5 分再換算為 0 至 100
建立數據集耗用超過 1,000 小時專家工時

這種做法比靜態影片問答更貼近助手場景，但固定路徑亦代表其他合理回應未必能在同一測試中獲得充分反映。Project homepage 的排行榜顯示，Gemini-3-Pro 整體得分為 66.4，Gemini-2.5-Pro 為 64.6，商用及開源 Omni-LLMs 都只達部分正確，反映可靠的即時影片助手仍有明顯改進空間。

研究團隊來自南京大學、南開大學及 University of Waterloo。測試者需要按照項目提供的評測流程處理影片和音訊，相關 Dataset、Project Page 及評估程式碼可供查閱；正式採用前應先確認版本、存取權限及評分流程是否已更新。

項目主頁 · GitHub

Categories: 開源, 南京大學, 字節跳動, Qwen, Gemini, Dataset 數據集

SwanTale 以場景佈局生成

2026 年 8 月 4 日

SwanTale 把語音與音訊研究集中成一個入口，重點放在更有表達力的生成能力。

比起只追求把字讀出來，字節跳動的 SwanTale 更著重聲音是否自然、有情緒，亦能否處理多人說話生成。這個由 ByteDance 推出的研究項目，焦點放在 expressive audio、speech 與 multi-speaker generation。

現有資料不算多，但已見到它不是單一模型頁，而是一個集合式研究入口，整合 SwanTale、SwanVoice、SwanBench-Speech、SwanSphere 等子項目。對做語音產品、數字人、配音內容與語音互動工作流的人來說，這類整理方式較易追蹤同一研究線的進展。

聚焦 expressive audio、speech 與 multi-speaker generation
由 ByteDance 發佈，定位偏研究整合入口
站內列出 SwanTale、SwanVoice、SwanBench-Speech、SwanSphere
目前公開資訊有限，性能與方法細節仍要逐個子項目再看

它的價值在於把聲音生成從「可用」推向「更像真人表達」，同時覆蓋多人語音場景。現階段較適合先把它視為字節跳動音訊與語音研究的總覽入口，而不是已完整公開規格的單一產品頁面。

項目主頁

Categories: 字節跳動, 數字人, Audio, 語音

Context Scaling 把文生圖提示詞帶到結構化階段

2026 年 8 月 3 日

寫得更長未必更準，關鍵反而是提示詞有幾多可對應畫面的結構資訊。Context Scaling 把這件事量化，連帶改寫文生圖訓練與編輯流程。

文生圖卡住的位置，很多時不是模型不夠大，而是提示詞交代得唔夠可計算。Context Scaling 聚焦影像生成中的文字條件 scaling law，屬於一個結合研究、模型與工作流程設計的項目，處理的是提示詞怎樣更有效描述構圖、屬性同空間關係，令 diffusion model 更容易學到、亦更容易按要求生成。

它最值得留意的判斷，是 caption 長度本身跟效果關係唔算緊密，反而 structured language 的資訊量更重要。團隊用兩個指標去量度這件事：white-box likelihood metric 的 GPG，同 black-box attribute metric 的 ED；受控訓練結果顯示，converged diffusion loss 會隨 GPG 近線性下降，亦會跟 ED 呈 power law 關係。

Context Scaling: Scaling Properties of Text Conditioning in Visual Generation

Watch this video on YouTube

這個方向不只停留在分析。項目把 Structured prompts（SP）做成帶 semantic 與 geometric fields 的 JSON schema，再配合 trainable LLM prompter + captioner，將用戶要求或者輸入圖片轉成更有結構的描述；zero-shot structured editing 亦因此變得可行，因為每個可編輯因素都被拆成命名欄位，改其中一部分時，其他構圖元素較容易保留。

重點不在提示詞有幾長，而在畫面資訊有幾可對齊
GPG 與 ED 為提示詞資訊量提供兩種量化方法
Structured prompts（SP）直接補強 compositional、reasoning、world-knowledge 類生成
prompter 經 supervised fine-tuning、cold-start、verifier-gated on-policy distillation 訓練
已公開 Code、Models 與 Demo，理解路線可先看 project page，再到 Hugging Face collection

跟同類做法相比，它的取捨相當清楚：不是單靠更大模型或更長自然語言描述去碰運氣，而是先提升 captions 對影像的可監督性，再訓練 prompter 去穩定產生這類結構。官方說法指出，系統在多個 compositional、reasoning 與 world-knowledge benchmark 上超越全部已評測 open-weight models，並在多數評測追平或超過最強 closed-weight models；不過公開資訊仍以研究結果為主，部署細節與完整安裝流程未算多，現階段較適合做方法研究、提示詞工程、影像編輯流程設計，以及評估下一代文生圖介面的團隊參考。

項目主頁 · GitHub · 模型

Categories: 開源, 字節跳動, 模型, 模型訓練, Qwen, 影像模型, txt2img, Dataset 數據集

TableVerse 想補上機械臂數據缺口

2026 年 7 月 26 日

想訓練更能適應雜亂桌面嘅機械臂，最缺的往往唔係模型，而係夠真實又夠大量嘅場景數據。TableVerse 用 Real2Sim 把網上圖片整理成可模擬環境，方向相當清晰。

機械臂要學會喺凌亂桌面執放物件，卡位通常唔在控制器，而在訓練資料太乾淨、太想像化。TableVerse 屬於Dataset 數據集加上資料生成流程，重點不是再用文字幻想場景，而是用 Real2Sim 從網上真實圖片重建可放進模擬器的桌面配置，直接處理泛化操作最缺的場景真實感。

現有做法常見兩條路：text-to-layout hallucination，或者較簡化的 procedural generation。作者批評前者容易做出物理上唔合理的擺位，後者又捉唔到人類日常環境常見的密集雜物；因此 TableVerse 改成 deterministic reconstruction，從非結構化的 in-the-wild image data 還原具備 metric scales、authentic topologies 同 verified mechanical stability 的場景，取向明顯偏向可落地訓練，而唔係只追求合成速度。

項目現時最重要的成果是 TableVerse-100K，公開了 100,000 個 physically consistent 的桌面環境，並配對 interactive manipulation trajectories。網站資料顯示，它還接上自動化 task-conditioned trajectory generation，先由 MLLM 根據場景視角提出 object-to-target 配對，再生成 collision-free pick-and-place demonstrations，令數據不只得靜態場景，亦包含可直接餵給操作策略學習的示範。

以真實圖片重建桌面，而非只靠生成式佈局
提供 100K 場景與 pick-and-place 軌跡，規模夠大
強調物理一致性、機械穩定性與模擬可用性
適合做 generalizable manipulation 與桌面操作研究

部署角度上，這個 GitHub 儲存庫目前更接近論文與資料入口，主要連到 arXiv、HuggingFace dataset 同項目網站，未見完整訓練或評測程式公開。換句話說，研究團隊現階段較可能把它理解為高品質資料來源與方法參考，而不是即裝即跑的機械臂框架；對做 robotic manipulation、模擬訓練數據建構，或者研究 Real2Sim 流程的人，參考價值很高。

項目主頁 · GitHub · Paper

Categories: 開源, 字節跳動, 多模態模型, Image, Robotic, Dataset 數據集

RIPO 直指 LLM 強化學習探索崩塌

2026 年 7 月 26 日

RIPO 不是再調一個 PPO-Clip 變體，而是直接質疑量度策略差異的方法。對想提升 LLM 推理訓練穩定度的人，這個方向值得留意。

訓練 LLM 做長鏈推理時，最麻煩的不只是算力，而是策略很容易愈學愈保守，最後卡在少數高機率答案附近。RIPO 屬於一個面向 LLM 強化學習的演算法研究項目，針對的正是 PPO-Clip 在後訓練階段常見的 exploration collapse，想解決罕見但關鍵動作愈來愈難被探索到的問題。

作者沒有沿用「再補幾個 heuristic」的路線，而是直接指出舊範式的核心錯位：PPO-Clip 以 Euclidean metric 量度 policy discrepancy，但 policy 本身更貼近一個 Riemannian manifold。呢個幾何不一致會令低機率區域更新過份保守、高機率區域又過份進取，最後令探索能力收縮；Riemannian Isometric Policy Optimization（RIPO）則改為追求等距的 policy update，嘗試同時守住 exploration 與 exploitation 的平衡。

論文描述中，RIPO 另一個重點是 bias-variance trade-off 較理想，令優化過程更穩定。成效方面，它在七個 competition-level benchmarks 上都優於既有 LLM RL algorithms，當中對 GRPO 在 AIME24 的提升最高可達 60%；這類結果相當吸引，但仍然要留意 benchmark 與訓練設置是否能完整轉移到你手上的模型與資料。

核心批評很明確：PPO-Clip 的幾何假設不適合 policy update
方法重心不是加獎勵技巧，而是重寫策略更新的度量方式
對數學推理、長時序決策這類要靠探索找到解法的訓練場景較有價值
成績亮眼，但更適合有能力重跑 benchmark 與訓練流程的研究團隊驗證

從提供的 GitHub 資訊看，儲存庫描述混入了 verl 這個 RL training library 的內容，因此閱讀與部署前要先分清：RIPO 是演算法與論文方向，verl 則較像承載 LLM RL 訓練流程的開源基建。較合理的理解方式，是把 RIPO 視為可整合進現有 LLM RL framework 的新策略更新方法；真正落地通常要配合既有訓練庫、GPU 叢集配置，以及像 GRPO、PPO 一類後訓練 dataflow 一起測試。

GitHub · Paper

Categories: 開源, 清華大學, 字節跳動, 模型訓練, OpenAI, 框架, 庫, Anthropic, Dataset 數據集

UniVR：視覺推理訓練變成可控工作流

2026 年 7 月 17 日

UniVR 把 Emu3.5 的視覺推理訓練拆成 SFT 與 GRPO 兩段，讓團隊可用自己的資料同獎勵函數接上去。它更像一個面向視覺任務的訓練骨架，而唔係單一模型。

UniVR 係一個能理解我們視覺空間中的思考方式及其在統一視覺推理中的應用，它針對 Emu3.5 unified generative models 的訓練框架，處理的是視覺推理、長程規劃同結果判斷點樣一齊學。它唔係拿來直接做推理展示，而係俾你用自己的資料同獎勵訊號，去微調一個已經懂得處理圖像與文字的底座模型。

SFT（supervised fine-tuning）階段要提供統一格式的樣本：query image、textual instruction、visual reasoning trajectory；RL（reinforcement learning）階段則改成透過 HTTP reward server 送回分數。原始資料沒有提供完整安裝流程，所以目前可確定的只有要把自定義 PyTorch Dataset 接入 UniVR_SFT/train.py，以及把 reward function 換成自己的服務。

和一般只做單次微調的做法相比，UniVR 的取向更偏向「先教格式，再用獎勵修正推理」。它在 RL 端用 GRPO，並配合 HybridEngine 與 Emu3.5 的 vLLM patch，強調 rollout 效率；同時保留 LoRA 同 full-parameter training，適合資源與改動幅度唔同的團隊。

支援多節點 SFT，兼容 LoRA 同 full-parameter training
RL 端基於 verl，同 GRPO 搭配自訂 HybridEngine
Emu3.5 的 vLLM no-CFG parallel inference 可做到約 2 倍 throughput
獎勵設計分成 format reward、global reward，同 step-level 的視覺推理約束
相關模型包括 Emu3.5 同作為評分器的 Qwen3-VL-30B

較容易受惠的情境包括做視覺代理、機械臂/操作規劃、長程任務推理，或者想將現成視覺模型轉成自己工作流的團隊。它的價值在於把「資料格式、推理軌跡、獎勵判斷」串成同一條訓練路線，令視覺任務唔再只靠靜態標註去學。

項目主頁 · GitHub · Paper

Categories: 開源, 字節跳動, 多模態模型, 模型訓練, Qwen, OpenAI, DeepSeek, Gemini, Image, Python, Dataset 數據集

Self-in-Space 補上無人機空間理解盲點

2026 年 7 月 17 日

無人機睇得見環境，未必真正理解自己點樣移動。Self-in-Space把評測、數據同模型放埋一齊，專門拆解呢個落差。

講無人機視覺理解，很多方法集中在環境辨識或任務完成，但較少正面處理飛行器本身的狀態感知。Self-in-Space屬於研究型基準測試、訓練數據集與模型組合項目，核心是把 UAV 的 spatial cognition 與 self-awareness 分開檢查，看看模型是否不只「見到空間」，亦知道自己在場景中如何移動。

作者明確批評現有 UAV-oriented MLLMs 普遍偏向 environment-centered、task-oriented 範式：重視周圍有什麼，較少處理自身運動如何影響理解。為此，他們提出 SIS-Bench、SIS-Motion-54K 與 SIS-Motion，重新把 aerial understanding 拆成 perception、memory、reasoning 三層，再同時覆蓋空間與自我兩條軸線，令問題定義比一般影片問答 benchmark 更貼近 embodied UAV 場景。

SIS-Bench 包含 1,646 段真實 UAV 影片與 4,856 組 QA，覆蓋 13 個任務；團隊用它測試 26 個 video MLLMs，包括 6 個 proprietary models 與 20 個 open-source models。結果指出兩個穩定現象：模型對 self 的建模弱過 space，而且能力會由 perception 走到 memory、再到 reasoning 時逐步下跌，這個診斷比單看整體分數更有參考價值。

結合 benchmark、training dataset 與 motion-aware model，不是單一模型發佈
直接針對 UAV embodied intelligence 的 self-awareness 缺口
評測設計有清楚分層，方便看出模型在哪一段開始失準
SIS-Motion 嘗試用 motion-aware representation 改善 aerial video understanding
已公開 SIS-Bench 與 SIS-Motion-54K，可在 Hugging Face 或 ModelScope 了解內容

這項目的受眾很清楚：做 UAV 視覺、aerial video understanding、embodied AI、video MLLMs 評測的人，都會較容易用得着。現階段它更像研究與比較基礎設施，而不是即裝即用產品；想部署測試，較合理做法是先從 SIS-Bench 驗證現有模型在 self-awareness 與 spatial reasoning 的表現，再看 SIS-Motion 是否能為下游 UAV navigation tasks 帶來可轉移的增益。相關模型與資源以 SIS-Motion、SIS-Bench、SIS-Motion-54K 為主，並且對照了多個 video MLLMs 的表現。

項目主頁 · GitHub · 模型

Categories: 開源, 清華大學, 字節跳動, 多模態模型, 模型訓練, Qwen, Gemini, Video, Dataset 數據集

Page 1 of 4

1 2 3 4 Next »