OneStreamer 讓串流影片懂得記憶與適時回應

2026 年 10 月 3 日 Share to X Copy link

影片畫面離開視窗後，OneStreamer 仍可保留具時間線索的證據，並自行判斷何時已有足夠資訊回應問題。

直播影片一閃即逝，畫面離開模型的視覺視窗後，之後的提問仍可能需要引用那些細節。OneStreamer 屬於串流影片大型語言模型，處理的正是記錄證據、理解新畫面，以及在資料足夠時主動回應之間的取捨。

它以 Qwen3-VL-4B-Instruct 為基礎，OneStreamer-4B 透過 Proactive Hierarchical Caption Memory（PHCM）保存局部細節和已完成事件摘要，再配合近期畫面作答，減少重看歷史影片特徵的需要。Proactive State Transition Learning（PSTL）則保留輸出錨點，挑選具代表性的狀態變化與持續狀態，只有 27.5% 標註狀態 tokens 需要監督。

你可從 Hugging Face 取得 OneStreamer-4B 模型及 OneStreamer-1M 數據集，配合串流影片、問答或字幕資料測試；儲存庫目前提供模型、數據集和示範頁面，但完整推理指令未在提供內容中列出，因此部署前仍需確認執行框架、硬件需求和輸入格式。OneStreamer-1M 合併串流字幕、串流 QA 及整理後的開源資料，共有 1.16M 筆互動記錄。

八項涵蓋線上感知、記憶和主動回應的基準測試中，OneStreamer-4B 在比較方法中取得最高的整體結果；這對需要持續觀看教學、監控或家庭影片的團隊較有參考價值，但生成式記憶仍可能受字幕品質、延遲和錯誤累積影響。

• PHCM 同時保留局部細節與完成事件摘要
• PSTL 針對回應時機和重複等待狀態作訓練
• 模型、數據集及示範頁面均已公開
• 八項基準測試涵蓋感知、記憶與主動回應
• 適合研究串流影片理解及長時間上下文的團隊

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 南京大學, AI productions, 模型, 視覺模型, 模型訓練, Qwen, Video, 框架, 教學, 庫, Dataset 數據集

---

AutoGUIWorld：跨平台 GUI Agent 訓練場景及模型

2026 年 10 月 2 日 Share to X Copy link

以圖像生成模擬 GUI 狀態轉換，降低建立跨平台對真實軟件環境的依賴。

GUI Agent 要學懂跨平台操作，往往受限於收集資料時能夠安裝和重設的軟件環境。AutoGUIWorld 會生成 Windows、macOS、Ubuntu、Chrome、Android 或 iOS 的 GUI 場景，再由模型規劃點擊、開啟、切換等動作，透過圖像編輯生成每一步的畫面。它屬於面向 Computer-use agents 的資料生成框架，在毋須逐一啟動真實應用程式的情況下，建立有畫面、有動作、有座標標註的訓練軌跡。

AutoGUIWorld 把語意規劃和畫面轉換分開。Meta Planner 先按場景建立任務及動作序列，Voyager 讀取最新的乾淨截圖，描述下一個視覺狀態，再交由獨立的模型 adapter 處理文字、視覺和圖像生成或編輯；grounding backend 則負責找出指向目標的位置。每條軌跡會保留 obs_k.png、帶有目標框的 act_k.png，以及記錄任務、計劃、動作、畫面對應、grounding boxes 和 provenance 的 meta.json，方便日後檢查和重用。

• 覆蓋 Windows 11、macOS、Ubuntu 24.04、Chrome、Android 和 iOS 場景
• 技術報告使用的 AutoGUIWorld 訓練集包含 79,266 個 grounded and filtered examples
• 支援 LocateAnything-3B、MAI-UI 或視覺語言 backend 進行 pointing grounding
• 固定 random seed 可重現結構化場景，但模型輸出的文字和像素仍可能改變
• 生成資料不會在真實桌面執行動作，也不會自行驗證任務是否完成

雖然 AutoGUIWorld 以視覺生成換取更快的場景擴展和較低的環境管理成本。代價是生成畫面未必等同真實軟件狀態，圖像模型也可能產生不合理的介面轉換，因此項目提供 scene validity、action alignment 和 transition fidelity 等品質檢查，但不能把這些檢查視為真實執行結果。

目前公開結果集中在資料生成和模型訓練流程。用家可隨時以軌跡微調 Qwen3.5-35B-A3B ，建立合成訓練資料。對只需要真實操作成功率、而且不能接受模擬畫面偏差的工作流程，仍應把真實環境測試放在資料生成之後。

GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, Image, 框架, 軟件, Mac, Linux, Win, Dataset 數據集, UI/UX

---

DyRAD 讓雷達透過多視覺重建動態駕駛場景

2026 年 10 月 2 日 Share to X Copy link

DyRAD 把錄製雷達資料轉成可重新渲染的動態場景，連感測器位置、物件動作和規格變更都能納入測試。

由已錄製的雷達、感測器姿態和物件框，DyRAD 可以生成原本沒有記錄過的新視點，甚至模擬車輛橫向移動、物件重新定位或更高解析度的感測器。這個項目屬於開源雷達新視點合成模型，處理的是自動駕駛系統缺乏非原路線觀測資料的問題。

它把靜態背景反射點與跟隨剛體物件軌跡移動的動態反射點分開建模，並用 range–azimuth–Doppler (RAD) 中的 Doppler 速度約束物件追蹤。反射點不會直接吸收雷達訊號擴散，而是經由 point-spread function (PSF) 渲染；PSF 取自 Hamming-FFT 的距離及 Doppler 處理，以及 RADIal 的 beamformer response，令場景幾何與感測器特性分離。

這個取捨令同一個重建場景可以轉移到不同雷達規格，毋須重新擬合，亦較適合閉環測試和感測器配置研究；代價是需要姿態、物件框和雷達校準等資料，Boreas 更只支援 range–azimuth，未能完整利用 Doppler。項目支援 RADIal、Boreas 及具備偏移視點真值的 synthetic benchmark，可按 README 提供的設定訓練、載入 checkpoint，再以 held-out metrics 和重新擬合流程檢查結果。

• 支援完整 RAD tensor，而非只重建距離及方位
• Doppler 同時作為輸出和動態軌跡監督訊號
• 可測試 lateral sensor shift、物件編輯及高解析度感測器
• Project page 指出其 RAD PSNR 和 detection hit rate 高於 RadarSplat、RadarFields
• 適合自動駕駛、雷達感知及模擬資料團隊研究非原路線測試

對需要驗證感知模型在新路線、新感測器或場景變更下表現的團隊，DyRAD 提供比單純錄播更有彈性的資料生成方式。不過結果仍受初始標註、物件軌跡品質、雷達校準和合成視點真值限制，未能取代真實道路測試。

項目主頁 · GitHub

Categories: 開源, 模型訓練, NVIDIA, Dataset 數據集

---

ThinkV2V 讓影片編輯先思考再生成

2026 年 10 月 1 日 Share to X Copy link

ThinkV2V讓多模態模型先理解影片中的因果與隱含意圖，再交由DiT完成較複雜的指令式影片編輯。

面對「按場景關係修改影片」這類指令，單靠文字語意對齊往往不足。ThinkV2V屬於推理導向的影片編輯框架，讓Multimodal Large Language Model（MLLM）先分析來源影片與指令，再把推理結果轉成DiT影片生成器可用的條件訊號，處理物件關係、時間變化及隱含意圖。

MLLM並非只擔任靜態語意編碼器，Qwen3-VL-8B-Thinking負責理解和推理，connector則把相關特徵對齊至DiT條件空間；原始文字嵌入、MLLM隱藏狀態及來源影片的VAE特徵會一同交由ThinkV2V-5B執行編輯。訓練由穩定的基本編輯逐步過渡至高解像度及推理密集案例，推理階段亦會生成多個候選計劃，再由MLLM篩選較可靠的一個。

• 適合場景：需要根據時間脈絡、物件互動或因果關係修改影片的工作流程。
• 評估資源：提供ThinkV2V-150K訓練數據集及ThinkV2V-Bench，後者包含308個樣本和5類推理密集編輯，預設支援720p。
• 執行條件：Python 3.10、CUDA 12.x、PyTorch 2.6.0，並以torchrun或accelerate進行多GPU運算。
• 資料限制：OpenVE-HQ-1M與ThinkV2V-150K主要是metadata釋出，下載腳本不會一併取得OpenVE-3M影片資料。

項目需要同時準備ThinkV2V、Qwen3-VL-8B-Thinking、Wan2.2-TI2V-5B及Lucy-Edit-Dev等權重，並按儲存庫指定的data與weights結構放置，較適合有CUDA多GPU環境及影片生成經驗的研究團隊。它相較只把MLLM當編碼器的做法，換取更深入的指令理解，但推理、多候選篩選及多模型權重亦會增加顯存、時間和安裝成本；儲存庫提供模型、資料集與基準測試，卻未在提供內容中列出可直接引用的量化領先幅度，不能只憑架構宣稱全面勝過其他影片編輯器。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 字節跳動, AI productions, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Gemini, Video, 框架, 香港, Python, 庫, Dataset 數據集

---

EngiWorld 把工程代理接入真實軟件工作流

2026 年 10 月 1 日 Share to X Copy link

EngiWorld 不只測試代理人能否操作介面，更檢查它能否交付合乎工程規範的成果。

代理人要在 CAD、CAE、CAM、BIM、EDA 和 3D 視覺化軟件中完成工作，難點不只是點擊按鈕，而是要維持幾何、物理條件及跨軟件流程的正確性。EngiWorld 屬於工程代理人評測基準，實際處理的是「能否由指令一路產出可驗證工程成果」這個問題。

項目收錄 1,301 個專家編寫任務，涵蓋 26 個軟件平台、6 個工程領域及 6 類任務，支援 GUI 和 CLI。評測會檢查最終及中間工程文件的幾何有效性、物理可行性和規則符合度，數值設計任務亦會按規格達成程度連續計分，而非只分成功或失敗。

• 提供完整任務、驗證器及 GUI/CLI 評測執行環境
• 主實驗採用 300 個任務，清單位於 task/splits/main-300.txt
• 本地環境以 Linux、Docker 及虛擬機器執行，預設每個環境使用 4 個 CPU 和 16 GB RAM
• 七個前沿模型中，最高 EngiScore 只有 44.3；多軟件嘗試成功率為 3.6%

同類 Computer-use agents 評測多集中於一般桌面操作，EngiWorld 把判斷標準推到可交付的工程 artifact，因此更能揭示模型在長流程、跨軟件依賴及專業規範上的不足。代價是執行門檻較高：需要 x86_64 Linux、Python 3.10、Docker Engine 和環境映像，沒有 /dev/kvm 時亦可運行，但軟件模擬會較慢。

研究團隊、工程軟件開發商，以及想比較 GUI agent、CLI agent 或多模態模型能力的團隊，都可以用它重現測試並保存評測結果。它目前更適合作為嚴格的研究及模型比較工具，而非即插即用的生產自動化方案；最高分數與多軟件成功率反映，代理人距離穩定完成專業工程流程仍有明顯距離。

項目主頁 · GitHub

Categories: 開源, 北京大學, 清華大學, Agentic, 模型, 多模態模型, 軟件, 工具, 3D, Python, Dataset 數據集

---

VoxMem 測試音訊模型的記憶盲點

2026 年 10 月 1 日 Share to X Copy link

VoxMem 不只測模型記得講過甚麼，還檢查能否辨認說話者、語氣與背景聲音，直面多輪語音記憶的缺口。

當語音助手要回想幾次對話之前的內容，答案未必藏在文字轉錄稿內：誰說過一句話、當時的語氣，以及背景傳來甚麼聲音，同樣可能決定答案。VoxMem 屬於語音記憶評測基準，透過多次會話測試 Large Audio Language Models（LALMs）能否保留及運用這些非文字資訊。

項目把測試拆成兩條軸線：需要找回的聲音證據包括 speech semantics、speaker identity、paralinguistic cues 和 environmental sound；記憶操作則涵蓋 information extraction（IE）、multi-session reasoning（MSR）、temporal evolution tracking（TET）及 answer refusal（AR）。這個安排比只問模型能否找回一句原話更接近長期語音助手的工作情境。

VoxMem 提供 3,196 個評測實例，涵蓋 34,743 段、共 177小時的語音會話，並固定問題及證據，只改變8K、16K、32K 和 64K tokens的上下文長度。測試者可從 GitHub 項目取得程式碼，再配合 Hugging Face上的資料集重現評測；Python 3.9 或以上是已列出的基本環境，但不同 LALM仍可能需要各自的模型存取設定。

結果指出，15個 LALMs 在 32K 上下文下沒有模型達到 40% 整體準確率；模型記住文字內容的能力明顯高於辨認說話者、語氣及環境聲音，而且歷史越長，差距越大。這令VoxMem 更適合用來找出語音記憶系統的失效位置，而非單純作為模型排名工具。

• 同時測試聲音證據與記憶操作，涵蓋15個有效組合
• 以多會話歷史取代單一錄音，檢查跨場景整合能力
• 包含證據不足時拒絕回答，能檢視模型是否過度猜測
• 非文字聲音資訊在長上下文下明顯較難保留

研究語音代理、會話記憶、音訊模型或長上下文系統的團隊，能用這套基準分辨問題究竟出在聲音理解、跨會話推理、狀態追蹤，還是拒答判斷。資料採用 CC BY-NC 4.0，程式碼則使用MIT授權，商業產品整合前仍要獨立檢查資料使用條件。

項目主頁 · GitHub · 數據集

Categories: 開源, 模型, Audio, 工具, Python, 語音, Dataset 數據集

---

HybridCUA 讓 Agent 懂得何時用命令列

2026 年 10 月 1 日 Share to X Copy link

浙江大學、北京大學與清華大學團隊，讓 Computer-use agents 在 GUI 操作與 CLI 指令之間作出選擇，減少冗長點擊流程及連鎖錯誤。

浙江大學、北京大學與清華大學的研究團隊，將 CUA (Computer-use agents) 從單靠滑鼠鍵盤操作，帶到 GUI 與 command line interface（CLI）協作的工作方式。HybridCUA 屬於訓練框架及模型項目，處理的是代理知道可以用 shell 之後，仍未能判斷何時使用、如何使用的問題。

連串的 GUI 操作可以由一條命令取代，但 CLI 暴露給未受訓練的代理，反而令 OSWorld 準確率下降 2.5 至 11.5 個百分點。HybridCUA-8K 收集 GUI only、CLI only，以及交錯使用兩者的軌跡，再配合 supervised fine-tuning 和 CLI-aware rewards，訓練 HybridCUA-9B 選擇較合適的操作方式。

• HybridCUA-9B 在 OSWorld 達到 53.6%，較基礎模型高 14.8 個百分點
• 平均每項任務使用 14.0 步，並可轉移至 OSWorld-MCP 及 Windows
• HybridCUA-8K 包含 5K 條混合軌跡及 3K 個已驗證 RLVR 任務
• CLI reward 分為 trajectory level 與 step level，分別鼓勵成功完成及減少失敗指令成本

儲存庫以 env_infra、online-rl 和 site 分開環境平台、GRPO 訓練流程及項目網站；前兩者透過 HTTP 的 /v1/sessions 協作，訓練器毋須自行啟動 VM 或容器。README 提供安裝腳本及 GPU、nvcc、Ray 等環境要求，但模型仍標示為 coming soon，因此目前較適合研究 Computer-use agents、GUI automation 或跨平台代理訓練的團隊閱讀資料集與訓練架構。

結果在 WindowsAgentArena 提升 4.0 個百分點，OSWorld-MCP 達 47.1%，Windows 達 36.0%，顯示 GUI 加 CLI 的方法具備一定跨平台能力；不過項目仍依賴複雜的分散式訓練環境，未提供即時可下載模型，距離一般使用者直接安裝仍有距離。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, 清華大學, Agentic, MCP, 模型訓練, 庫, Dataset 數據集

---

NVIDIA LongLive 把長片生成推向即時互動

2026 年 9 月 30 日 Share to X Copy link

NVIDIA 將三階段長片生成研究整合到同一個項目，涵蓋即時互動、量化推理及可重用蒸餾能力。

NVIDIA 開發團隊把長片生成帶入即時互動、低精度推理和跨模型重用場景。LongLive 屬於開源影片生成研究項目，處理長時間生成容易變慢、下游模型需要重複蒸餾，以及互動控制成本偏高等問題。

項目分成三代，並各自放在獨立目錄，附有程式碼、文件和模型權重。LongLive 1.0 聚焦即時互動長片生成；LongLive 2.0 以 NVFP4 量化和 sequence parallelism 加速訓練及服務；LongLive-Plug 則把 few-step、CFG 和 long-context 能力蒸餾成可重用 LoRA，讓同一模型家族的下游模型減少重新訓練。

LongLive 2.0 支援 T2V/I2V AR training、multi-shot 或 single-shot videos，以及 NVFP4 inference、NVFP4 KV Cache 和 TorchAO FP8 PTQ inference，取捨是需要配合量化及平行化基礎設施。

• LongLive-Plug：一次蒸餾能力，再在同一 backbone family 的下游模型重用
• LongLive 2.0：以 NVFP4、BF16 和 sequence parallelism 支援長片訓練及推理
• LongLive 1.0：讓使用者輸入提示詞後即時觀看並逐步控制長片生成
• DreamForge-World 0.1：加入 residual action pathway，面向低算力、即時可控 world modeling

研究展示包括互動示範、長片 rollout 和不同 backbone family 的配對例子，但提供資料未載有可直接比較的統一 benchmark 分數。具備 NVIDIA GPU、需要研究影片生成系統，或希望在 Wan2.1、Wan2.2、MiniMax-H3 等模型家族上重用蒸餾能力的團隊，較容易找到合適切入點；一般使用者則要先接受它偏研究項目，操作細節仍取決於所選目錄。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, NVIDIA, Video, 提示詞, 語音, Dataset 數據集, MiniMax, LoRA

---

WorldLine 讓機械人先看見動作後果

2026 年 9 月 30 日 Share to X Copy link

WorldLine 把機械人動作轉成影像及空間訊號，預測場景如何變化，再協助評估策略及規劃操作。

機械人要搬動物件前，WorldLine 可以先在視覺模擬中預測動作會如何改變場景，減少每次都依賴實體試錯。它屬於面向機械人操作的世界模型及視覺模擬器，處理的是「控制指令如何造成可觀察結果」這個核心問題，而不是按照任務文字生成畫面。

WorldLine 先用超過10,000小時的無動作標註機械人影片學習機械人與物件的互動，再把末端執行器的位置、深度、方向及夾爪狀態投影到經校準的相機視角。這些 image-space actions 成為不同機械人之間的共同介面；另外超過2,000小時、涵蓋10多種 embodiments 的動作軌跡，負責把通用 dynamics 對應到個別控制方式。

WorldLine 把 action grounding 分開處理，較有利於跨機械人及跨鏡頭遷移，代價是需要校準相機、動作軌跡及失敗案例。模型以 block-autoregressive 方式因果 rollout，每個區塊用四步 denoising 生成，兼顧互動速度與預測細節，但不代表能取代真實環境驗證。

• 用於 policy evaluation、embodied planning 及實體操作前的預測
• 以 image-space action 統一不同機械人的視覺控制介面
• 透過 multi-view、failure-enriched training 及 relational regularization 強化互動敏感度
• 以 few-step distillation 減少 rollout 所需計算

研究團隊包括香港科技大學、Joy Future Academy、北京大學及香港中文大學。較適合研究機械人學習、視覺規劃及模擬器的團隊先按程式碼建立推理環境，再以不同 camera view、embodiment 和失敗動作測試預測穩定性；需要即時控制的人員則應同時量度延遲、動作偏差及真實機械人的遷移落差。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港科技大學, 北京大學, AI productions, 模型, 視覺模型, 世界模型, 模型訓練, Video, Image, 香港, Dataset 數據集

---

LEGO-Anything：由單張圖片生成可編輯 3D 世界

2026 年 9 月 30 日 Share to X Copy link

由一張圖片開始，coding agent 會逐步寫程式、渲染和修正，產出可查詢及編輯的 Blender 3D 場景。

由一張 RGB 圖片開始，coding agent 會自行規劃、執行 Blender 程式、渲染結果，再按視覺檢查持續修正，將參考畫面轉成可編輯、可查詢及可匯出的 3D 世界。LEGO-Anything 同時涵蓋 agentic scene reconstruction 的框架、評測基準 LEGO-Bench，以及協助分析建構過程的 LEGO-Plugin。

項目處理的核心問題，是如何讓模型不只生成一張相似圖片，而是建立具備幾何結構、鏡頭和物件狀態的可執行場景。Agent Workspace 管理產物，Action Space 提供操作，Blender Code Structure 保存可修改的場景狀態，Scene Construction Workflow 則把參考解讀、程式生成、渲染和驗證串連起來。

LEGO-Bench 收錄來自104個場景的208張圖片，涵蓋8個環境、17個主題及443項資產，並以 Indoor、Outdoor 和 Easy 至 Hard 的物件集合測試不同難度。評分同時考慮 Blender 場景是否有效、可見表面幾何重建，以及重新渲染後的色彩吻合度；無效提交或未能完成評估的案例會取得零分。

目前公開結果顯示，GPT-6-astra 在室內及戶外分別取得53.4%及39.6%的 Overall 分數，高於其他參與比較的 coding agents；戶外場景在各難度層級都較難處理，而場景有效率仍未代表幾何和視覺細節已經高度吻合。對需要可修改 Blender 資產、可重現場景或研究 Computer-use agents 3D 操作能力的工作流，這套框架提供了較完整的測試方式。

• 由單張圖片生成可執行的 Blender 場景
• 透過寫程式、渲染和驗證逐步修正結果
• 同時評估場景有效性、幾何重建和外觀吻合度
• LEGO-Bench 涵蓋室內、戶外及多級物件難度
• 戶外場景和高視覺保真度仍是主要限制

項目主頁

Categories: 開源, Agentic, Image, 框架, Vibe Coding, 3D, 編程, Dataset 數據集

---