ALIVE:讓串流影片模型追蹤事件並主動求證

ALIVE 把持續觀看影片的模型推向多輪互動:能等待事件發生、跟進改變中的指示,也會在證據不足時請用戶補充。

ALIVE

等事件出現才回應,線索不足時先問清楚,ALIVE 想補上串流影片模型欠缺的互動能力。它是一個串流影片模型,處理持續影像中的事件監察、多項任務協調和回饋索取;在四個公開基準及 FSI-Bench 上,項目文件稱它在比較模型中取得最高整體分數,但未列出分數或比較名單,暫時難以判斷領先幅度。

例如,用戶要求看到某物件時才通知,模型要持續觀察,而不是只回答當下畫面。FSI-Bench 有 1,235 個 feedback-seeking examples,測試情境資料不足時,模型能否找出缺少的前提、索取回饋,再完成任務。這個測試把「問得對」與「最後做完」放在同一流程檢查,避免只因模型頻繁追問,就被當成善於互動。

ALIVE 的三種互動能力各自對應不同工作:Proactive Monitoring 等指定事件出現才回應;Streaming Task Coordination 在多項請求並行時,按新指示更新任務;Feedback-Seeking Interaction 則在畫面不足以判斷時,請用戶澄清、採取具體行動,或同意繼續監察。串流影片模型通常把請求分開處理,ALIVE 嘗試把它們放進同一段持續對話,代價是判斷錯誤會累積在多輪流程中,而不只影響一個答案。

訓練分兩階段,目的在於分開教模型「何時回應」和「如何在多輪互動中取捨」。第一階段的 contrastive supervised fine-tuning 用對照例子教模型因應證據和用戶要求選擇回應或保持沉默;第二階段以 reinforcement learning 調整後續決策。其 Behavior-Aligned Credit Assignment(BACA)結合整段互動與局部表現的評分,讓模型不只看最後答案,也能修正中途的回應、任務選擇和沉默時機。

ALIVE-SFT-288K 有 288,436 個 interaction examples 訓練資料,供 supervised fine-tuning 使用;ALIVE-RL-3K 有 3,523 個 interaction examples,供 reinforcement learning 使用。這些規模說明模型經過大量互動例子訓練,但不能單憑樣本數推斷資料涵蓋範圍或答案可靠度;項目文件目前把訓練資料列為未完成公開項目。

要測試本機瀏覽器示範,需要 Linux、Python 3.12 和兩張 GPU:一張執行 ALIVE,另一張供語音辨識及語音合成共用。模型 checkpoint 是 ALIVE-Team/ALIVE(ALIVE-8B);示範另用 Qwen/Qwen3-ASR-1.7B 辨認語音,以及 Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 合成語音。啟動後,項目文件指示在瀏覽器開啟 https://localhost:8090;這是本機示範所需的環境,不等於已提供可直接接入現有服務的部署方案。

兩張 GPU 的門檻不低,示範又同時依賴 ALIVE、ASR 和 TTS,任何一環未能正常運作都會妨礙語音互動測試。公開 benchmark 的逐項分數、比較模型名單和測試設定尚未列明,benchmark and evaluation code 亦仍待發布;因此團隊可以先檢查示範是否符合工作流程,但未宜只憑整體排名決定模型選型。

需要監察長時間影片、同時跟進數項指示,或在視線受阻時向操作員索取新畫面的團隊,會較直接感受到 ALIVE 的設計差異。目前有 ALIVE-8B checkpoint 和本機 web inference 示範,但未交代訓練硬件與時長,資料集和 FSI-Bench 連結亦標示為即將推出。下一步可先按指定雙 GPU 環境跑示範,再等逐項評測與資料公開後核對它在目標情境中的表現。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, 清華大學, 字節跳動, 文字轉語音, AI productions, 模型, 模型訓練, Qwen, Video, Image, Linux, Python, 語音, Dataset 數據集, 強化學習