過往的影片問答模型，往往只在畫面表層打轉，碰上需要專業背景的內容就顯得吃力。VideoKR 正是針對這個缺口而設計，被稱為首個專為知識與推理密集型影片理解打造的大規模訓練語料庫，內含 31.5 萬條影片推理範例，橫跨 14.5 萬段以 CC 授權新蒐集的專業領域影片。

整個語料庫採用「人機協作、技能導向」的生成流程，刻意提升題目難度、題材多元性，以及 Chain-of-Thought（CoT）推理過程的品質。換句話說，模型不只是被餵大量影片，還要學會「怎樣一步步推論出答案」，而這個訓練流程分為監督式微調（SFT）與 GRPO 強化學習兩個階段，使用了 LLaMA-Factory 與 verl 兩個框架。

評測方面，項目同時釋出 VideoKR-Eval，由專家人工標註，要求模型真正理解影片內容，不能靠文字提示取巧。完成訓練後釋出的權重包括 VideoKR-Qwen2.5-VL-7B-SFT、VideoKR-Qwen3-VL-8B-SFT，以及對應的 GRPO 版本 VideoKR-Qwen2.5-VL-7B 與 VideoKR-Qwen3-VL-8B，涵蓋兩款主流視覺語言模型，方便不同算力門檻的研究團隊選用。

這個項目適合從事多模態研究、需要領域知識影片分析的團隊，以及關注 SFT-GRPO 訓練管線效果的工程師。對教學與科研機構而言，CC 授權的素材也可作為延伸應用的起點。

重點摘要

• 首個大規模語料庫：31.5 萬條推理範例、14.5 萬段 CC 授權專業影片。
• 人機協作生成流程：兼顧難度、多元性與 CoT 推理品質。
• 專家標註評測集 VideoKR-Eval：避免模型依賴文字捷徑作答。
• SFT 與 GRPO 雙階段訓練：使用 LLaMA-Factory 與 verl 框架。
• 開源權重齊備：涵蓋 Qwen2.5-VL-7B 與 Qwen3-VL-8B 兩個規模。

GitHub： https://github.com/Fu-Fu-Fu-Fu/VideoKR

機械臂聽到「把杯子拿起來」這類指令時，傳統的視覺語言動作模型（Vision-Language-Action Model, VLA）往往要直接把影像和文字翻譯成關節角度，中間欠缺一個「思考」步驟。AffordanceVLA 嘗試在這個鴻溝上架一道橋：先讓模型預測結構化的可供性（affordance），再據此生成動作。

整個框架由三個專家模型組成，按單向的 UAA 注意力串接。Understanding Expert（M_und）以 PaliGemma（SigLIP + Gemma）為骨幹，把畫面、指令與機械臂自身狀態融合成統一的語意表示。Affordance Generation Expert（M_gen）以 Gemma 搭配可學習查詢，把上述表示解碼為三種可供性標記：Which2Act 判斷要操作的物件、Where2Act 標出二維互動熱區、How2Act 則推估三維幾何資訊。最後 Action Expert（M_act）以 flow matching 方式輸出整段動作序列（action chunk）。這個設計呼應了論文「Affordances serve as a perfect bridge」的核心想法。

由於現成機器人數據集中缺乏密集的可供性標註，作者額外提供了一條自動化標註管線，並以三階段漸進式課程訓練 MoT 架構。訓練時須留意 model.chunk_size 與 data.chunk_size 保持一致，否則動作 attention mask 會錯位；Which2Act 的 Flux loss 預設為 MSE，可在 src/models/which2act_decoder.py 頂端切換。

這個項目適合研究 VLA、機器人操作策略，或對可供性表示有興趣的開發者。需要一支能跑 PaliGemma 與 flow matching 的 GPU 環境，並準備好仿真或實機評測流程。論文中的模擬與真機實驗橫跨多種操作場景，顯示加入可供性中間層能提升泛化與精確度，但具體數字仍以官方報告為準。

重點摘要

• 以 Which2Act、Where2Act、How2Act 三段式可供性作為視覺、語言與動作之間的中間橋樑。
• 採用 MoT 架構，串接 PaliGemma 為基礎的 Understanding、Gemma 為基礎的 Affordance 與 Action Expert。
• 配套自動化可供性標註管線，緩解機器人數據標註不足的問題。
• 訓練採三階段漸進式策略，flow matching 輸出整段動作序列。
• 模型、訓練與標註腳本皆隨開源項目釋出，歡迎社群延伸。

GitHub： https://github.com/Skywalker-yqz/AffordanceVLA

Skill0.5 是一個面向 Agentic Reinforcement Learning 的研究項目，聚焦處理 out-of-distribution generalization 問題。它指出傳統 skill-based RL 方法常要在 full externalization 與 full internalization 之間二選一，前者會帶來高昂的 context 開銷，後者則容易出現 overfitting 與知識衝突。

這項目把 general skill internalization 與 task-specific skill utilization 一同納入訓練，但用不同策略處理兩種性質不同的技能。系統會用 difficulty-aware router 按任務難度分流：Hard tasks 用 privileged distillation 內化通用技能，Medium tasks 用標準 RL 提升成功率，Easy tasks 則透過 diagnostic probing 懲罰走捷徑的行為，迫使模型忠實運用任務相關技能。

對初步理解這個項目的人來說，可先把它視為一種「按難度分工」的訓練框架，而不是單一模型結構。使用時要留意 context 開銷被視為問題之一，某程度上也反映較重的外部技能依賴可能增加資源壓力，包括 VRAM 與序列處理成本。

• 解決 rigid choice 問題，避免只靠 externalization 或 internalization
• 用 difficulty-aware router 把任務分成 Hard、Medium、Easy 三層
• 分別結合 privileged distillation、標準 RL 與 diagnostic probing
• 在 ALFWorld 與 WebShop 中，據摘要所述優於 memory-based 與 skill-based RL baselines

這類項目較適合研究智能代理、任務規劃與泛化能力的人參考，尤其是想改善模型在陌生情境下穩定性的團隊。

訓練和實現時使用 Qwen2.5-7B-Instruct 作為基礎模型。策略最佳化方面採用 GRPO 作為骨幹網絡，組別大小 G = 8，學習率為 1 × 10⁻⁶。訓練在 4 個 H800 GPU 上進行，每次迭代的批次大小為 16 個任務，最大互動範圍設定為 30 步。任務特定技能透過 Qwen3-Embedding-0.6B 取得。

GitHub： https://github.com/JasonZhujp/Skill0_5

這篇論文介紹 LaRA（Layer-wise Representation Analysis），目的是找出 Reinforcement learning（RL）post-training 階段的資料污染問題。所謂污染，是指評估題目或基準資料混入訓練資料，令 Large Language Models（LLMs）看似表現很好，但其實可能只是記住答案，影響泛化能力與評估可信度。

作者指出，現有方法多數只看輸出層面的訊號，例如 likelihood、entropy 或生成行為差異，但這類方法對 RL 訓練後的模型未必穩定。原因是 RL 重點在整條 reasoning trajectory 的 reward，而不是逐個 token 的機率，因此只靠輸出分佈，容易受 miscalibration 影響，未必能準確反映模型是否記住了評測資料。

LaRA 改為分析模型各層的內部表示，觀察受控擾動前後的幾何變化。論文提出三個互補指標：perturbation sensitivity、directional collapse、local representation rigidity，用來量度污染樣本在不同 layer 的異常反應；作者發現，受污染資料會在多層表示中逐步出現更高敏感度、更強方向收縮，以及更高局部剛性。

使用這個項目時，重點不是增加推理速度，而是作為檢測流程，協助研究人員審視 RL 訓練後模型的可信度。文中也提出一套偵測 protocol，把不同 layer 與不同指標的偏差整合起來；在 RL-trained reasoning models 的實驗中，這套方法表現優於現有 output-level baseline。

• 解決 RL post-training 資料污染難以辨識的問題
• 以 representation-level 訊號取代單看輸出機率
• 結合三個指標，從多層 layer 分析污染痕跡
• 適合用於 reasoning 模型評估、訓練審核與研究比較
• 論文摘要未提供 VRAM 需求，較可能受模型大小、抽取 layer 數目與批次分析設定影響

如果你關心 VRAM 的應用，這篇內容沒有列出明確顯示卡記憶體需求，也沒有提供部署規格。不過按方法性質推測，LaRA 需要讀取多個 layer 的 hidden representations，使用時 VRAM 主要會花在模型載入、儲存中間層表示，以及對多個擾動版本做批次分析；模型越大、分析層數越多，VRAM 需求通常越高。

Paper： https://arxiv.org/pdf/2605.29888

NAVA 是一個主打音訊與影片同步生成的項目，目標不是先整好畫面再補聲，而是由一開始就把兩者放在同一個生成流程內處理。對非技術讀者來說，可以把它理解成一個較重視「畫面發生什麼，聲音就跟住發生什麼」的模型，因此打鬥、說話、環境聲這類時間配合會更自然。

這個項目的核心做法，是先在獨立空間建立 audio-video alignment，再用文字或其他 context 去引導生成，並採用 Align-then-Fuse MMDiT 架構。另一個亮點是 Timbre-in-Context Conditioning，能把參考 WAV 的音色對應到指定語音片段，適合多角色對白、指定聲線或旁白控制。

NAVA 有 6.3B 參數，可在 8 張 GPUs 配合 Ulysses sequence parallelism 下約 1 分鐘生成 720p 影片，這代表它主要面向高階 GPU 環境；VRAM 的作用是存放模型權重、推理中的中間特徵、音訊與影片 token，以及較高解像度生成所需的緩衝空間，VRAM 越充足，越有機會支援更高畫質、較長內容或較穩定的批次推理。

• 支援 native stereo audio，畫面、場景聲與語音一併生成
• 可用文字控制鏡頭構圖、運鏡與節奏
• 支援 multi-timbre voice control，適合多角色配音場景
• 同一 checkpoint 可輸出橫向、直向與正方形比例
• 英文 TTS 表現較強，其他語言支援看來仍較有限

它在 Verse-Bench、Seed-TTS 及用戶研究中，於影片質素、聲畫同步和參考音色可控性有明顯優勢，音訊質素亦具競爭力。若你關注開放式 audio-video generation、TTS、虛擬角色影片、短片內容製作，或者想研究 6.3B 級別模型如何平衡同步效果與運算需求，NAVA 是一個很值得細看的項目。

GitHub： https://github.com/ernie-research/NAVA

Qwen3.5-Omni 是 Qwen 最新一代全模態大模型，支持文本、圖片、音頻、音視頻理解。結構上，Qwen3.5-Omni 的 Thinker 與 Talker 均採用 Hybrid-Attention MoE 架構。Qwen3.5-Omni 系列包含 Plus、Flash、Light 三種尺寸的 Instruct 版本，支持 256k 長上下文，模型支持超過 10 小時的音頻輸入及超過 400 秒的 720P（1 FPS）音視頻輸入。模型在海量文本、視覺以及超過 1 億小時的音視頻數據上進行原生多模態預訓練，該模型展現出卓越的全模態感知與生成能力。相比 Qwen3-Omni，Qwen3.5-Omni 多語言能力大大增強，能夠支持 113 種語種和方言的語音識別和 36 種語種和方言的語音生成。目前可通過 Offline API 和 Realtime API 進行體驗。

Qwen3.5-Omni Thinker 通過 Vision Encoder 和 AuT 接受視覺和音頻信號輸入，音視頻信號通過 interleave 交織並搭配 TMRoPE 編碼位置信息。Thinker 負責處理全模態信號並輸出文本，Talker 負責接收來自 Thinker 的多模態輸入以及文本輸出，進行 contextual 語音生成，語音表徵通過 Qwen3-Omni 提出的 RVQ 編碼來替代繁重的 DiT 運算。由於 chunk-wise 的流式輸入設計和流式 Talker 設計，整個模型可以進行 realtime interaction。不同於上一代 Qwen3-Omni 的雙軌 Talker 輸入，Talker 在輸入的組織方式上採用了 ARIA（自適應速率交錯對齊，Adaptive Rate Interleave Alignment）來動態對齊文本與語音單元，然後進行交錯排布，以避免由於文本與語音 Token 編碼效率差異導致的語音不穩定性，如漏讀、誤讀或數字發音模糊等問題。

UniVerse-1 是個類似 Veo-3 的模型，可根據參考圖像和文字提示同時產生同步音訊和視訊。

• 統一音視頻合成：具有同時生成音訊和視訊的強大功能。它能夠解析輸入提示，產生完美同步的視聽輸出。
• 語音音訊產生：此模型可直接根據文字提示產生流暢的語音，展現了其內建的文字轉語音 (TTS) 功能。至關重要的是，它能夠根據生成的特定字元調整語音音色。
• 樂器演奏聲音生成：此模型在創造樂器聲音方面也非常熟練。此外，它還提供了「邊彈邊唱」的功能，可以同時產生人聲和樂器音軌。
• 環境聲音生成：此模型可以產生環境聲音，產生與視訊視覺環境相符的背景音訊。
• 第一個開源的基於 Dit 的音訊視訊聯合方法：我們是第一個開源基於 DiT、類似 Veo-3 的聯合視聽生成模型。