過往的影片問答模型，往往只在畫面表層打轉，碰上需要專業背景的內容就顯得吃力。VideoKR 正是針對這個缺口而設計，被稱為首個專為知識與推理密集型影片理解打造的大規模訓練語料庫，內含 31.5 萬條影片推理範例，橫跨 14.5 萬段以 CC 授權新蒐集的專業領域影片。

整個語料庫採用「人機協作、技能導向」的生成流程，刻意提升題目難度、題材多元性，以及 Chain-of-Thought（CoT）推理過程的品質。換句話說，模型不只是被餵大量影片，還要學會「怎樣一步步推論出答案」，而這個訓練流程分為監督式微調（SFT）與 GRPO 強化學習兩個階段，使用了 LLaMA-Factory 與 verl 兩個框架。

評測方面，項目同時釋出 VideoKR-Eval，由專家人工標註，要求模型真正理解影片內容，不能靠文字提示取巧。完成訓練後釋出的權重包括 VideoKR-Qwen2.5-VL-7B-SFT、VideoKR-Qwen3-VL-8B-SFT，以及對應的 GRPO 版本 VideoKR-Qwen2.5-VL-7B 與 VideoKR-Qwen3-VL-8B，涵蓋兩款主流視覺語言模型，方便不同算力門檻的研究團隊選用。

這個項目適合從事多模態研究、需要領域知識影片分析的團隊，以及關注 SFT-GRPO 訓練管線效果的工程師。對教學與科研機構而言，CC 授權的素材也可作為延伸應用的起點。

重點摘要

• 首個大規模語料庫：31.5 萬條推理範例、14.5 萬段 CC 授權專業影片。
• 人機協作生成流程：兼顧難度、多元性與 CoT 推理品質。
• 專家標註評測集 VideoKR-Eval：避免模型依賴文字捷徑作答。
• SFT 與 GRPO 雙階段訓練：使用 LLaMA-Factory 與 verl 框架。
• 開源權重齊備：涵蓋 Qwen2.5-VL-7B 與 Qwen3-VL-8B 兩個規模。

GitHub： https://github.com/Fu-Fu-Fu-Fu/VideoKR

機械臂聽到「把杯子拿起來」這類指令時，傳統的視覺語言動作模型（Vision-Language-Action Model, VLA）往往要直接把影像和文字翻譯成關節角度，中間欠缺一個「思考」步驟。AffordanceVLA 嘗試在這個鴻溝上架一道橋：先讓模型預測結構化的可供性（affordance），再據此生成動作。

整個框架由三個專家模型組成，按單向的 UAA 注意力串接。Understanding Expert（M_und）以 PaliGemma（SigLIP + Gemma）為骨幹，把畫面、指令與機械臂自身狀態融合成統一的語意表示。Affordance Generation Expert（M_gen）以 Gemma 搭配可學習查詢，把上述表示解碼為三種可供性標記：Which2Act 判斷要操作的物件、Where2Act 標出二維互動熱區、How2Act 則推估三維幾何資訊。最後 Action Expert（M_act）以 flow matching 方式輸出整段動作序列（action chunk）。這個設計呼應了論文「Affordances serve as a perfect bridge」的核心想法。

由於現成機器人數據集中缺乏密集的可供性標註，作者額外提供了一條自動化標註管線，並以三階段漸進式課程訓練 MoT 架構。訓練時須留意 model.chunk_size 與 data.chunk_size 保持一致，否則動作 attention mask 會錯位；Which2Act 的 Flux loss 預設為 MSE，可在 src/models/which2act_decoder.py 頂端切換。

這個項目適合研究 VLA、機器人操作策略，或對可供性表示有興趣的開發者。需要一支能跑 PaliGemma 與 flow matching 的 GPU 環境，並準備好仿真或實機評測流程。論文中的模擬與真機實驗橫跨多種操作場景，顯示加入可供性中間層能提升泛化與精確度，但具體數字仍以官方報告為準。

重點摘要

• 以 Which2Act、Where2Act、How2Act 三段式可供性作為視覺、語言與動作之間的中間橋樑。
• 採用 MoT 架構，串接 PaliGemma 為基礎的 Understanding、Gemma 為基礎的 Affordance 與 Action Expert。
• 配套自動化可供性標註管線，緩解機器人數據標註不足的問題。
• 訓練採三階段漸進式策略，flow matching 輸出整段動作序列。
• 模型、訓練與標註腳本皆隨開源項目釋出，歡迎社群延伸。

GitHub： https://github.com/Skywalker-yqz/AffordanceVLA

Audio-Interaction 是一款由南洋理工大學（NTU）、新加坡國立大學（NUS）及香港中文大學（CUHK）共同研發的全開源音訊語言模型，屬於新一代的 Audio Interaction Model（音訊互動模型）。它以一個始終運行的感知—決策—回應循環（perceive-decide-respond loop）為核心，能即時聆聽環境聲音與指令，並自行判斷何時應該開口回應。

傳統的大型音訊語言模型大多只支援離線處理，而現有的串流模型一般只能做單一任務，例如即時語音辨識（streaming ASR）或語音聊天。Audio-Interaction 以單一架構同時覆蓋離線與即時任務，把辨識、翻譯、對話等不同功能統一在同一條串流中。這意味著開發者只需要一套模型，就能應付多種音訊互動場景。

這個項目的核心創新在於其訓練流程 SoundFlow。它能把短音訊片段拼接成長互動資料，並以「塊級決策訓練」（chunk-level decision training）配合歷史回顧與語意感知的靜音處理，讓模型學會「該不該說話」。在推論階段，SoundFlow 採用異步 FIFO 推論（asynchronous FIFO inference），使首幀延遲降低約 4.5 倍，帶來更流暢的即時體驗。

使用時，開發者可以直接從官方頁面取得技術報告與程式碼，並透過微信群組加入社群討論。該項目亦提供了即時試聽 Demo，可與 OpenAI 的 gpt-realtime 及字節跳動的 Seeduplex 進行同條件比較，在重複聲響計數、咳嗽辨識及音樂風格判斷等場景中，Audio-Interaction 能逐輪輸出有意義的回應。

Audio-Interaction 重點摘要：

• 統一架構：以單一模型同時支援離線與即時音訊任務，涵蓋辨識、翻譯及對話。
• 感知—決策—回應循環：模型自行判斷回應時機，貼近真實人機互動節奏。
• SoundFlow 訓練流程：結合資料拼接、塊級決策訓練與靜音感知，提升即時判斷能力。
• 低延遲推論：異步 FIFO 推論使首幀延遲降低約 4.5 倍。
• 完全開源：提供技術報告、程式碼及即時試聽 Demo，方便研究與應用。

這個項目特別適合從事語音 AI、對話系統及多模態互動研究的開發者與團隊，能為需要即時音訊理解的產品，例如智能助手、會議記錄、聽障輔助等，提供一個統一且靈活的基礎模型。

項目： https://xzf-thu.github.io/Audio-Interaction/

在大型語言模型的後訓練階段，強化學習可驗證獎勵（RLVR）已是數學與程式推理的常用配方。然而當獎勵只給到序列層級，模型在訓練初期容易遇到訊號稀疏、優勢值為負時不穩定的問題。SDPG（Self-Distilled Policy Gradient）正是針對這兩個痛點而設計的開源項目。

這個項目將 GRPO 擴展為一種自我蒸餾式的策略梯度方法：在同一個模型中，學生只接收問題，而教師額外接收特權脈絡 c。兩者之間以 full-vocabulary 的 token-level KL 散度即時計算蒸餾訊號，為訓練提供更密集的監督；同時結合標準差歸一化與可切換的 α 參考正則化，以提升訓練穩定性。由於學生與教師共享同一組參數，整體設計也避免了額外部署大型教師模型所帶來的記憶體負擔。

環境需要 8 張 A100、H100 或 H200，以及本地 Ray 叢集；預設模型為 Qwen/Qwen3-4B，亦可指向本地權重。資料格式採用特殊 token 分隔演員題目與教師脈絡，相關腳本皆已附上。對正在研究 RLHF 或想把推理模型蒸餾得更穩定的團隊而言，這是一個門檻明確、可重現的實作藍本。

重點摘要

• 在 GRPO 之上加入 exact per-token forward KL 自我蒸餾，緩解稀疏獎勵問題
• 學生與教師共用同一模型，免去大型教師的額外記憶成本
• 內建四種 α 正則模式（fkl、rkl、ufkl、urkl），方便消融實驗
• 預設支援 Qwen/Qwen3-4B，可在 verl RLHF 框架上直接運行
• 硬體門檻為 8 張 A100/H100/H200，搭配本地 Ray 叢集即可啟動

GitHub： https://github.com/lauyikfung/SDPG

Paper： https://arxiv.org/pdf/2606.04036