InferNews

StreamChar 是一個研究展示項目，聚焦 Long-Horizon Streaming Character Audio-Video Generation，也就是長時間、串流式的角色音訊與影片生成。從頁面可見，它的核心組合包括 Decoupled LLM orchestration、joint audio–video DiT denoising backbone、Sink-Chunk Memory，以及 Online Rollout Distillation。

這個項目要處理的重點，是角色聲畫內容在較長輸出過程中的連續性與穩定度。一般生成流程一旦拉長，容易出現內容斷裂、角色狀態不一致，或音訊與畫面節奏不同步；StreamChar 看來就是針對這類長序列生成問題而設計。

使用這個項目時，現階段較像觀看研究成果與示範，而不是直接提供完整產品化操作流程。頁面提供 Paper (arXiv) 與示範影片，適合先從 demo 觀察輸出效果，再配合論文理解整體方法與系統拆分方式。

它的技術方向幾個重點相當清楚：把 LLM 的 orchestration 與底層聲畫生成解耦、以 Streaming DiT Backbone 負責連續生成，並加入 Sink-Chunk Memory 支援長時間上下文。Online Rollout Distillation 則顯示團隊有針對串流生成過程做效率或穩定性上的訓練安排，但頁面摘要未提供更完整數字。

• 聚焦 Long-Horizon Streaming Character Audio-Video Generation
• 結合 Decoupled LLM orchestration 與 joint audio–video DiT denoising
• 以 Sink-Chunk Memory 處理長序列上下文
• 提供研究示範影片，輸出為 native resolution
• 適合關注角色生成、串流生成與多模態研究的人

如果你是做生成式 AI、虛擬角色、數碼人或影片合成相關項目，這個項目有參考價值。至於性能和評估，頁面目前只見方法名稱、論文入口與 demo，未見明確基準分數；較穩妥的做法，是把它視為一條值得追蹤的研究路線，再到論文中查看完整實驗細節。

項目： https://humanaigc.github.io/StreamChar_page/

圖像圖層分解（image layer decomposition）是指把一張圖分成幾層可獨立編輯的 RGBA 影像，再合併回原本的畫面。這個技術是專業修圖與合成工作流的基本工序，但要訓練模型做這件事並不容易：同一張圖往往存在多種合理分層方式，而且品質好壞取決於下游是否好用，例如語意分層是否清晰、alpha 遮罩是否乾淨、是否有冗餘層，以及被遮擋的部分能否被合理填回。

傳統做法會用合成的配對數據集（即同一張圖同時提供「原圖」與「正確分層」）來監督模型學習，但這會帶來先天限制：當多種分層都同樣合理時，強迫模型擬合單一標準答案，等於懲罰了其他可行的解法。Stable-Layers 嘗試繞過這個限制，改用強化學習（reinforcement learning）讓模型直接朝「看起來品質好」的方向優化，監督訊號只來自一個視覺語言模型（vision-language model，VLM）。

具體而言，項目以 Qwen-Image-Layered 為起點，結合 Flow-GRPO 與 LoRA（Low-Rank Adaptation，低秩適應）微調，針對每張圖採樣多個候選分層，再用 VLM 評分，從群組相對優勢（group-relative advantages）來更新策略。當中最大的挑戰是設計可靠的獎勵訊號：VLM 單獨評分時容易把所有樣本擠進一個狹窄的分數區間，導致 GRPO 缺乏組內變化可以學習。為此，Stable-Layers 採用兩階段評估流程——先按五個編輯向標準逐項評分，再把所有候選並排放在標記好的比較網格上重新評分一次，藉此取得更細緻的相對校準。

Stable-Layers 重點摘要：

• 毋須配對數據：在完全沒有標註的圖像上訓練，解決合成數據集帶來的偏誤問題
• VLM 擔任評審：利用視覺語言模型就五個編輯標準打分，提供獎勵訊號
• 兩階段評估：先獨立評分，再以比較網格重新校準，避免分數過度集中
• 強化學習微調：結合 Flow-GRPO 與 LoRA，從 Qwen-Image-Layered 開始改良
• 實測表現：在 Crello 數據集上，圖層分離度更高、空白或帶瑕疵的層更少、每層重建誤差也較低

適用場景與對象：這個項目適合做圖像編輯、合成或設計工具的研究者與工程師，尤其是手上沒有大量配對分層數據、又想提升分層品質的團隊。對強化學習應用於視覺生成感興趣的人，也能從它處理「組內變化不足」的設計中得到啟發。

效能與評估：團隊在 Crello 數據集上測試，結果顯示 Stable-Layers 相比基礎模型，圖層分離更明確、出現空白或帶雜訊的層更少，而且每層的重建誤差也更低。論文獲 NeurIPS 2026 接收（arXiv:2605.30257v1）。

引用的模型：Qwen-Image-Layered（基礎分層模型）、Flow-GRPO（強化學習算法）、LoRA（高效微調方法）、視覺語言模型評審。

項目： https://stability-ai.github.io/stable-layers.github.io/

bosonai/higgs-audio-v3-tts-4b 是由 Boson AI 在 Hugging Face 上開源的一款文字轉語音（Text-to-Speech, TTS）模型，整個模型約有 40 億（4B）個參數。這個項目主打多語言語音合成，並可根據少量參考音訊複製說話者的聲線，亦支援多輪對話式的語音生成，常用於 AI 配音、對話機械人、有聲內容製作等場景。

模型以 transformers 框架發佈，頁面具備 chat_template_jinja 範本，方便整合到現有的對話系統中。開發者可以直接透過 Hugging Face Transformers 載入 tokenizer 和模型，並依官方範例程式碼生成 wav 音檔，整體流程對熟悉 Python 的使用者而言並不複雜。

這個項目主要處理傳統 TTS 難以兼顧「自然對話感」與「聲線多樣性」的痛點。模型能根據文字內容自動調整語氣、停頓與情緒，讓合成結果更貼近真人發聲。

重點摘要：

• 規模與定位：約 40 億參數的開源 TTS 模型，定位為輕量而功能完整的語音方案。
• 核心功能：支援文字轉語音、聲線複製（voice cloning）以及多輪對話語音生成。
• 多語言支援：可處理多種語言的合成任務，適合跨語言應用。
• 使用門檻：需要 Python 環境與 Hugging Face Transformers 基礎知識，建議配備 GPU 以獲得順暢體驗。
• 整合彈性：內建 chat template，方便接駁到聊天機械人或多輪對話流程。

這個項目較適合從事 AI 語音應用、虛擬助手、有聲書或遊戲配音的開發者與研究人員。如追求極低部署成本，亦可考慮使用雲端 GPU 或 Hugging Face Inference Endpoints 來運行。

項目： https://huggingface.co/bosonai/higgs-audio-v3-tts-4b

過往的影片問答模型，往往只在畫面表層打轉，碰上需要專業背景的內容就顯得吃力。VideoKR 正是針對這個缺口而設計，被稱為首個專為知識與推理密集型影片理解打造的大規模訓練語料庫，內含 31.5 萬條影片推理範例，橫跨 14.5 萬段以 CC 授權新蒐集的專業領域影片。

整個語料庫採用「人機協作、技能導向」的生成流程，刻意提升題目難度、題材多元性，以及 Chain-of-Thought（CoT）推理過程的品質。換句話說，模型不只是被餵大量影片，還要學會「怎樣一步步推論出答案」，而這個訓練流程分為監督式微調（SFT）與 GRPO 強化學習兩個階段，使用了 LLaMA-Factory 與 verl 兩個框架。

評測方面，項目同時釋出 VideoKR-Eval，由專家人工標註，要求模型真正理解影片內容，不能靠文字提示取巧。完成訓練後釋出的權重包括 VideoKR-Qwen2.5-VL-7B-SFT、VideoKR-Qwen3-VL-8B-SFT，以及對應的 GRPO 版本 VideoKR-Qwen2.5-VL-7B 與 VideoKR-Qwen3-VL-8B，涵蓋兩款主流視覺語言模型，方便不同算力門檻的研究團隊選用。

這個項目適合從事多模態研究、需要領域知識影片分析的團隊，以及關注 SFT-GRPO 訓練管線效果的工程師。對教學與科研機構而言，CC 授權的素材也可作為延伸應用的起點。

重點摘要

• 首個大規模語料庫：31.5 萬條推理範例、14.5 萬段 CC 授權專業影片。
• 人機協作生成流程：兼顧難度、多元性與 CoT 推理品質。
• 專家標註評測集 VideoKR-Eval：避免模型依賴文字捷徑作答。
• SFT 與 GRPO 雙階段訓練：使用 LLaMA-Factory 與 verl 框架。
• 開源權重齊備：涵蓋 Qwen2.5-VL-7B 與 Qwen3-VL-8B 兩個規模。

GitHub： https://github.com/Fu-Fu-Fu-Fu/VideoKR

機械臂聽到「把杯子拿起來」這類指令時，傳統的視覺語言動作模型（Vision-Language-Action Model, VLA）往往要直接把影像和文字翻譯成關節角度，中間欠缺一個「思考」步驟。AffordanceVLA 嘗試在這個鴻溝上架一道橋：先讓模型預測結構化的可供性（affordance），再據此生成動作。

整個框架由三個專家模型組成，按單向的 UAA 注意力串接。Understanding Expert（M_und）以 PaliGemma（SigLIP + Gemma）為骨幹，把畫面、指令與機械臂自身狀態融合成統一的語意表示。Affordance Generation Expert（M_gen）以 Gemma 搭配可學習查詢，把上述表示解碼為三種可供性標記：Which2Act 判斷要操作的物件、Where2Act 標出二維互動熱區、How2Act 則推估三維幾何資訊。最後 Action Expert（M_act）以 flow matching 方式輸出整段動作序列（action chunk）。這個設計呼應了論文「Affordances serve as a perfect bridge」的核心想法。

由於現成機器人數據集中缺乏密集的可供性標註，作者額外提供了一條自動化標註管線，並以三階段漸進式課程訓練 MoT 架構。訓練時須留意 model.chunk_size 與 data.chunk_size 保持一致，否則動作 attention mask 會錯位；Which2Act 的 Flux loss 預設為 MSE，可在 src/models/which2act_decoder.py 頂端切換。

這個項目適合研究 VLA、機器人操作策略，或對可供性表示有興趣的開發者。需要一支能跑 PaliGemma 與 flow matching 的 GPU 環境，並準備好仿真或實機評測流程。論文中的模擬與真機實驗橫跨多種操作場景，顯示加入可供性中間層能提升泛化與精確度，但具體數字仍以官方報告為準。

重點摘要

• 以 Which2Act、Where2Act、How2Act 三段式可供性作為視覺、語言與動作之間的中間橋樑。
• 採用 MoT 架構，串接 PaliGemma 為基礎的 Understanding、Gemma 為基礎的 Affordance 與 Action Expert。
• 配套自動化可供性標註管線，緩解機器人數據標註不足的問題。
• 訓練採三階段漸進式策略，flow matching 輸出整段動作序列。
• 模型、訓練與標註腳本皆隨開源項目釋出，歡迎社群延伸。

GitHub： https://github.com/Skywalker-yqz/AffordanceVLA