InferNews

S2L-PO 用小模型帶動大模型推理訓練

S2L-PO method overview

這個項目來自跨校團隊，作者包括 Yiming Ren、Yiran Xu、Zicheng Lin 等人，通訊作者是 Yu Qiao 與 Ruihang Chu；所屬機構包括清華大學、上海人工智慧實驗室、香港中文大學及香港城市大學。以研究背景看，團隊明顯集中在大型語言模型訓練、推理強化學習與數學評測。

這是一個針對 Group Relative Policy Optimization（GRPO）訓練流程的研究型框架，目的是提升大型語言模型在推理任務上的 rollout diversity。現有做法多數靠提高 temperature，從 token-level randomness 增加變化，但論文指出這種固定範式容易在長推理鏈累積噪音，令軌跡變得不連貫。

S2L-PO（Small-to-Large Policy Optimization）換了一個角度：不用同一個大模型不停抽樣，而是找同家族的較小模型做 explorer，先產生一部分 qualitatively different reasoning trajectories，再讓大模型用混合 rollout 依照標準 GRPO 訓練。之後再用 progressive annealing，逐步由 small-model exploration 過渡到 fully on-policy learning，避免中途被小模型能力上限拖慢。

論文提供的結果頗有說服力。以 Qwen3-8B learner 配 1.7B explorer 為例，AIME24 Pass@1 由 15.0 提升到 23.8，AIME25 Pass@1 由 12.1 提升到 22.5；Qwen3-14B learner 配 4B explorer 亦比基線 GRPO 高。作者同時聲稱 rollout compute 還可降低，這點對訓練成本敏感的團隊尤其有吸引力。

如果你想測試這個項目，較合理的方式不是當作即裝即用工具，而是把它視為一個訓練策略參考：先看論文與公開模型設定，再比較自己手上的 GRPO 流程是否同樣受 rollout 同質化影響。硬件門檻不算低，資料列出 8B 模型約需 20 GB GPU 記憶體、14B 模型約需 32 GB，較適合研究人員、模型訓練工程師，或正在做數學推理微調的團隊。

  • 核心判斷：這是模型訓練框架，不是一般聊天應用，重點在改善 GRPO 的探索品質
  • 方法差異：由 token-level randomness 轉向 policy-level diversity，減少長鏈推理失真
  • 主要創新：用較小同家族模型充當 natural explorers，再以 progressive annealing 收回大模型主導權
  • 已列相關模型：Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen3-14B
  • 適合場景：數學推理、可驗證獎勵訓練、想提升 RLVR 與 GRPO 收斂效率的項目

GitHub： https://github.com/qishisuren123/S2L-PO

Paper： https://arxiv.org/pdf/2605.30789

Categories: 開源, 阿里巴巴, Qwen, 香港, 香港中文大學, Agentic, 工具, Python, 模型, 模型訓練, 深度學習, 香港城市大學, 上海人工智慧實驗室, 框架, 清華大學

Orchestra-o1：多智能體協作框架拆解複雜多模態任務

Orchestra-o1 Framework

Orchestra-o1 由香港中文大學（CUHK）計算機科學與工程學系的 Fan Zhang 領銜，聯同北京大學、清華大學、同濟大學及 LIGHTSPEED 團隊共同開發。模型權重同步開源於 Hugging Face。

這個項目的定位是多智能體協作框架，針對文字、圖像、音訊、影片並存的「全模態」（omnimodal）場景，自動把複雜任務拆解成多個子任務，再分配給專責的 SubAgent 執行。MainAgent 負責規劃與協調，SubAgent 則配備搜尋、執行程式碼、影音分析等工具獨立運作，獨立子任務可同步執行以提升效率。

重點摘要：

  • 層級式架構：MainAgent 統籌拆解任務，SubAgent 各司其職，避免單一模型疲於應付多模態輸入。
  • 平行執行：無依賴的子任務同步進行，加快整體處理速度。
  • DA-GRPO 訓練法：以 Qwen3-8B 為基礎，搭配 Decision-Aligned Group Relative Policy Optimization 與 LLM-as-judge 獎勵機制微調。
  • OmniGAIA 表現：在 OmniGAIA 基準測試取得 72.8% 準確率，領先第二名 10.3 個百分點。
  • 開源生態：基於 Python 3.10+ 與 verl 框架，訓練需 8 張 H20 (96GB) GPU 單節點。

Orchestra-o1 的創新在於把「模態感知拆解」與「線上子智能體特化」結合，讓多模態協調不再依賴線性流程。適合需要處理多媒體資訊的研究團隊、Agent 開發者，以及關注 Computer-use agents（CUAs）與多模態模型應用的工程師。

效能方面，作者將 Orchestra-o1-8B 定位為同類開源全模態代理中最先進（SOTA），同時在商用模型（例如 GPT-5）推理腳本中亦提供整合，方便研究人員比較開源與閉源路線的差距。

GitHub： https://github.com/zfkarl/Orchestra-o1

Paper： https://arxiv.org/pdf/2606.13707

Categories: 開源, 香港中文大學, Agentic, 模型, 深度學習, OpenClaw, 框架

InterleaveThinker 多步生成變得可控

logo

InterleaveThinker 是一個多代理生成流程工具，目標是替現有圖像生成器加入 interleaved generation 能力，即按步輸出文字與圖片交錯的內容。它想處理的，不是單張圖夠不夠精美，而是多個步驟之間是否連貫、是否跟指令一致。

這個項目的核心做法，是把工作拆成 planner agent 與 critic agent。前者先安排圖文序列和每一步任務，後者再檢查生成結果、有偏差就修正指令再生成，做法比單次提示更像一個會反覆校對的流程。

如果你想試它，方向很明確：先接上它已支援的生成器，再用多步任務測試，例如故事場景連續變化、視覺教學、摺衫步驟、角色互動或 embodied manipulation。儲存庫已列出多個可配合的模型端口，包括 Qwen-Image、Qwen-Image Lightning、FLUX.1-Krea-dev、Qwen-Image-Edit Lightning、FLUX.1-Kontext-dev Edit 與 FLUX.1-Fill-dev Fill。

公開資料顯示，它在 interleaved generation benchmark 的表現可與 Nano Banana 及 GPT-5 接近；在推理導向基準也有明顯提升，例如 WISE 由 0.47 升至 0.73，RISE 由 13.3 升至 28.9（4-step FLUX.2-klein）。這些數字反映它的價值主要在「多步一致性與修正能力」，不是單靠底層模型硬撐。

  • 重點不在訓練全新生成器，而是增強現有 image generator
  • 以 planner agent + critic agent 處理多步圖文任務
  • 適合 visual narratives、guidance、embodied manipulation、long-horizon sub-task annotation
  • 已公開相關模型：InterleaveThinker-Planner-8B、Critic-SFT-8B、InterleaveThinker-Critic-8B
  • 另有訓練資料集：Interleave-Planner-SFT-80k、Interleave-Critic-SFT-112k、Interleave-Critic-RL-13k

對研究圖文代理、工作流編排，或者想把現有出圖模型拉進多步任務的人，這個項目很有參考價值。若你只想單次生成一張圖，它未必是最直接的選擇；但若你要的是連續幾步都講得通、畫面不走樣，InterleaveThinker 的定位相當清楚。

GitHub： https://github.com/zhengdian1/InterleaveThinker

項目：https://zhengdian1.github.io/InterleaveThinker-proj/

Categories: 開源, 香港中文大學, 影像模型, 影像處理, 模型

SWE-Explore-Bench：拆解編碼代理如何理解你的程式碼

SWE-Explore evaluates repository exploration directly instead of only end-to-end repair.

SWE-Explore-Bench 由上海交通大學、香港中文大學等團隊推出，專門考核編碼代理在「真正落筆修改前」探索程式碼庫的表現。現有的 SWE-bench 等基準只給出最終通過與否的二元結果，難以分辨代理是因為找對位置而成功，還是碰巧蒙對。這個項目把探索這一步抽離出來單獨計分，更貼近診斷代理能力的本質。

具體做法是收集同一議題的多條成功修復軌跡，從中抽取代理實際讀取的程式碼行範圍，整合出共識的核心上下文，再保留部分模型獨有的可選上下文。代理需要輸出一份按行範圍排序的程式碼區域清單，評分涵蓋覆蓋率、排序品質、上下文效率，以及下游受限修補驗證四個維度。這種行級監督比傳統的檔案級定位更細緻，能揭示代理的真正瓶頸。

資料集涵蓋 10 種程式語言、203 個開源項目中的 848 個議題，並提供 OpenAI 相容的端點，方便接駁不同 LLM 進行行範圍精修。實測結果顯示，具備代理能力的探索器明顯領先傳統檢索器，現代方法在檔案層級已相當成熟，但行級覆蓋與高效排序仍是區分頂尖方案的分水嶺。

適合關注 SWE-agent、AutoCodeRover、OpenHands 等代理框架的研究者、開發者及基準設計者使用。對想了解自家代理「讀碼環節」強弱的團隊而言，這是一個值得放入評測管線的參考項目。

GitHub： https://github.com/Qiushao-E/SWE-Explore-Bench

Paper： https://arxiv.org/pdf/2606.07297

Categories: 開源, 香港中文大學, 編程, 框架

AffordanceVLA：為機械臂加入「先想再做」的能力

AffordanceVLA overview

機械臂聽到「把杯子拿起來」這類指令時，傳統的視覺語言動作模型（Vision-Language-Action Model, VLA）往往要直接把影像和文字翻譯成關節角度，中間欠缺一個「思考」步驟。AffordanceVLA 嘗試在這個鴻溝上架一道橋：先讓模型預測結構化的可供性（affordance），再據此生成動作。

整個框架由三個專家模型組成，按單向的 UAA 注意力串接。Understanding Expert（M_und）以 PaliGemma（SigLIP + Gemma）為骨幹，把畫面、指令與機械臂自身狀態融合成統一的語意表示。Affordance Generation Expert（M_gen）以 Gemma 搭配可學習查詢，把上述表示解碼為三種可供性標記：Which2Act 判斷要操作的物件、Where2Act 標出二維互動熱區、How2Act 則推估三維幾何資訊。最後 Action Expert（M_act）以 flow matching 方式輸出整段動作序列（action chunk）。這個設計呼應了論文「Affordances serve as a perfect bridge」的核心想法。

由於現成機器人數據集中缺乏密集的可供性標註，作者額外提供了一條自動化標註管線，並以三階段漸進式課程訓練 MoT 架構。訓練時須留意 model.chunk_size 與 data.chunk_size 保持一致，否則動作 attention mask 會錯位；Which2Act 的 Flux loss 預設為 MSE，可在 src/models/which2act_decoder.py 頂端切換。

這個項目適合研究 VLA、機器人操作策略，或對可供性表示有興趣的開發者。需要一支能跑 PaliGemma 與 flow matching 的 GPU 環境，並準備好仿真或實機評測流程。論文中的模擬與真機實驗橫跨多種操作場景，顯示加入可供性中間層能提升泛化與精確度，但具體數字仍以官方報告為準。

重點摘要

  • 以 Which2Act、Where2Act、How2Act 三段式可供性作為視覺、語言與動作之間的中間橋樑。
  • 採用 MoT 架構，串接 PaliGemma 為基礎的 Understanding、Gemma 為基礎的 Affordance 與 Action Expert。
  • 配套自動化可供性標註管線，緩解機器人數據標註不足的問題。
  • 訓練採三階段漸進式策略，flow matching 輸出整段動作序列。
  • 模型、訓練與標註腳本皆隨開源項目釋出，歡迎社群延伸。

GitHub： https://github.com/Skywalker-yqz/AffordanceVLA

Categories: 開源, 香港中文大學, 香港科技大學, 多模態模型, 模型, 模型訓練, 北京大學

Audio-Interaction：讓 AI 像真人一樣即時聽與回應

Audio-Interaction teaser

Audio-Interaction 是一款由南洋理工大學（NTU）、新加坡國立大學（NUS）及香港中文大學（CUHK）共同研發的全開源音訊語言模型，屬於新一代的 Audio Interaction Model（音訊互動模型）。它以一個始終運行的感知—決策—回應循環（perceive-decide-respond loop）為核心，能即時聆聽環境聲音與指令，並自行判斷何時應該開口回應。

傳統的大型音訊語言模型大多只支援離線處理，而現有的串流模型一般只能做單一任務，例如即時語音辨識（streaming ASR）或語音聊天。Audio-Interaction 以單一架構同時覆蓋離線與即時任務，把辨識、翻譯、對話等不同功能統一在同一條串流中。這意味著開發者只需要一套模型，就能應付多種音訊互動場景。

這個項目的核心創新在於其訓練流程 SoundFlow。它能把短音訊片段拼接成長互動資料，並以「塊級決策訓練」（chunk-level decision training）配合歷史回顧與語意感知的靜音處理，讓模型學會「該不該說話」。在推論階段，SoundFlow 採用異步 FIFO 推論（asynchronous FIFO inference），使首幀延遲降低約 4.5 倍，帶來更流暢的即時體驗。

使用時，開發者可以直接從官方頁面取得技術報告與程式碼，並透過微信群組加入社群討論。該項目亦提供了即時試聽 Demo，可與 OpenAI 的 gpt-realtime 及字節跳動的 Seeduplex 進行同條件比較，在重複聲響計數、咳嗽辨識及音樂風格判斷等場景中，Audio-Interaction 能逐輪輸出有意義的回應。

Audio-Interaction 重點摘要：

  • 統一架構：以單一模型同時支援離線與即時音訊任務，涵蓋辨識、翻譯及對話。
  • 感知—決策—回應循環：模型自行判斷回應時機，貼近真實人機互動節奏。
  • SoundFlow 訓練流程：結合資料拼接、塊級決策訓練與靜音感知，提升即時判斷能力。
  • 低延遲推論：異步 FIFO 推論使首幀延遲降低約 4.5 倍。
  • 完全開源：提供技術報告、程式碼及即時試聽 Demo，方便研究與應用。

這個項目特別適合從事語音 AI、對話系統及多模態互動研究的開發者與團隊，能為需要即時音訊理解的產品，例如智能助手、會議記錄、聽障輔助等，提供一個統一且靈活的基礎模型。

項目： https://xzf-thu.github.io/Audio-Interaction/

Categories: 開源, 香港中文大學, 模型, 模型訓練, 語音

DRDD：用兩階段拆解擴散模型，更省數據的圖像轉譯方案

Main figure

圖像到圖像轉譯（Image-to-Image Translation, I2I）涵蓋去雨、去霧、低光增強、去噪、去模糊等多種任務，傳統做法往往需要為每個場景單獨訓練模型。HKU-HealthAI 提出的 Decoupled Residual Denoising Diffusion models（DRDD）嘗試用一套架構同時處理這些任務，並減少對大量配對數據的依賴。

DRDD 的核心做法是把擴散過程拆成兩個獨立階段：第一階段負責加入雜訊，達到所謂的「域調和」（domain harmonization）與流形抬升（manifold lifting）；第二階段則在固定雜訊下做決定性的殘差擴散，專注學習語意對應。這種解耦設計避免了傳統擴散模型在去噪過程中提早耗散域調和效果的問題，因此能在一個模型內統一處理多個修復任務。

由於第一階段的雜訊擴散只使用目標域的非配對圖像訓練，DRDD 在配對數據稀缺時仍能保持表現，這對醫療影像或特殊場景數據蒐集成本高的領域特別有用。團隊在 all-in-one-5 設定下測試，涵蓋 Rain100L、GoPro、Dehaze、CBSD68 與 LOL 等數據集，並使用 LPIPS 等指標評估。論文亦提供理論與實證分析，說明其設計相容於主流擴散模型架構。

這個項目適合從事圖像修復、影像增強或風格轉換的研究者與工程師，尤其關心多任務統一、數據效率的團隊。使用前需要 Linux 環境、NVIDIA GPU、Python 3.7 以上，以及 Conda。預訓練權重可從 Quark 或其他途徑取得，並依說明放入 ./pretrained_models 目錄。

重點摘要：
– 將擴散拆成「雜訊擴散」與「殘差擴散」兩階段，保留域調和效果。
– 支援去雨、去霧、低光、去噪、去模糊等多種 I2I 任務的統一訓練。
– 第一階段僅用非配對目標域數據，降低對配對樣本的依賴。
– 相容主流擴散模型，可作為插件式改良方向。
– 適合醫療影像、遙測或數據稀缺場景的研究團隊。

DRDD 已在 GitHub 公開代碼與數據集結構，鼓勵社群以現有擴散骨幹（如 DDPM 系列）進一步測試與延伸。

GitHub： https://github.com/HKU-HealthAI/DRDD

Paper： https://arxiv.org/pdf/2606.01048

Categories: 開源, 香港大學, 香港中文大學, 影像模型, 影像處理, 模型, 視覺模型, Dataset 數據集

UI-KOBE：幫手機代理先認路再操作

Repository image for YuxiangChai/UI-KOBE

UI-KOBE 是一個面向手機圖形介面代理的項目，核心做法是先探索 Android app，再把畫面與操作路徑整理成狀態轉移圖。對非研究背景的讀者來說，可以把它理解成先替代理畫好地圖，之後代理就不用每一步都盲撞。

動手使用這個項目，需要先備好 Python 3.10、uv、Android SDK、adb、emulator，以及已安裝目標 app 的 Android Virtual Device，另外還要提供 VLM 服務憑證。它依賴 AITK，並可把產生的圖拿去配合 AITK 或 Android World 使用，所以較適合已經有 Android 自動化或代理測試流程的人。

這個項目解決的問題很明確：手機代理在 app 內工作時，容易因畫面變化、按鈕位置或流程分支而迷路。UI-KOBE 會先開啟 app、觀察畫面、選擇探索動作，再記錄結果；每個 app 狀態成為圖節點，能把狀態改變的操作變成邊，之後執行階段可先匹配當前畫面，再從附近路徑選下一步，必要時也可用 free-form fallback action 補位。

  • 先建立 UI knowledge graph，再交給下游代理導航
  • 可接到 AITK 與 Android World 代理流程
  • 依靠 state-transition graphs 減少盲目點擊與重複探索
  • 內含 explore、audit_graph、plot_graph 等腳本，方便檢查圖內容

從設計看，UI-KOBE 的創新點不在單一模型，而在把探索與執行拆成兩段：先累積 app 結構知識，再於 runtime 重用。儲存庫亦提到 UI-KOBE v2 runtime 會載入圖、比對當前畫面節點，再根據圖邊決策；這種做法在多步驟 app 任務中，理論上比純即時決策更穩。

就用途而言，這個項目很適合研究 Computer-use agents（CUAs）、mobile GUI agents、Android 任務代理。

GitHub： https://github.com/YuxiangChai/UI-KOBE

Categories: 開源, 香港中文大學, Agentic, 框架

GenClaw 用寫程式方式改造 AI 生成圖

teaser

GenClaw 是一個研究中的項目，核心不是不停改 prompt，而是把程式碼變成可控制的視覺草稿，再交給圖像模型完成渲染。對一般讀者來說，可以把它理解成先畫草圖、定位置、排文字，之後才交由 AI 上色和補質感。

這個項目想處理的痛點很明確：很多 image generation 流程仍然像黑盒，生成失敗時只能反覆重寫提示詞碰運氣。GenClaw 將流程拆成 concept、sketch、render 幾步，令畫面中的物件數量、空間配置，甚至文字排版，都有機會透過可執行程式直接調整。

這做法結合搜尋、推理與程式繪圖，使用 SVG、HTML/CSS、Python，亦提到 Three.js 這類輕量 3D 方式來建立中間畫布；最後再調用 image generation model 補上材質、光影與真實感。這種設計比單次生成更容易檢查、修改，亦較貼近人類由草稿到完稿的創作步驟。

  • 把程式碼當成視覺畫筆，而非只靠文字提示
  • 適合複雜場景、海報文字、空間佈局等要求較高的畫面
  • 中間結果可檢查與回退，降低黑盒生成的不確定性
  • 論文提到可配合 GPT-Image、Qwen-Image、Nano-Banana 一類模型理解其定位

現階段要留意的是，儲存庫已公開 technical report，但 code 和 demo 仍在準備中，所以目前較適合先讀論文了解方法，再觀察後續釋出。從論文描述看，它較適合做視覺生成研究、代理系統開發，或者需要高控制度圖像流程的團隊；至於效能評估，公開頁面以方法與示例為主，較完整的量化表現仍需以論文內容和日後程式發布為準。

GitHub： https://github.com/yejy53/GenClaw

Paper： https://arxiv.org/pdf/2605.30248

Categories: 開源, 香港中文大學, Agentic, 清華大學

EvalVerse 評估電影畫面美感、演出、鏡頭語言評測

Hero image preview

EvalVerse 是一個用來評估電影感生成影片的項目，重點不只看結果是否跟提示詞相符，亦會檢查畫面美感、演出、鏡頭語言和聲畫配合。對近年愈來愈多生成影片項目來說，它補上了「生成得對」與「生成得好」之間的落差。

EvalVerse 會先按電影製作流程理解評分架構，再用提示詞、參考圖或參考影片建立測試組合，之後配合人工標註與機器評估比較結果。論文把指標拆成前期、拍攝、後期三個階段，覆蓋 7 個面向、18 個主維度、45 個子維度和 196 條判準。

• 評分更細：不只看是否跟題，亦會看構圖、鏡頭大小、節奏、表演與聲音設計。
• 覆蓋更廣：支援文字生成影片、參考生成影片、多鏡頭影片及帶聲音影片。
• 可信度更高：加入大規模人工標註，再用專家判斷校準 VLM，縮窄機器評分與人眼感受差距。
• 用途更實際：除了排名，亦能提供診斷訊號，方便後續調整模型、獎勵模型或評估代理。

這項目特別適合做生成影片模型、影片工作流程工具或品質評測的人參考；如果你想比較不同系統，它也比單純看排行榜更有資訊量。論文重點在評估方法和資料整理，未見大量公開的生成表現數字，所以較適合作為評測基建，而不是單一分數工具。

EvalVerse 主要使用兩類模型：生成影片基礎模型，以及 Vision-Language Models（VLMs）。後者在這個項目中負責吸收專家評分經驗，作為機器評估的核心。

Paper： https://arxiv.org/pdf/2605.23271

Categories: 香港中文大學, 香港科技大學
Page 1 of 4
1 2 3 4