專案《When Vision Speaks for Sound》t提供官方程式碼，核心目標不是做一般影音問答，而是檢查支援影片的多模態模型，究竟有沒有真正理解聲音，還是只靠畫面和語意猜答案。它提供模型、評估介面和訓練流程，方便研究者重現實驗或改造自己的測試方式。

儘管支援視頻的多模態大語言模型（video-capable MLLMs）進步很快，但研究發現它們在視頻中表現出的「音頻理解」能力往往是由視覺驅動的：模型其實是依靠視覺線索來推斷、甚至幻想出聲音相關的資訊，而不是真正去檢查或分析音頻串流本身 。

這個問題普遍存在於：

最先進的開源全能模型（omni models）

主要閉源模型供應商（如 Google 和 OpenAI）的頂級模型

換句話說，這些模型看起來能「聽懂」視頻中的聲音，但實際上它們只是「看」畫面來猜聲音是什麼，並沒有真正處理音頻數據，因此容易產生錯誤或幻覺（hallucinate）。

先準備好影片和音訊資料，再把資料登記到 LLaMA-Factory 的資料設定中，之後就可以用它的 SFT 或 DPO 格式去訓練。專案也支援把樣本寫成 ShareGPT 風格，讓每條資料同時帶上 <video> 和 <audio>，方便模型學習在多模態情境下作答。

它比較特別的地方，在於採用介入式診斷框架 Thud，專門測試模型是否真的有做音訊驗證，而不是只走視覺捷徑。這種設計對研究「模型到底看了甚麼、聽了甚麼」特別有用，也比單純準確率更能揭示模型行為。

• 可用來評測影片語音、音畫同步、時間延遲等問題
• 適合做多模態模型研究、除錯和基準測試
• 支援 SFT 與 DPO 訓練流程
• 可接入 LLaMA-Factory 一起使用
• 相關模型與框架重點包括 Thud、LLaMA-Factory 以及多種可處理影片的多模態模型

整體來說，這個專案更像是一套「檢查工具」，而不是面向一般用家的應用程式。對做 AI 研究、影音理解評測，或者想分析模型有沒有偷懶靠畫面猜答案的人，會特別有參考價值。

GitHub： https://github.com/rakanWen/wvs-code

Paper： https://arxiv.org/pdf/2605.16403

AlphaGRPO 係一個用喺原生統一多模態模型嘅訓練框架，重點係令模型唔只係「生成」，而係會根據提示主動推理，並喺輸出有偏差時嘗試自行修正。網頁內容指出，佢主要面向文字生圖同相關編輯場景，目標係改善細節理解、構圖一致性，同埋對隱含要求嘅掌握。

呢個方法特別之處，在於將 GRPO 引入 AR-Diffusion 類型嘅統一模型，而且唔需要額外 cold-start 階段。另一個核心設計係 DVReward：先將複雜指令拆成多個可核實嘅細問題，再由開源多模態模型按語意對齊同畫面品質提供較穩定、可解釋嘅回饋，避免只靠單一分數太過籠統。

如果你想理解點樣使用，概念上可以當佢係一種訓練或強化現有多模態生成模型嘅方法，而唔係一般終端用家即開即用嘅 App。較適合研究人員、模型工程師，或者需要改善文字生圖、細粒度屬性控制、影像編輯泛化能力嘅團隊參考同實作。

• 支援推理型文字生圖，能更主動補足用家未明講嘅意圖
• 可做自我反思式修正，生成後再檢查並調整錯配內容
• 回饋機制較細緻，將要求拆解成可驗證項目再評估
• 在多個生成基準上有一致進步，亦可遷移到編輯任務
• 推論階段加入自我修正後，文中指最高可再提升 5.8%

就評估結果而言，頁面提到 AlphaGRPO 喺 GenEval、TIIF-Bench、DPG-Bench、WISE 等生成基準，以及 GEdit 編輯任務都有提升，而且編輯能力並非靠專門編輯訓練得來，反映泛化表現不俗。不過，具體效果仍應按模型底座、評測設定同實際資料而定。

訓練程式碼和模型權重目前正在進行內部審核，審核通過後將予以發布。

網址： https://huangrh99.github.io/AlphaGRPO/

如果你有留意 AI 圖像模型，會知道一般圖片評分未必能反映「文字有冇走樣」。OmniDoc-TokenBench 的重點，正正是針對文件類圖片做評測，尤其適合檢查 VAE 重建之後，頁面上的字仲讀唔讀得清。

它提供約 3,000 張樣本，涵蓋書本、投影片、試卷、學術論文、雜誌、財務報告、報紙與筆記等類型，並且同時有中英文內容。相比只看普通畫質分數，這個基準多加了 OCR 相關比對，較貼近真實使用情境，因為文件圖片最重要的往往不是「靚」，而是「字準」。

上手方式大致算直接：先下載資料集，再用它附帶的評測工具，將你的重建圖片與原圖比較。工具會輸出整體結果，也可看到逐張圖片的 OCR 與字串距離表現；不過部分指標首次執行時需要額外下載模型權重，而 OCR 預設亦偏向 CPU，做大批量測試時可能要留意速度。

值得留意的是，它不是單靠 PSNR、SSIM 這類傳統指標，而是加入 LPIPS、FID，以及以 OCR 為基礎的 NED。對文件任務來說，NED 特別實用，因為它更能反映文字內容有冇被改錯；這亦是它相對一般影像基準較有針對性的地方。

• 適合評估文字密集的文件圖片重建效果
• 資料涵蓋九類文件，中英文都有
• 支援 PSNR、SSIM、LPIPS、FID、NED 等多種量度方式
• 可輸出整體分數，也可查看逐張圖片結果
• 文中提到相關模型背景來自 Qwen-Image-VAE-2.0，並比較不同壓縮設定與其他 VAE 表現

如果你是做文件數碼化、OCR 前處理、壓縮重建，或者正測試圖像自編碼模型，這個專案幾有參考價值。對一般讀者而言，可以將它理解成一把專為「文件圖片文字保真」而設的尺，幫你分清模型究竟只是畫面順眼，還是真的保住內容。

網址： https://github.com/alibaba/OmniDoc-TokenBench

FrontierSmith 不是一般給人即裝即玩的應用，而是一個用來研究「怎樣產生全新演算法題目」的實驗型專案。儲存庫公開了訓練程式、評估程式，以及論文實驗用的 10 條合成題目，較適合對 AI、程式競賽題目或評測流程有興趣的讀者。

如果你想由淺入深理解它，最容易的方式是先看那 10 個題目資料夾：每題都附有題目敘述、測資產生器、答案檔、評分檢查器和設定檔。即使未必會親自訓練模型，單是觀察這套結構，已經能明白一條題目怎樣被整理成可測試、可重現的形式。

它真正處理的問題，是減少人手設計複雜題目的成本，並為模型建立較一致的測試環境。特別之處在於，它不只放出題目文字，而是連同驗證、評分與資料準備流程一併公開，令研究者較容易重做論文中的部分結果；不過官方亦明確保留了 orchestrator 與由大型語言模型驅動的測試／checker 生成部分，所以目前看到的並非完整生產線。

• 提供 10 條合成演算法題目，對應 Frontier-CS 主儲存庫中的 306 至 315 號題目
• 內含訓練、評估、資料準備腳本，重點在研究流程而非一般終端產品
• 每題都有 statement、gen、checker、testdata，方便理解評測設計
• 使用 Python 3.11+，並見到 Docker、VERL、ALE-Bench 等相關組件
• 適合做論文重現、題目評測研究，以及觀察模型解題表現

至於適合甚麼人，我會說最受用的是研究人員、機器學習工程師、競賽題目設計者，以及想了解 LLM 如何面對演算法題的人。如果你只是想找一個完整的自動出題工具，現階段可能會覺得資訊仍有缺口；但如果你的目標是研究方法、資料結構與評估框架，FrontierSmith 的公開部分已相當值得細看。

從相關技術脈絡來看，這個專案明顯圍繞大型語言模型與程式／推理能力評測而建，儲存庫中可見的相關名稱包括 VERL、ALE-Bench、Harbor adapter，以及主儲存庫 Frontier-CS。至於實際採用哪些語言模型，公開內容未有完整列明，因此閱讀時應把它視為一個偏研究基建的開放樣本，而不是完整商用方案。

網址： https://github.com/FrontierCS/FrontierSmith