InferNews

Qwen-Image-Bench：難分高下的是細節

Share to X
Qwen-Image-Bench dimension framework and representative model outputs

只看一張圖夠唔夠靚，已經不足以判斷 text-to-image (T2I) 模型值唔值得放入創作流程。Qwen-Image-Bench 把焦點放到更貼近創作工作的檢查方式：它屬於評測工具包，同時連同 benchmark dataset 同 judge model，一併處理生成圖像模型難以客觀比較的問題。

這個項目的可取之處，在於它唔係只計語意對齊或整體畫質，而是用 fine-tuned 的 Q-Judger（Qwen3.6-27B）按 5 個階層維度評分，包括 Quality、Aesthetics、Alignment、Real-world Fidelity、Creative Generation，並細分到 56 個 facets。對做品牌視覺、遊戲美術、漫畫分鏡或者要處理文字渲染的人來說，呢種拆法比單一總分更有參考價值，因為你會直接見到模型係構圖、真實感、創意約束，定係文字生成出問題。

部署理解上，它唔係即開即用的網頁服務，而是偏研究與團隊驗證流程的 Python 工具。你要準備好虛擬環境、PyTorch，同埋包含 prompt、image_path、ID 的 CSV／JSON／JSONL 輸入，再透過 judge.py 跑 Qwen/Qwen-Image-Bench；另一條路線是直接用已公開的 benchmark responses 重現排行榜分數。底層推理沿用 ms-swift，跟釋出 benchmark 結果時的設定一致，這點有助減少評測流程前後不一。

  • 支援替任何 T2I 模型打分，較適合做橫向比較
  • 分數結構比一般 benchmark 細，方便定位失誤位置
  • 可重現公開資料集結果，適合研究或團隊內部驗證
  • 使用門檻偏技術向，需要本地推理環境與整理輸入格式

它的取向也很清楚：重點不是提供生成能力，而是提供一把較細緻的尺。代價是評測仍依賴 judge model，本身並不是人手審稿，也未必完全等同最終用戶審美；但對需要批量比較模型、整理回歸測試、追蹤版本變化的團隊，這種一致而可重跑的框架反而更實用。相關模型與資源包括 Q-Judger（Qwen3.6-27B）、Hugging Face 上的 Qwen/Qwen-Image-Bench，以及配套 benchmark dataset。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Qwen, Image, 工具, Python, txt2img, Dataset 數據集

OmniRoute：免費 AI 路由閘道值唔值得用

Share to X
OmniRoute Dashboard

寫程式最怕做到一半先撞到配額上限，或者工具只綁死某一個模型。OmniRoute 把自己放在 AI gateway 呢個位置，直接處理多個 AI coding 工具同多個模型供應商之間的路由問題，重點唔係再造一個聊天介面，而係幫你維持請求可用、控制成本，並用 auto-fallback 減少中斷。

同類做法通常會主打單一 API 聚合，OmniRoute 的取向明顯更偏向「免費額度整合 + 路由策略 + 壓縮節流」。它聲稱可接到 237 個 providers，當中 90+ 提供 free tiers，並以 RTK + Caveman compression 把 token 消耗壓低 15% 至 95%。呢個方向的好處係對長提示、程式碼上下文同重複輸出較有幫助，但壓縮始終係取捨，所以它加咗 inflation guard，遇到壓縮後反而變長，就會送回原文。

OmniRoute + OpenCode: 100% Free AI Coding Setup, Free AI Gateway
New FREE Unlimited AI Coder | OmniRoute

你可以把它理解成放在 Claude Code、Codex、Cursor、Cline、Copilot、Antigravity 後面的中介層。部署後，工具經同一個 endpoint 出請求，再由 OmniRoute 分配到 Claude、GPT、Gemini 及其他供應商；README 也提到每個模型會列出本月已用與剩餘額度，並標示 provider terms，這點對團隊控管比較有用。

幾個值得留意的重點：
– 定位屬於工具 / 閘道型軟件，解決的是多模型切換、免費額度整合同配額中斷
– 支援 Claude Code、Codex、Cursor、Cline、Copilot、Antigravity，適合多工具並行的開發流程
– 以 documented free tokens/month 作招徠，現有資料提到穩定約 1.6B，首月可到 2.1B
– 內建 17 routing strategies，並加入 auto-fallback，減少單一 provider 失效帶來的停頓
– 壓縮模組已針對 German、French、Japanese、Chinese，以及 Gradle、.NET 輸出做過強化

受益最大的一般會係重度依賴 AI 編碼助手的個人開發者、細團隊，同想把成本壓到最低的實驗性項目。要留意的是，免費池本身受各 provider 條款影響，OmniRoute 雖然強調統計方式較透明，但效能與穩定性仍然建基於外部服務；它較像一個把資源調度做得更聰明的控制層，而唔係保證品質一致的模型平台。

GitHub

Categories: 開源, 微軟, Gemini, API, 工具, IDE, Vibe Coding, 編程, Anthropic

Rank-Then-Act 點樣用影片學出獎勵

Share to X
Screenshot

做強化學習最麻煩的地方，往往不是訓練本身，而是根本冇一個好用的 reward function。Rank-Then-Act 針對的正正是這個缺口：它屬於一個以 Vision-Language Model (VLM) 為核心的強化學習框架，目標是在沒有環境獎勵的情況下，從示範影片推回任務進度，再把這種進度感變成 agent 可學習的 dense reward。

同類方法很多時會直接學一個 scalar reward，或者預測成功與否，但作者刻意避開這條路。RTA 先用 GRPO 微調 VLM，要求模型在打亂次序的畫面序列中估計 task-completion 百分比與排序，再用 VOC 這個 rank-correlation reward 去約束模型真的理解時間進展，而不是偷看絕對時間線索；之後在第二階段，系統不是直接輸出分數當 reward，而是用 Spearman rank correlation 比較預測進度排序與真實時間索引，得到一個 bounded、scale-invariant 的學習訊號。

這種取向的好處，是 reward 較不容易因尺度漂移而失真，亦較有機會跨任務重用同一個 progress scorer。現有資料指出，它在離散環境如 PyBoy 上的 Catrap、Kirby，以及連續控制環境如 MetaWorld、PointMaze 都有不錯表現，對 unseen tasks 亦有泛化能力；不過這仍然是研究型項目，重點在方法驗證，未算是即裝即用的成品工具。

  • 重點不是直接預測分數，而是先學會判斷畫面進度排序
  • 第一階段用 GRPO 訓練 VLM，第二階段用 PPO 訓練策略
  • reward 來自 VOC 與 Spearman rank correlation，訊號範圍固定在可控區間
  • 已覆蓋 Game Boy 模擬器 PyBoy 與 MetaWorld 這類不同控制場景
  • 需要 Python 3.10+、CUDA GPU，第二階段還要 xvfb、ROM 與 save state

理解和測試這個項目，最合理的方式不是把它當普通套件安裝，而是當成兩階段實驗流程來看：先在 stage1 用 gameplay videos 訓練 progress scorer，再到 stage2 把該模型凍結成 reward model，放進 PPO 訓練流程。儲存庫已把資料處理、Hydra 設定、多 GPU 配置、PyBoy 包裝器與 VOC 計算分開整理好，適合研究團隊、做 video-based RL 的人，或者想比較 ordinal reward 與 scalar reward 差異的讀者深入追蹤。

項目主頁 · GitHub · Paper

Categories: 開源, NVIDIA, Agentic, Video, Python, 多模態模型, 模型訓練, 視覺模型

[技術文章] Gemma 4：更快更慳算力的多模態開放模型

Share to X
Hero image preview

Google 正式發佈 Gemma 4 技術報告文章：

當模型要同時處理文字、圖片同音訊，常見做法多數靠獨立 encoder 加上大型語言模型組合；能力雖然完整，但記憶體佔用、推理速度同長上下文成本都容易變重。Gemma 4 Technical Report 針對的正是呢個矛盾：唔只追求更強表現，亦想把多模態理解、推理能力同計算效率放到同一條路線上處理。

Gemma 4 屬於 open-weight、natively multimodal language models，涵蓋 dense 同 Mixture-of-Experts（MoE）架構，規模由 2.3B 到 31B。報告最值得留意的對比，在於作者唔再只沿用「更大模型加外掛模組」呢種固定範式，而是加入 thinking mode，令模型先產生 reasoning trace 再回答；同時用長上下文優化、KV cache sharing，以及在 12B 版本引入 unified, encoder-free architecture，把 raw audio 同 image patches 直接投影到 LLM embedding space。

呢種設計帶來的好處幾實際：一方面，長上下文下的記憶體壓力有機會減輕，報告提到 global KV cache footprint 最多可減 37.5%；另一方面，模型亦提供用 quantization-aware training（QAT）訓練的量化版本，盡量在不明顯犧牲品質下減少參數記憶體佔用同延遲。另有 autoregressive multi-token prediction（MTP）drafter head，配合 speculative decoding 提升解碼速度。

  • 支援文字、圖片、音訊，多個型號覆蓋不同硬件需求
  • 以 thinking mode 加強數學、編程等重推理任務
  • 透過 p-RoPE、KV cache sharing 等方法改善長上下文效率
  • 12B 型號採用 encoder-free 路線，減少獨立 encoder 帶來的記憶體碎片化

性能方面，報告指 Gemma 4 在 STEM、多模態同長上下文 benchmark 有明顯進步，亦在 Arena 等 human-rated tasks 接近更大型的 frontier open models。原始資料未提供安裝步驟或完整使用流程，但已清楚交代模型系列的核心取向：用較可控的成本，換取更接近前沿水準的多模態推理能力，並以 Apache 2.0 授權開放。

Paper

Categories: Google, Gemini, Image, Audio, Embedding, 多模態模型, 模型, 模型訓練, Dataset 數據集

3D HAMSTER 把機械臂規劃帶進真 3D

Share to X
3D HAMSTER architecture: a depth-augmented VLM planner produces metric 3D waypoints that unproject into the point cloud

機械臂最怕規劃講得通，落到控制層卻對唔準空間位置。3D HAMSTER屬於 Vision-Language-Action 規劃模型／機械人研究項目，重點不是再產生螢幕上的 2D waypoint，而是根據單張 RGB 圖、metric depth map 同文字指令，直接輸出帶有深度的 3D end-effector trajectory，同時附上 gripper actions，格式亦整理成 JSON，方便接去後續控制流程。

它針對的矛盾很明確：不少 hierarchical Vision-Language-Action models 由高層 planner 先預測 2D 像素軌跡，再交給吃 point cloud 的低層 policy 執行。問題在於 2D waypoint 只會「借用」像素下方表面的深度，幾何上未必真是機械臂應走的位置。3D HAMSTER改成在 metric 3D 空間規劃，等高層輸出可以直接對接 point-cloud low-level policy，少了中間 2D 轉 3D 的失真。

模型骨幹用的是 Qwen3-VL-8B，再加上凍結的 LingBot-Depth geometry encoder，當中採用 DINOv2 ViT-L/14，並配合 dense depth-reconstruction objective 去強化深度感知。儲存庫目前提供的是 inference-only 版本，即是你可以安裝套件、下載 checkpoint 後直接跑推理或用 Gradio demo 測試；低層 point-cloud policy 屬於論文完整系統一部分，這個 GitHub 項目未有一併放出。

  • 直接輸出 [u, v, depth] waypoint，深度單位是米，較易接入真實機械臂流程
  • 走 RGB-D + language instruction 路線，不靠多視角觀察
  • checkpoint 已包含 geometry encoder 權重，載入時毋須再額外抓模型
  • 項目偏向展示 planner 能力，不等於完整可部署的機械人控制堆疊

，它的定位很適合做研究驗證、機械操作規劃比較，或者拿來觀察 2D planner 與 3D planner 在幾何一致性上的差異。作者在項目頁面強調這種做法對語言、空間與視覺分佈轉移更穩健，但這個儲存庫未有完整公開訓練流程與低層控制模組，所以較適合把它理解為一個清楚展示方向的 3D-native planner，而不是即裝即用的全套機械人方案。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Gemini, 3D, 多模態模型, 視覺模型, Robotic, VLA, Dataset 數據集

CGGS 把文字直接變成第一身 3D 場景

Share to X
teaser

最值得留意的地方，在於 CGGS 沒有沿用單純全景生成再重建的路線，而是直接針對第一身視角 3D 場景去處理視角不連續、幾何變形和文字細節流失。它屬於一個文字轉 3D 的框架，目標是把文字描述變成可渲染的 ego-centric 場景，而不只是產出幾張彼此關係鬆散的圖片。

現有做法常見問題，是多視角之間重疊不足，或者 equirectangular projection 容易在上下邊界拉扯變形；DreamScene360 一類方法也會出現結構扭曲。CGGS 的取向是先用 MV-LDM 生成更一致的多視角 2D 內容，再配合 optical flow、point-track correspondence、深度估計與 3D Gaussian optimization，把粗略 layout 逐步修到可用的 3D Gaussian Splatting（3DGS）場景。

它的流程大致可理解為三段：Ego-centric Generator 負責貼近文字的多視角內容，Layout Decorator 由影像關係推回 dense point clouds，Geometric Refiner 再用 Mutual Information Depth Loss（MID）和 hierarchical optimization 修正幾何與畫質。部署和測試層面，儲存庫已提供實作，並可透過 prompt 檔、視角水平視野 --fov 與垂直軸旋轉角 --deg 控制生成條件，較適合研究、實驗室或要評估 text-to-3D 工作流的人。

  • 走的是 ego-centric 3D scene generation，不是單純全景貼圖
  • 核心差異在 MV-LDM 一致性訓練，加上 3D Gaussian 幾何優化
  • 提供可調視角參數，能用文字檔批量測試不同場景
  • 適合做 3D 內容生成、novel view synthesis 與方法比較

效能數字也有說服力。README 列出的結果中，CGGS 在 CLIP Score 26.253、Q-Align 0.839、PSNR 37.345、SSIM 0.977、LPIPS 0.0193 取得最佳表現，代表它不只文字對齊較好，重建品質與新視角渲染穩定度也更高；不過這仍然是研究型項目，離通用內容製作工具還有一段距離，較大的價值在於它清楚示範了如何把多視角生成與幾何重建更緊密地接起來。

項目主頁 · GitHub · Paper

Categories: 開源, 3D, 多模態模型, 中國, Dataset 數據集

SenseNova-Vision 把視覺任務收進同一模型

Share to X
SenseNova-Vision handles diverse vision tasks in a unified model

做視覺項目最麻煩的，往往不是單一任務做不到，而是偵測、OCR、分割、深度估計同多視角幾何各有各套輸出格式。SenseNova-Vision把這些工作收斂到 unified multimodal model（UMM）的生成介面之內，屬於多模態模型項目，重點是用自然語言指令加可選視覺提示，統一處理結構化理解與密集預測。

它的取向幾明確：不再為每類視覺任務各自設計頭部與輸出器，而是把 boxes、points、OCR strings、keypoints、camera parameters 交由文字生成，把 segmentation masks、depth maps、surface normals、multi-view point maps 交由影像生成，亦支援文字加影像混合回應。這種做法的好處是工作流一致，代價則是推理解碼與評測轉換要做得夠穩，否則通用性未必等於每一項都最強。

目前公開內容包括推理程式、模型權重 SenseNova-Vision-7B-MoT、資料集 SenseNova-Vision-Corpus-50M，以及可試用的 Demo。要理解它點樣測試，最直接是先用 Demo 看同一張圖在不同指令下可否輸出可解碼結果，再配合倉庫的 Evaluation Guide 對標準 benchmark 檢查文字、影像或混合輸出的還原能力。

  • 同一模型覆蓋 結構化視覺理解、分割、dense geometric prediction 與 multi-view visual geometry
  • 輸出形式統一：文字、影像、混合文字影像都可作為回應
  • 已公開資源完整：inference code、SenseNova-Vision-7B-MoT、SenseNova-Vision-Corpus-50M、Demo
  • 適合場景明確：研究團隊、視覺產品原型、要整合多任務流程的工程工作

這個項目最適合不想為每個任務維護一套模型堆疊的團隊，尤其是同時要做偵測、文字辨識、分割與幾何估計的組合型流程。現有資料指出它在多類視覺任務上有不錯結果，但倉庫摘要未列出完整數字；現階段更值得留意的，是它用可解碼生成格式統一 benchmark 輸出的能力，這比單看某一項分數更能反映其定位。

GitHub · 模型

Categories: 開源, 香港, Image, 多模態模型, 影像處理, 模型, Dataset 數據集

MuseBench 用藝術理解考驗 MLLMs

Share to X
Repository image for musebench/musebench-code

見到畫面、聽到聲音，未必等於真係明白作品想點講。MuseBench 把焦點放到 artistic intent，專門測 multimodal large language models（MLLMs）能否由視聽證據推斷創作選擇背後的意思；它屬於 benchmark／數據集型項目，處理的是現有評測多數只停留在 perceptual recognition，未能反映藝術理解深度的問題。

現有做法常用一般視覺問答或影片理解題，模型只要辨認物件、情節或表面事件就有機會得分；作者認為這種 fixed paradigm 忽略 stylistic vocabulary、cultural priors 同 grounded audiovisual inference，所以改用 narrator-removed video clip，並配合可選 audio transcript，迫使模型直接由鏡頭、聲音、節奏與敘事線索作判斷。題目覆蓋 Cinematic Arts、Static Visual Arts、Stage Performing Arts 同 Game Arts，合共 4,016 條問答。

同類 benchmark 多數著重「睇到乜」，MuseBench 則更在意「點解要咁呈現」。它亦唔只用單一選擇題，仲有 single-select 同 multi-select 兩種格式，並加入 Chance-Adjusted Accuracy（CAA）處理選項數量不同帶來的偏差，令比較 28 個 MLLMs 時較公平。

  • 涵蓋 4 個藝術領域、11 個細分類，題材比一般影片 QA 更闊
  • 評測 28 個 MLLMs，包含 proprietary、open source 同 video-specific 路線
  • 最佳模型準確率 48.29%，明顯低於 human expert 的 87.18%
  • 已整合 VLMEvalKit，方便把新模型接入同一套流程測試

部署同測試理解上，這個 code repository 主要唔係提供訓練模型，而是把 MuseBench 接到 VLMEvalKit 的評測流程，較適合研究團隊、模型評估人員、做 video understanding 或多模態推理的項目直接比較新舊模型。已公開的結果提到 Claude-4.6-Opus、Qwen-3.5-Plus、Doubao-Seed、GPT-5.4、Gemini-3.1-Pro、Grok-4.1 等都測過，分數整體仍與專家有大段距離；換句話說，這個項目最有價值的地方，在於它清楚指出現時 MLLMs 在藝術判讀仍未算接近可靠。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, 香港, 香港大學, 字節跳動, Gemini, OpenAI, Video, Audio, 多模態模型, Anthropic, Dataset 數據集

NVIDIA 用單一影片模型兼顧連貫與速度

Share to X
Og image

做影片生成時，最常見的卡位係：Bidirectional diffusion 生成得穩，前後鏡頭更一致，但速度慢；Autoregressive 方式可以逐段輸出，較適合串流，不過長片段容易失去連貫。Flex-Forcing 針對的正正係呢個兩難，屬於影片模型方向，目標係用同一個 Video Diffusion Model 橫跨兩種生成模式。

它的做法不是把兩套系統硬拼在一起，而是用一個較靈活的 chunking 機制，同時沿時間軸同 denoising steps 去切分。咁樣模型可以在 chunk 之間做 bidirectional 的全局規劃，又能在 chunk 之內用 autoregressive 方式逐步生成，兼顧整體一致性同推理效率。網頁用一句話概括得很清楚：one model, two generation regimes。

對內容創作、長影片生成同需要邊生成邊輸出的工作流來說，呢種設計幾有吸引力。它不是單純追求最快，亦不是只追求最完整的全局建模，而係嘗試將「先看全局」同「逐段出片」放入同一套推理框架，減少以往要為不同場景分開選模型的麻煩。

  • 統一 Bidirectional 與 Autoregressive 兩種影片生成路線
  • 以 temporal axis 配合 denoising steps 的 chunking 作核心設計
  • chunk 之間強調全局規劃，chunk 之內保留串流生成能力
  • 目標是改善長距離一致性、速度與 exposure bias 之間的取捨

現有資料顯示，Flex-Forcing 的核心價值在於統一訓練與推理框架，而不是只做單一生成模式的微調優化。公開內容暫時未完整列出具體評測細節，但方向已很明確：希望用一個模型覆蓋更多影片生成場景，特別適合重視長片段敘事連貫，同時又需要較靈活輸出節奏的項目。

項目主頁 · Paper

Categories: NVIDIA, Video, 模型訓練, 視頻模型, 框架
Page 17 of 126
1 … 15 16 17 18 19 … 126