InferNews

vLLM 新後端跑出原生級速度

Share to X
Og image

卡位一直在於：想用 vLLM 的高吞吐推理能力，過去往往要為個別模型寫或等專用實作。呢篇內容講的是 Hugging Face 把 transformers 直接作為 vLLM 的 modeling backend，而且頁面沒有提供 base model 資訊，因為它不是單一模型頁，而是針對推理後端整合的技術更新。

重點價值很直接：模型作者只要已有 transformers 實作，就有機會不用再額外移植到 vLLM，也能拿到接近原生，甚至更快的推理表現。對 LLM 與 VLM 都有意義，因為 serving 設定基本不變，只是加入 --model-impl transformers 旗標。

文中展示了三組 Qwen3 測試：Qwen3-4B 單 GPU、Qwen3-32B 以 tensor parallelism 跑 2 GPU，以及 Qwen3-235B-A22B-FP8 Mixture-of-Experts 在同一個 8×H100 節點上以 data parallelism 加 expert parallelism 執行。結果指向同一件事：transformers backend 的 throughput 已經追平或超過 vLLM 手寫 native implementation。

  • transformers 已支援 450+ architectures，角色像參考級 modeling library
  • vLLM 繼續負責 continuous batching、custom attention kernels 等高效推理優化
  • 啟用方式很簡單：升級 vllm，並在 serve 時加入 --model-impl transformers
  • 可與 --tensor-parallel-size、--data-parallel-size、--enable-expert-parallel 一起使用

取捨亦要講清楚：頁面重點在 backend 整合與效能展示，不是 GGUF 發布頁，所以沒有提供 GGUF 格式、量化等級、mmproj、chat template、MTP draft speculation 或 LM Studio／Ollama／llama.cpp 檔案資訊。硬體需求方面，示例至少涵蓋單 GPU、2 GPU，同埋 8×H100 節點；不同模型是否都能複製同樣增益，仍要視架構與部署環境而定。

項目主頁 · GitHub

Categories: 開源, Qwen, Ollama, Python, 庫, 框架

Qwen-Image-Bench：難分高下的是細節

Share to X
Qwen-Image-Bench dimension framework and representative model outputs

只看一張圖夠唔夠靚，已經不足以判斷 text-to-image (T2I) 模型值唔值得放入創作流程。Qwen-Image-Bench 把焦點放到更貼近創作工作的檢查方式：它屬於評測工具包，同時連同 benchmark dataset 同 judge model，一併處理生成圖像模型難以客觀比較的問題。

這個項目的可取之處，在於它唔係只計語意對齊或整體畫質，而是用 fine-tuned 的 Q-Judger（Qwen3.6-27B）按 5 個階層維度評分，包括 Quality、Aesthetics、Alignment、Real-world Fidelity、Creative Generation，並細分到 56 個 facets。對做品牌視覺、遊戲美術、漫畫分鏡或者要處理文字渲染的人來說，呢種拆法比單一總分更有參考價值，因為你會直接見到模型係構圖、真實感、創意約束，定係文字生成出問題。

部署理解上，它唔係即開即用的網頁服務，而是偏研究與團隊驗證流程的 Python 工具。你要準備好虛擬環境、PyTorch，同埋包含 prompt、image_path、ID 的 CSV／JSON／JSONL 輸入，再透過 judge.py 跑 Qwen/Qwen-Image-Bench；另一條路線是直接用已公開的 benchmark responses 重現排行榜分數。底層推理沿用 ms-swift，跟釋出 benchmark 結果時的設定一致，這點有助減少評測流程前後不一。

  • 支援替任何 T2I 模型打分，較適合做橫向比較
  • 分數結構比一般 benchmark 細，方便定位失誤位置
  • 可重現公開資料集結果，適合研究或團隊內部驗證
  • 使用門檻偏技術向，需要本地推理環境與整理輸入格式

它的取向也很清楚：重點不是提供生成能力，而是提供一把較細緻的尺。代價是評測仍依賴 judge model，本身並不是人手審稿，也未必完全等同最終用戶審美；但對需要批量比較模型、整理回歸測試、追蹤版本變化的團隊，這種一致而可重跑的框架反而更實用。相關模型與資源包括 Q-Judger（Qwen3.6-27B）、Hugging Face 上的 Qwen/Qwen-Image-Bench，以及配套 benchmark dataset。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Qwen, Image, 工具, Python, txt2img, Dataset 數據集

3D HAMSTER 把機械臂規劃帶進真 3D

Share to X
3D HAMSTER architecture: a depth-augmented VLM planner produces metric 3D waypoints that unproject into the point cloud

機械臂最怕規劃講得通，落到控制層卻對唔準空間位置。3D HAMSTER屬於 Vision-Language-Action 規劃模型／機械人研究項目，重點不是再產生螢幕上的 2D waypoint，而是根據單張 RGB 圖、metric depth map 同文字指令，直接輸出帶有深度的 3D end-effector trajectory，同時附上 gripper actions，格式亦整理成 JSON，方便接去後續控制流程。

它針對的矛盾很明確：不少 hierarchical Vision-Language-Action models 由高層 planner 先預測 2D 像素軌跡，再交給吃 point cloud 的低層 policy 執行。問題在於 2D waypoint 只會「借用」像素下方表面的深度，幾何上未必真是機械臂應走的位置。3D HAMSTER改成在 metric 3D 空間規劃，等高層輸出可以直接對接 point-cloud low-level policy，少了中間 2D 轉 3D 的失真。

模型骨幹用的是 Qwen3-VL-8B，再加上凍結的 LingBot-Depth geometry encoder，當中採用 DINOv2 ViT-L/14，並配合 dense depth-reconstruction objective 去強化深度感知。儲存庫目前提供的是 inference-only 版本，即是你可以安裝套件、下載 checkpoint 後直接跑推理或用 Gradio demo 測試；低層 point-cloud policy 屬於論文完整系統一部分，這個 GitHub 項目未有一併放出。

  • 直接輸出 [u, v, depth] waypoint，深度單位是米，較易接入真實機械臂流程
  • 走 RGB-D + language instruction 路線，不靠多視角觀察
  • checkpoint 已包含 geometry encoder 權重，載入時毋須再額外抓模型
  • 項目偏向展示 planner 能力，不等於完整可部署的機械人控制堆疊

，它的定位很適合做研究驗證、機械操作規劃比較，或者拿來觀察 2D planner 與 3D planner 在幾何一致性上的差異。作者在項目頁面強調這種做法對語言、空間與視覺分佈轉移更穩健，但這個儲存庫未有完整公開訓練流程與低層控制模組，所以較適合把它理解為一個清楚展示方向的 3D-native planner，而不是即裝即用的全套機械人方案。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Gemini, 3D, 多模態模型, 視覺模型, Robotic, Dataset 數據集, VLA

MuseBench 用藝術理解考驗 MLLMs

Share to X
Repository image for musebench/musebench-code

見到畫面、聽到聲音，未必等於真係明白作品想點講。MuseBench 把焦點放到 artistic intent，專門測 multimodal large language models（MLLMs）能否由視聽證據推斷創作選擇背後的意思；它屬於 benchmark／數據集型項目，處理的是現有評測多數只停留在 perceptual recognition，未能反映藝術理解深度的問題。

現有做法常用一般視覺問答或影片理解題，模型只要辨認物件、情節或表面事件就有機會得分；作者認為這種 fixed paradigm 忽略 stylistic vocabulary、cultural priors 同 grounded audiovisual inference，所以改用 narrator-removed video clip，並配合可選 audio transcript，迫使模型直接由鏡頭、聲音、節奏與敘事線索作判斷。題目覆蓋 Cinematic Arts、Static Visual Arts、Stage Performing Arts 同 Game Arts，合共 4,016 條問答。

同類 benchmark 多數著重「睇到乜」，MuseBench 則更在意「點解要咁呈現」。它亦唔只用單一選擇題，仲有 single-select 同 multi-select 兩種格式，並加入 Chance-Adjusted Accuracy（CAA）處理選項數量不同帶來的偏差，令比較 28 個 MLLMs 時較公平。

  • 涵蓋 4 個藝術領域、11 個細分類，題材比一般影片 QA 更闊
  • 評測 28 個 MLLMs，包含 proprietary、open source 同 video-specific 路線
  • 最佳模型準確率 48.29%，明顯低於 human expert 的 87.18%
  • 已整合 VLMEvalKit，方便把新模型接入同一套流程測試

部署同測試理解上，這個 code repository 主要唔係提供訓練模型，而是把 MuseBench 接到 VLMEvalKit 的評測流程，較適合研究團隊、模型評估人員、做 video understanding 或多模態推理的項目直接比較新舊模型。已公開的結果提到 Claude-4.6-Opus、Qwen-3.5-Plus、Doubao-Seed、GPT-5.4、Gemini-3.1-Pro、Grok-4.1 等都測過，分數整體仍與專家有大段距離；換句話說，這個項目最有價值的地方，在於它清楚指出現時 MLLMs 在藝術判讀仍未算接近可靠。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, 香港, 香港大學, 字節跳動, Gemini, OpenAI, Video, Audio, 多模態模型, Anthropic, Dataset 數據集

PaperPilot：把文獻搜尋變成可修改流程

Share to X
PaperPilot logo

做研究時，最麻煩往往唔係「搵唔到論文」，而係第一輪結果未必貼近你真正想追嘅方向。PaperPilot屬於開源框架，同時亦帶有已訓練代理模型，用 workflow induction 處理多輪學術文獻搜尋：它會圍繞 anchor paper 同查詢，先建立一個 typed DAG，再用澄清問題同後續回應去改動搜尋流程本身，而唔係只係喺原句後面再加條件。

呢個定位同一般固定 pipeline，或者只靠語言模型隱式推理嘅搜尋代理，好唔一樣。作者認為舊範式嘅問題，在於搜尋策略難以控制、難以檢查，亦唔容易根據人嘅偏好逐步修正；PaperPilot就把 keyword search、citation expansion、filtering、scoring、reranking、evidence extraction 組成可執行流程，每一步改動都可以保留，令結果更可追溯。

公開資料已經提供 live demo，亦有 FastAPI 後端、Streamlit 介面、evaluation scripts 同 tests，可理解成一套可部署、可觀察、可重跑嘅研究工具鏈。不過 initial release 未包含 web/ React front-end，同 training_infra/ 亦未完整開放；README 片段亦未見完整安裝流程，現階段較適合先用 demo、閱讀論文，再按儲存庫結構自行部署 backend 與本地介面。

  • 多輪互動唔止改 query，仲會直接編輯 typed DAG workflow
  • 約 50 個 typed operators，覆蓋檢索、集合操作、排序同證據抽取
  • 每次執行會保存流程、逐輪修改、時間與成本，方便重現結果
  • PaperPilot-9B 以 workflow imitation 加 preference optimization 訓練而成
  • 指標上較 base Qwen3.5-9B toolset agent 提升 Hit@5、MRR、nDCG@10，並把 workflow execution errors 由 9.5% 降到 0%

相關模型方面，核心比較對象係 base Qwen3.5-9B toolset agent，而實作後端就標明支援 OpenAI、Together、Anthropic 同 OpenAI-compatible endpoint。呢種設計對研究員、需要做系統性文獻整理嘅學生，或者想把檢索流程納入團隊知識管理嘅人都幾有價值；取捨在於它追求可控與可審核，流程會比單次對話搜尋更重，亦更依賴使用者願意逐輪提供清晰反饋。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Agentic, API, Dataset 數據集

SaMer 壓縮視覺檢索成本

Share to X
SaMer overview

圖文檢索做得細緻，往往要保留大量 image-side tokens，但儲存與比對成本也會跟住升。SaMer屬於開源框架／研究原型，針對 ColPali-style multi-vector retrievers 的 token 壓縮問題而來，重點不是單純刪減，而是盡量保住之後查詢仍可能用得着的 object-level evidence。

現有壓縮做法多數偏向 pruning、pooling，或者只按 feature 合併，代價是物件與區域證據容易被混在一起，令 MaxSim late interaction 原本可選取的細節訊號流失。SaMer的取向明確：保留原本 MaxSim retrieval objective，不改 late-interaction 介面，只在 image side 做 object-aware merge，修正「壓縮後證據變鈍」這個問題。

它的方法有三個關鍵步驟：先用 feature similarity 加 spatial proximity 做 Feature-Spatial Merging，再在訓練階段利用 Flickr30k-Entities 的框標註加入 Object-Aware Assignment，避免不同實例被錯誤合併，最後採用 Projection-Only Adaptation，只訓練 shared projection layer，vision encoder 同 language backbone 都維持 frozen。到 inference 時就不再依賴 bbox，這點令部署比一些需要 detector 或額外 grounding loss 的做法簡潔。

  • 以 ColPali-style multi-vector retrieval 為核心場景，重點是減 storage 與 scoring 成本
  • K=64 時可移除超過 93% image-side tokens，ColPali 儲存量下降 16.09×
  • 在 Flickr30K 與 MSCOCO，README 與項目頁指出 R@1 有提升
  • 相關模型權重包括 vidore/colpali-v1.3-hf，另有 Hugging Face 的 SaMer models 集合

測試與重現路線算清楚：資料要先準備 Flickr30k-Entities，之後訓練 adapter、建立 compressed retrieval cache，再做 inference。原始資料列出 Python 3.10+、CUDA-enabled PyTorch，以及單 GPU／多 GPU 腳本流程，但 evaluation 章節在提供內容中未完整展開，所以更細的 benchmark 設定與完整數字仍要以論文與項目頁為準。

這類做法最適合需要多向量圖文檢索、又在意記憶體與延遲的團隊，例如做 large-scale image retrieval、phrase-level grounding，或者要把 ColPali 類系統壓到較可部署規模的研究與工程項目。它的取捨亦很清晰：不是追求最少 token，而是用較低成本保留日後查詢仍有機會選中的視覺證據。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, NVIDIA, Image, Python, 多模態模型, 視覺模型, Dataset 數據集

InternVLA-A1.5：機械人策略一體化新路線

Share to X
InternVLA-A1.5 teaser

機械人操作最麻煩的地方，往往不是單純辨認畫面，而是要同時理解指令、估計接下來會發生什麼，再穩定地做出連續動作。InternVLA-A1.5屬於開源框架兼機械人政策模型，焦點放在把 vision-language understanding、latent visual foresight 與 action generation 合併，減少多模組串接帶來的延遲與協調成本。

它的取向很清楚：不少做法會把感知、未來預測、控制分開訓練或分開部署，InternVLA-A1.5則把 foresight 放進同一條政策路徑，在訓練期間借助凍結的 WAN2.2-5B video generation model 提供未來動態監督，但推理時丟棄 video branch，只保留動作預測。這個設計的好處是保住「先想一步」的能力，同時避免部署到真實機械人時推理太重。

模型骨幹建基於 Qwen3.5-2B VLM，透過 shared full-attention layers 接上一個輕量 unified action expert，並保留 modality-specific Gated DeltaNet processing；動作輸出則用 flow matching 預測 continuous action chunks。README 亦提到它可用於部署、數據收集和評估真實機器人上訓練有素的操作策略，但公開資訊較集中在模型與 benchmark，具體安裝流程與真機部署步驟未見完整展開。

  • 舊路線常把理解、預測、控制拆開，這個項目改為單一 policy 統一處理
  • 訓練用 WAN2.2-5B 學未來動態，推理時移除相關分支，換取較實際延遲
  • 已在 LeRobot V2.1 dataset 微調，亦結合大規模機械人與多模態資料
  • 基準成績突出：RoboTwin 2.0 為 93.2，LIBERO 為 98.9，LIBERO-Plus 為 84.8
  • 可取得的相關模型包括 InternVLA-A1.5-base、InternVLA-A1.5-RoboTwin、InternVLA-A1.5-Libero

從定位來看，它較適合想把研究原型推近真機驗證的團隊，尤其是同時重視語言理解、視覺泛化與操作成功率的人。現階段最值得留意的，不只是分數高，而是它示範了一種更接近完整機械人工作流的整合方式；限制則是公開說明仍偏研究導向，真正落地前仍需自行補足部署細節與硬件整合資訊。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, Video, 多模態模型, 視覺模型, 視頻模型, Robotic, Dataset 數據集, 上海人工智慧實驗室, VLA

LLM-as-a-Verifier 點樣重寫代理評分

Share to X
LLM-as-a-Verifier

代理系統最常見的瓶頸，唔係生成唔到答案，而係你難以知道它每一步到底做得幾好。LLM-as-a-Verifier屬於開源框架，針對的正是呢個問題：它唔只為最終結果打一次分，而係用更細緻的方式為候選答案、行動步驟同任務準則提供可量化回饋。

現有做法不少仍然依賴單次判斷、粗粒度分數，或者只看最終成敗；作者認為呢種固定範式會忽略不確定性，亦難以支援 progress tracking 同 reinforcement learning。LLM-as-a-Verifier改用三個核心設計重組驗證流程：score granularity、repeated evaluation 同 criteria decomposition，並且直接對 LLM score tokens 的完整 logprob distribution 取期望值，而唔係只取單一輸出。

呢個取向令它同一般 judge-style 評分器有明顯分野。它重點唔在於產生一句評語，而係產生可反覆比較、可分解、可累積的 fine-grained feedback，所以可以用於 Best-of-N selection、pairwise compare，同埋逐步追蹤代理行為變化。README 亦展示了 Python 套件 llm-verifier 的基本用法；安裝方式有提供，但更完整的部署細節主要放在官方文件，而某些流程亦需要 VERTEX_API_KEY 或可回傳 logprobs 的 OpenAI-compatible server。

  • 支援任何 modality 的驗證框架，定位比單一 benchmark judge 更廣
  • 方法核心是細粒度評分、重複驗證、按 criteria 拆解準則
  • 可直接用於 selection、compare、track，同時連到 reinforcement learning
  • 官方列出 Terminal-Bench V2、SWE-Bench Verified、MedAgentBench、RoboRewardBench 等結果
  • 相關模型與服務包括 Qwen/Qwen3.5-9B、Qwen3-8B、Gemini 2.5 Pro，以及 OpenAI-compatible server

表現上，項目聲稱在多個 agentic benchmarks 達到 state-of-the-art，包括 Terminal-Bench V2 86.5%、SWE-Bench Verified 78.2%、RoboRewardBench 87.4%、MedAgentBench 73.3%，亦提到在 LIBERO 配合 SAC 微調 pi 0 policy 時，sample efficiency 約高 1.8 倍。呢類數字反映它較適合研究團隊、代理平台開發者，同埋想將評估訊號接入訓練迴路的人；單純只想要一個最終分數的團隊，未必需要用到它整套驗證尺度。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Gemini, NVIDIA, OpenAI, Agentic, Medical醫學, Python, Anthropic, Dataset 數據集

MRPO：醫療多模態推理訓練新路線

Share to X
alt text

MRPO 是一個用於醫療多模態推理的強化學習框架（reinforcement learning framework）。它要解決的問題不是單純答對與否，而是醫療 VQA 過程中推理鏈一早出錯，之後一路連鎖失誤，令最後答案偏離。

現有 post-training 做法多數偏向 outcome-centric，主要看 final answer correctness 或 sequence-level preferences。作者認為這種範式的問題是 sparse credit assignment，模型知道答錯，卻未必知道究竟由哪一步開始失準；MRPO 因而改寫 GRPO-style advantages，結合 answer-level reward 與 step-wise process rewards，並在最終答案錯誤時，對較早出現的 invalid steps 給予更大懲罰。

這個設計的取向很明確：它不是只罰錯答案，而是重新分配學習訊號，優先修正最早發生的推理錯誤，避免 failure cascades 擴大。README 提到，MRPO 在三個 multimodal LLM backbones 上都優於 standard GRPO 與另一個近期 RL baseline；在 Qwen3-VL-8B-Instruct 上，更以只用 13K training samples 超過較大的醫療 MLLMs，例如 HuatuoGPT-Vision-34B，分數高出 2.79。

  • 核心方法：以 answer-level reward 加 step-wise process rewards 重整 GRPO-style advantages
  • 主要差異：重點放在 first failure，而不是只看最後有冇答中
  • 已公布內容：完整 reinforcement learning recipe、code、datasets 同 infrastructure
  • 可重現方式：項目提供環境腳本、資料下載與前處理流程，訓練資料包含 image、problem、solution 欄位
  • 相關模型：Qwen3-VL-8B-Instruct、HuatuoGPT-Vision-34B，以及 README 提及的另外兩個 multimodal LLM backbones

量化結果最值得留意的是推理質素分析。MRPO 將 early-stage reasoning failures 由 64.0% 降到 13.0%，反映它不只是把答案分數推高，而是令中途推理較少一開始就偏離；這對醫療影像問答尤其重要，因為錯誤往往不是出在最後一句，而是前面觀察與判斷已經失焦。

這個項目較適合研究醫療 AI、醫療影像問答、multimodal reasoning post-training 的團隊參考，也適合想比較 RL 訓練配方差異的人閱讀與重現。它現階段更接近研究原型與訓練方法展示，不是即裝即用的臨床產品；重點價值在於，它把「模型哪一步開始諗錯」正式納入訓練訊號，為醫療 MLLMs 提供一條比只看最終答案更細緻的優化方向。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, DeepSeek, OpenAI, Image, Medical醫學, 多模態模型, 模型, 模型訓練, 框架

MrFlow：文字生成圖片提速新路線

Share to X
MrFlow framework

MrFlow 是一個訓練免除的圖像生成加速方法，屬於針對 flow-matching text-to-image diffusion models 的研究原型與實作。它要解決的問題很直接：高解析度出圖太慢，因此先在低解析度完成大部分生成，再用較短的高解析度修補流程補回細節。

現有多解析度加速方法，通常會在 latent space 做上採樣，或者只改動部分區域；作者認為這種固定範式容易帶來模糊感與 artifact。MrFlow 改用 pixel space 的 Real-ESRGAN 做超解析度，之後重新編碼、注入與 scheduler 一致的低強度雜訊，再做短步數 refinement，將昂貴的高解析度 denoising 成本，大幅轉移到較便宜的低解析度階段。

這個項目的取向相當務實，因為它不要求 finetuning、learned upsampler，亦唔需要 model-specific retraining 或 custom kernels，直接建立在 PyTorch、Diffusers 與既有 scheduler 控制之上。部署理解上，它比較像一條可插入現成模型流程的 sampling pipeline：先準備 Diffusers 相容環境、對應的預訓練模型權重，以及 Real-ESRGAN 的 x2 權重，再把 README 內示例腳本的 checkpoint 路徑換成本地設定即可。

效能數字是這個項目的核心賣點。資料指出，MrFlow 在 Qwen-Image 可做到超過 10x end-to-end speedup，論文亦提到相對加速前的 OneIG 差距可控制在 1% 以內；再配合 timestep-distilled models，例如 Pi-Flow 與 FLUX-schnell，整體加速可進一步去到 25x。這種設計也已展示可轉移到 Qwen-Image、FLUX.1-dev、FLUX.2 Klein 與 Z-Image family，代表它不是只綁死單一模型。

  • 類型定位：訓練免除的 staged sampling 加速方法，唔係新底模本身
  • 主要差異：避開 latent space 上採樣路線，改用 pixel space 超解析度加短程高解析度修補
  • 部署重點：依賴 PyTorch、Diffusers、Transformers、Real-ESRGAN，並需自行配置模型與權重路徑
  • 適合場景：要保留畫質、又想縮短生成時間的圖像生成團隊與研究人員
  • 相關模型：Qwen-Image、FLUX.1-dev、FLUX.2 Klein、Z-Image、Pi-Flow、FLUX-schnell

MrFlow 最適合放在已有文字生成圖片流程的項目之中，作為加速層而不是完整替代品。它的限制亦很清楚：仍然依賴外部超解析度模型與既有 backbone 品質，重點在於重新分配算力成本，未必等於所有提示詞、所有畫風都能無代價複製原本高解析度長步數生成的結果。

GitHub · Paper

Categories: 開源, Qwen, NVIDIA, Stable Diffusion, Image, Python, txt2img, 中國
Page 4 of 9
1 2 3 4 5 6 … 9