InferNews

Hermes MoA 協作提升答案質素

Share to X
Hero image preview

這是 Hermes MoA（Mixture of Agents，混合代理）架構。它的主要用途是讓多個 Large Language Models 同時回答同一條問題，再由一個聚合者整合各自較強的部分，輸出單一答案。

MoA 的重點不在於訓練一個新模型，而是把多個現有模型疊成一個協作流程。文件指出它依靠多樣性、互補性與聚合三個機制運作：不同模型會走出不同推理路徑，彼此可以補足盲點，最後再由較強的模型統整結果。這種做法和只用單一模型相比，目標是提升複雜任務的回答質素。

在 Hermes Agent 內，這個項目提供三種落地方式：shell 腳本、delegate_task 與 Kanban。Shell 版本最直接，做法是先把多個 proposer 的回覆收集起來，再交給 aggregator 讀取並重寫成最終答案，較適合快速驗證流程；另外兩種方式則較適合需要更穩定管理的工作流。

文件亦清楚交代取捨。MoA 的成本大約是 N+1 倍，延遲通常接近最慢 proposer 再加 aggregator 的時間，所以不適合簡單問答；但對需要比較、整合、推理的任務會更有價值。頁面同時提到在 AlpacaEval 2.0 可帶來約 65% lift，而 proposer 數量以 3 至 5 個作為較理想的平衡點。

  • 核心流程是平行提議者 + 單一聚合者
  • 主要價值在於結合不同模型的長處
  • Hermes Agent 支援 shell、delegate_task、Kanban 三種實作
  • 成本與延遲明顯上升，較適合複雜任務
  • 示例有 anthropic/claude-sonnet-4、openai/gpt-4o、google/gemini-2.5-pro、deepseek/deepseek-chat

適合想在現有 LLM 工作流上疊加協作機制的人閱讀，尤其是需要提升答案穩定性、綜合能力或多角度分析的場景。它不是單一模型的介紹，而是一種可直接套用在 Hermes Agent 的編排方法。

項目主頁

Categories: Google, Agentic, Anthropic, Dataset 數據集, DeepSeek, Gemini, OpenAI, 框架

Headroom：幫 AI agent 壓縮上下文

Share to X
Headroom in action

Headroom 是一個給 AI agents 與 LLM 應用使用的庫兼代理工具，核心角色是把送進模型前的上下文做壓縮。它主要解決長對話、工具輸出、日誌、RAG 片段與檔案內容太長，令 token 成本、延遲與上下文容量很快爆滿的問題。

這個項目不只提供 Python 與 TypeScript 內嵌式 compress(messages) 用法，亦提供 proxy 模式與 MCP server，代表它可以直接插入現有流程，未必需要大改程式。README 提到 zero code changes 的代理方式，對已有多語言系統的團隊尤其實用；另外它走 local-first 與 reversible 路線，取向明顯是先保留可控性，再追求節省 token。

和一般只縮短輸入文字的做法相比，Headroom 的差異在於它同時處理模型輸出，會減少重複客套、重述程式碼，以及在例行步驟略過過深的「thinking」。這種取捨有助壓低來回 token，但也代表較依賴它對內容重要性的判斷；對需要完整推理痕跡或逐字保留輸出的流程，部署前應先做回歸測試。

結果列出的數字是 60–95% fewer tokens，示例亦有 10,144 壓到 1,260 tokens，同時保留相同問題結論；不過這些結果較適合視為官方展示，具體效果仍會受任務類型影響。較容易受益的情境包括多步驟 agent、跨工具調用、RAG 對話系統，以及 Claude、Codex、Gemini 之間需要共享記憶的團隊協作流程。

  • 支援 Library、Proxy、MCP server 三種接入方式
  • 可壓縮對話、工具輸出、logs、RAG chunks 與檔案內容
  • 提供 cross-agent memory，支援 Claude、Codex、Gemini 共用與去重
  • headroom learn 會整理失敗 session，寫入 CLAUDE.local.md、CLAUDE.md、AGENTS.md 或 GEMINI.md
  • 相關模型包括 Kompress-v2-base，而整體定位較接近 agent 基礎設施，不是單一聊天模型

整體來看，Headroom 最有價值的地方不在於再做一個包裝 LLM 的介面，而是把「上下文壓縮」獨立成基礎層。對經常被 token 成本、上下文長度與 agent 記憶雜訊拖慢的項目，它屬於值得優先測試的一類工具。

GitHub

Categories: 開源, Gemini, Agentic, MCP, Python, RAG, 庫, 模型, 編程, Anthropic

OpenMontage：AI 代理拍片流程

Share to X
OpenMontage

OpenMontage 是一個開源、Agentic 的影片製作工具型項目。它的核心任務是把研究、寫稿、素材生成、片段檢索、剪輯到輸出成片串成同一條流程，讓 AI coding assistant 代為協調整個製作過程。

這個項目最值得留意的地方，在於它不把「幾張靜態圖加動畫」當成影片的唯一做法。它亦會從免費 stock footage 與公開影像檔案建立 corpus，抽取真正的 motion clips，再放入時間線完成合成，取向上比純 txt2img 或 image-to-video 工具更接近剪輯工作流。

部署理解上，現有資料顯示它依賴 FFmpeg，以及 Claude Code、Cursor、Copilot、Windsurf、Codex 這類 AI coding assistant。換句話說，它不像一般單一網頁服務，更像一套由代理驅動的製片管線；測試時較合理的方式，是先用簡單 prompt 驗證腳本規劃、素材來源、成本預估，再觀察最後能否穩定輸出可看的 timeline 與成片。

  • 定位清晰：多個生成與剪輯步驟接駁起來的工作流工具。
  • 差異明顯：支援真實影片片段檢索與編排，不只依賴靜態圖轉影片。
  • 適合情境：內容創作者、小型 marketing 團隊、需要快速做樣片的創意項目會較受惠。
  • 取捨存在：自由度高，但效果會受可用模型、素材來源與代理穩定性影響。

它可保留參考影片的節奏、hook style、結構與 tone，同時改動主題、畫面處理、切入角度與旁白方式，亦會在素材生成前估算目標片長成本。性能數字與正式 benchmark 暫未見完整公開，因此現階段較適合視為早期但方向鮮明的製片自動化項目；相關模型與服務例子包括 Veo，以及配合 AI coding assistant 與 Remotion、FFmpeg 一類組件完成輸出。

GitHub

Categories: 開源, Agentic, Anthropic, Content Creator, IDE, Image, txt2img, Video, 微軟

AgentOdyssey：用文字遊戲測試 AI Agent

Share to X

AgentOdyssey 是一個用來生成文字遊戲並評測 agent 的開源框架。它主要用來檢查 test-time continual learning agents 能否在互動過程中一邊推理、一邊學新知識，而不只是做一次性答題。

現有不少評測仍沿用「測試時不學習」這種固定範式，任務短、回合少，較難看出 agent 會否忘記事情、會否累積世界知識，或者能否處理長步數目標。AgentOdyssey 的做法是程序化產生 open-ended long-horizon text games，把探索、episodic memory、world knowledge acquisition、skill learning 與 long-horizon planning 放進同一個連續環境內一起觀察。

部署理解上，這個項目已提供 PyPI package、文件與互動示範，也可用 HumanAgent 直接進入遊戲，再換成不同 LLM-based agents 做比較。它的 unified agent interface 依賴繼承式類別來共享 prompt 結構，新增 agent 的門檻相對低，對研究團隊做公平對照尤其重要。

  • 可程序化生成全新世界、角色與劇情，唔係只跑固定題庫
  • 評分不只看遊戲進度，亦會拆開觀察記憶、探索、行動多樣性與成本
  • 支援多種 agent paradigms，比較時較容易控制提示格式差異
  • 結果重點很清楚：更強 base models 通常更好，但頂尖 agent 仍明顯落後人類

這個項目較適合做 agent 研究、benchmark 建立、記憶模組測試，或者長流程任務設計；一般內容生成或聊天機械人團隊未必會直接受惠。已公開的重點結果亦指出 short-term memory 對多種 agent paradigms 都有幫助，反映這個框架不只是出分工具，也能用來找出 agent 失效的位置與改良方向。

項目主頁 · GitHub · Paper

Categories: 開源, Agentic, Skill 技能

Qwen-RobotManip 如何把機械臂訓練推向通用化

Share to X
Og image

這是一個機械人操作模型，名為 Qwen-RobotManip，屬於建基於 Qwen-VL 的 Vision-Language-Action foundation model。它主要處理機械臂操作資料分散、昂貴而且難以統一訓練的問題，目標是讓模型在未見過的任務、場景與機械平台上仍能保持可用表現。

它的核心做法，是把操作學習中的表徵、動作與行為三個層面放進同一套 alignment framework。研究團隊同時建立 human-to-robot synthesis pipeline，將第一身手部示範影片轉成 15 個平台可用的 robot trajectories，再配合多來源資料整理流程，整合真實機械人、合成資料與人類示範影片，形成約 38,100 小時 pretraining corpus。

和常見只集中單一機械平台、單一資料來源，或偏重分佈內表現的做法相比，Qwen-RobotManip 更著重 genuine generalization。評估上亦沒有停留在一般 benchmark，而是加入多個 OOD 設定，包括 RoboCasa365、LIBERO-Plus、EBench、RoboTwin-Clean2Rand、RoboTwin-IF 與 RoboTwin-XE，用來檢查指令跟隨、擾動穩健性、錯誤恢復，以及 cross-embodiment knowledge transfer。

重點可整理為：
– 建基於 Qwen-VL，面向 robotic manipulation 的通用基礎模型
– 以 unified alignment framework 整合 heterogeneous manipulation data
– 使用 human-to-robot synthesis pipeline，覆蓋 15 個機械平台
– 只依靠 open-source robotic manipulation datasets 與 human demonstration videos，未提及私有資料收集
– 在多個 OOD 評測中優於過往 state-of-the-art models，包括 π0.5，並在 RoboChallenge 排名第一

這個項目較適合關注 robotic manipulation、VLA、跨機械平台遷移與機械人資料擴展流程的人閱讀。現有資料顯示，它不單是再加大訓練規模，而是先解決資料對齊問題，令擴充規模之後的訓練信號不會互相衝突，這也是它能在真實機械平台驗證泛化能力的關鍵。

項目主頁 · Paper

Categories: 開源, Qwen, 多模態模型, 模型, 模型訓練, 視覺模型, Robotic, 框架, VLA

MemoBench 點樣測世界模型記憶力

Share to X
Repository image for MemoBench-Team/MemoBench

MemoBench 是一個 benchmark，屬於用來評測 world generation models 的數據集加評測工具組。它主要檢查模型在鏡頭移開再回來之後，能否把同一個物件的外觀、位置與狀態準確重建，而不是只生成一段看似流暢的影片。

現有影片生成或世界模型評測，很多時集中在畫質、動作流暢度，或者短時間一致性；作者認為這類範式未必能測到 visual memory。MemoBench 因此用 V-D-R (Visible → Disappeared → Reappear) 結構重組任務：先見到目標物件，再讓它離開視野，最後要求模型在重返視野時保持物件永久性與幾何一致性，這比單看首尾畫面更接近真正的記憶測試。

資料部分有 360 段片，分成 196 段 synthetic 與 164 段 real-world clips，並提供 V-D-R 邊界、GT camera poses、目標物件文字描述、VQA question banks 等配套。部署思路相當清楚：環境以 Linux、Python 3.11、CUDA GPU 為主，評測流程分成自動指標、Object Revisit Score (ORS)，以及 VQA 三步，輸入格式是逐格 PNG 圖片；camera controllability 會用到 MapAnything，ORS 會用到 SAM-3。

它和同類 benchmark 的差異，不在於片段數量特別大，而在於把「物件消失後再出現」設成核心壓力測試，並同時覆蓋 synthetic 與真實場景。14 項指標亦不是只量畫面好不好看，還會看 temporal consistency、geometric fidelity、object permanence、camera controllability，以及 VQA-based reasoning，取向明顯偏向診斷模型缺口，而不是只做單一排行榜。

  • 適合比較 不同 world generation models 在長時序記憶上的穩定度
  • 測試材料完整，包含 phase 邊界、相機姿態、文字提示與 VQA 題庫
  • 評測角度較細，把低階畫質與高階語意一致性分開量度
  • 部署門檻不算低，需要 Linux、CUDA GPU，亦依賴 MapAnything 與 SAM-3

相關模型方面，官方內容提到已基準測試 8 個模型，但這份儲存庫摘要未列出完整名稱，因此較穩妥的理解是：MemoBench 重點不是提供新模型，而是提供一套可重覆的記憶一致性測試基準。對研究 world modeling、影片生成、camera-controlled generation 的團隊尤其有參考價值，因為它能幫你分辨模型是「畫得靚」，還是真正記得之前見過什麼。

項目主頁 · GitHub · Paper

Categories: Google, NVIDIA, Image, Linux, Python, 框架

PRA：像素級自回歸生圖的新路線

Share to X
result

PRA 是一個以 PyTorch 實作的影像生成研究項目，屬於 class-conditional pixel-space autoregressive image generation 模型與訓練框架。它要解決的問題，是直接在像素空間逐步生成圖片時，單步誤差大、而且 teacher-forced training 與推理流程不一致，令誤差一路累積。

現有 pixel-space continuous-token autoregressive 做法，多數直接預測高維像素 patch，或用 x-prediction、input noise injection 減輕誤差，但改善有限；exact rollout training 雖然更貼近推理，代價又太高。PRA 的取向是加入 Parallel Rollout Approximation (PRA)：先生成低維 intermediate states，再經 pixel decoder 映射回 pixel-space tokens，同時用近似推理時的 pixel-feedback 方式保留平行訓練效率。

這個設計的重點，不是單純追求更大模型，而是重新處理「訓練見到的輸入」與「生成時真正收到的回饋」之間的落差。論文資料顯示，它在 ImageNet-1K 256×256 的 class-conditional 生成上，PRA-S 135M 參數已做到 FID 2.58，優於先前 billion-scale pixel-space AR 的 3.60；PRA-L 511M 進一步到 1.94，定位很清楚，就是衝着 pixel-space AR 的 SOTA 而來。

部署理解上，儲存庫已提供 environment.yml、requirements.txt、預訓練權重與 sample_ddp.py，代表作者預設你會用多卡分散式抽樣與評測。評估指標包括 FID、Inception Score、precision、recall，另有 ImageNet classification probing accuracy 作為生成以外的補充觀察，表示作者也在測試表徵能力，而不只看出圖漂亮與否。

  • 項目類型：研究原型兼模型實作，集中展示 PRA 訓練與取樣流程
  • 相關模型：PRA-S、PRA-B、PRA-L，參數量約 135M、250M、511M
  • 主要差異：不用離散 tokenizer，維持 pixel-in、pixel-out AR 介面
  • 較適合情境：研究 pixel-space AR、比較生成指標、重現 ImageNet 類條件生圖結果
  • 需要留意：目前公開內容偏向研究重現，不是即裝即用的終端應用工具

受益最大的，會是做影像生成研究的團隊、想比較 autoregressive 與 diffusion 路線的人，以及要研究像素空間建模取捨的學術項目。對一般開發者來說，這個項目較像高水準實驗平台；有現成 checkpoint 和評測流程是優點，但 CUDA、PyTorch 與 FlashAttention 相容性仍需自行處理。

GitHub · Paper

Categories: Image, Python, 影像模型, 模型訓練, 北京大學

MultiHashFormer：用雜湊重寫語言模型詞表

Share to X
Repository image for HUIYINXUE/MHF

MultiHashFormer 是一個生成式語言模型研究項目，同時提供 Qwen3 相關實作、訓練腳本與詞彙擴充流程。它要解決的是傳統 embedding matrix 會隨 vocabulary size 線性膨脹，令模型難以用固定參數量吸收更多詞彙、語種或新領域內容。

現有 hash-based 做法多數採用 many-to-one mappings，把多個 token 壓到同一個 hash index，這在 encoder-only 模型尚可運作，但放到 causal LMs 就會出現解碼歧義：模型預測到共享 index，未必能準確還原原來那個 token。MultiHashFormer 的做法是為每個 token 建立 unique hash signature，用多個獨立 hash functions 產生一串離散 hash IDs，再交由 Hash Encoder 壓成 latent vector，最後由 Hash Decoder 生成下一個 token 的 hash signature。

這個設計的取向很明確：它不是單純縮小 embedding，而是重組「token 如何表示、如何生成」這條路徑，目標是在保持參數 footprint 固定的前提下，仍可做 autoregression。來源資料亦顯示作者把它放到 100M、1B、3B 規模，並提供 standard 與 MHF 兩組訓練腳本，方便直接對照 baseline，不過 README 未完整列出所有 benchmark 數字，閱讀時應以論文結果為準。

部署理解上，這個項目比較接近研究代碼而非即裝即用產品：preprocessing 內有英文預訓練資料處理腳本，training 內分 standard 與 MHF 訓練流程，vocab_expansion 則涵蓋 tokenizer 訓練、資料準備、continual pretraining 與 expanded_tokenizer。依賴包括 transformers、flash_attn、tokenizers、lm_eval 與 mmh3，代表它面向的是已有 Python 深度學習環境、想重現論文或測試詞彙擴充的人。

  • 項目類型：研究原型兼模型訓練代碼，核心是 hash-based autoregressive language modeling。
  • 主要差異：不再用 many-to-one hashing 直接代表 token，而是生成可還原的 unique hash signature。
  • 適合情境：比較標準 Transformer 與 MHF、研究 vocabulary expansion、測試固定參數量下的多語詞表延展。
  • 相關模型：Qwen3 標準版、qwen3_ori、qwen3_hashformer，以及 100M／1B／3B 多個 HuggingFace checkpoints。

整體來看，這個項目的價值在於它不只提出一個更省參數的表示法，還試圖修補 hash 方法長期無法自然用於生成式模型的缺口。對研究語言模型架構、詞表擴展與參數效率的團隊來說，它比一般「換個 tokenizer」更值得細看，因為連輸入表示與下一 token 生成機制都一併改寫了。

GitHub · Paper

Categories: Qwen, Embedding, Python, 模型訓練, 語音

ConvFill：即時語音代理的雙模型方案

Share to X
Teaser

ConvFill 是一個用來建立語音代理的開源系統與研究原型。能夠實現即時回應和準確回答——這兩個目標通常難以兼顧。它將本地運行的小型快速語言模型與在後台進行繁重推理的大型雲端模型相結合，使代理能夠立即開始對話，並在資訊可用時自動填充合理的答案。此程式碼庫包含完整的系統、一個即時語音演示、七個即用型模型以及訓練您自己的模型所需的一切資源。

現有做法通常要麼直接等大型模型完整生成，回應較慢；要麼改用較小模型追求低延遲，但複雜查詢、文件搜尋同工具調用能力會明顯下降。ConvFill 提出 conversational infill 這個新任務，將 Talker 與 Reasoner 分工：Talker 先即時說話，Reasoner 在背景處理慢工序，再把精簡知識流式交回 Talker 融入回答。

ConvFill 不是單純做語音介面，而是重新安排推理時序。Talker 可用 135M 到 1.7B 參數的小模型，在手提電腦或手機本地運行；Reasoner 則可接 Claude、GPT 或 Gemini。儲存庫已提供 live voice demo、七個現成模型，以及訓練自家 Talker 所需內容，理解上可視為「本地即時對話層 + 雲端能力層」的組合。

  • 內置七個已微調 Talker，涵蓋 Qwen、Llama、Gemma、SmolLM 家族
  • 配套 ConvFill dataset，含 290,571 個經驗證訓練樣本，覆蓋六個領域
  • Reasoner 可替換為 Claude、OpenAI 或 Gemini，毋須為更換 Reasoner 重新訓練
  • 論文指出系統可維持 millisecond-level time-to-first-response，準確度與對應 frontier Reasoner 的差距縮至 6.3% 內

受益最明顯的，會是想做客服、助理、查詢式語音介面或需要邊說邊找資料的團隊。它未必適合完全離線、又要求深度推理的場景，因為關鍵能力仍依賴雲端 Reasoner；但對希望保留本地回應速度，同時接入大模型能力的項目，這套設計比單模型方案更有工程上的彈性。

GitHub · Paper

Categories: 開源, Anthropic, Dataset 數據集, Gemini, LLaMa, OpenAI, Qwen, 模型, 蘋果, 語音

微軟用殘差強化學習補強機械人 VLA

Share to X
Og image

這是 Microsoft Research 的 Object-Centric Residual RL 方法。它的用途是為 Vision-Language-Action（VLA） 模型加入一層修正策略，減少機械人在真實操控中因細小誤差累積而失手的情況。

核心做法是把一個已凍結的 base VLA 保留不變，再額外疊加一個輕量 residual policy。這個 residual policy 完全在模擬環境訓練，輸入不是原始影像，而是 object-centric state、proprioception，以及 base VLA action，藉此避開常見的 visual sim-to-real gap，令策略可直接 zero-shot 轉移到真實機械人。

這個方法處理的是 imitation learning 常見的脆弱性：示範資料未覆蓋到的狀態一旦出現，誤差會一路放大。與直接微調 VLA、或在真實世界再做 reinforcement learning 相比，這個方法的差異在於只學「修正量」，而且訓練放在模擬中完成，成本與風險都較低。

  • 保留 frozen base VLA，不用重訓整個模型
  • residual policy 以物件中心狀態為主，減少依賴影像對齊
  • 目標是 zero-shot sim-to-real enhancement
  • 適合需要精準抓取、放置或接觸操作的機械人工作流

這類方法較適合關注 VLA、Robotic 與 sim-to-real transfer 的研究者和開發者。現有資料清楚交代方法方向與問題設定，但未提供完整安裝流程或操作步驟；評估部分可確認作者以真實機械人成功率改善作為重點，更多數值細節仍需參考原始論文。

項目主頁 · Paper

Categories: 微軟, Agentic, Image, AI productions, 多模態模型, 安全, 編程, 視覺模型, Robotic, 框架, VLA
Page 1 of 104
1 2 3 … 104