框架 – Page 5 – InferNews

AgentCanvas：把 embodied agent 變成可編輯圖譜

2026 年 7 月 10 日

想試 embodied agent，最花時間往往不是想法，而是把模擬器、模型與工具串起來。AgentCanvas 把這層 execution stack 圖像化，方便研究團隊直接改結構、跑實驗、比較結果。

AgentCanvas editor: the MapGPT executor loads as a node-and-wire graph, then a live R2R episode runs end-to-end

卡位不在模型夠唔夠新，而在整個 embodied agent 系統太厚：simulator、perception、memory、planning 同 control 全都要接通。AgentCanvas 把這件事收斂成可執行的 typed graph 平台，用單一 JSON 保存一個 agent 結構，讓 VLN、EQA、VLA 一類工作不再每次都由 execution layer 重搭起步。

這個項目是把 embodied agent 改寫成可視化、可重播、可修改的圖譜程式。現有做法多數靠手寫 imperative code 逐層綁死 simulator、工具與 foundation models，作者認為這種範式難以比較、難以重現，也不利 architecture search；所以 AgentCanvas 先提供 substrate，再用 KDLoop 與 AAS 讓 coding agent 反覆改圖、驗證、再分析。

AgentCanvas 重點放在把 agent 結構標準化，而不是只交一份論文內部 executor。你可以在 editor 直接載入節點圖，跑真實 R2R episode，也可接 Habitat-Sim、MatterSim、SAPIEN/ManiSkill2、MuJoCo/robosuite 這些 simulator；新加入的 Source tab 還可就選定 node 回看 source slice，改完再 syntax-checked hot-reload，這對反覆試設計特別有用。

支援 hand-built graphs，也支援 AAS 自動搜尋 agent 架構
已接入 29 個 foundation models，包括 Qwen3-VL、InternVL3、Gemma 3、SmolVLM2、SigLIP2、OWLv2、Grounding DINO
可覆蓋 VLN、EQA、VLA 與鄰近 embodied 任務
研究預覽版已開源，環境基礎要求為 Python 3.10+

受益最明顯的，會是做 embodied AI 的研究團隊、要重現論文 executor 的學生，以及想比較不同 graph 設計而不是重寫整個系統的人。現階段它仍是 pre-1.0 research preview，性能數字應結合原論文結果閱讀；但單看定位，AgentCanvas 最有價值的地方，是把「難以維護的 agent 系統工程」變成「可被搜尋與修改的圖譜工作流」。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Gemini, Agentic, Python, Vibe Coding, 多模態模型, 編程, Anthropic, 框架, Dataset 數據集, VLA

vLLM 新後端跑出原生級速度

2026 年 7 月 10 日

同一份 transformers 模型實作，依家可以直接食到 vLLM 的高速推理。對部署大型語言模型的人而言，少咗移植工序，吞吐量亦未必輸原生實作。

卡位一直在於：想用 vLLM 的高吞吐推理能力，過去往往要為個別模型寫或等專用實作。呢篇內容講的是 Hugging Face 把 transformers 直接作為 vLLM 的 modeling backend，而且頁面沒有提供 base model 資訊，因為它不是單一模型頁，而是針對推理後端整合的技術更新。

重點價值很直接：模型作者只要已有 transformers 實作，就有機會不用再額外移植到 vLLM，也能拿到接近原生，甚至更快的推理表現。對 LLM 與 VLM 都有意義，因為 serving 設定基本不變，只是加入 --model-impl transformers 旗標。

文中展示了三組 Qwen3 測試：Qwen3-4B 單 GPU、Qwen3-32B 以 tensor parallelism 跑 2 GPU，以及 Qwen3-235B-A22B-FP8 Mixture-of-Experts 在同一個 8×H100 節點上以 data parallelism 加 expert parallelism 執行。結果指向同一件事：transformers backend 的 throughput 已經追平或超過 vLLM 手寫 native implementation。

transformers 已支援 450+ architectures，角色像參考級 modeling library
vLLM 繼續負責 continuous batching、custom attention kernels 等高效推理優化
啟用方式很簡單：升級 vllm，並在 serve 時加入 --model-impl transformers
可與 --tensor-parallel-size、--data-parallel-size、--enable-expert-parallel 一起使用

取捨亦要講清楚：頁面重點在 backend 整合與效能展示，不是 GGUF 發布頁，所以沒有提供 GGUF 格式、量化等級、mmproj、chat template、MTP draft speculation 或 LM Studio／Ollama／llama.cpp 檔案資訊。硬體需求方面，示例至少涵蓋單 GPU、2 GPU，同埋 8×H100 節點；不同模型是否都能複製同樣增益，仍要視架構與部署環境而定。

項目主頁 · GitHub

Categories: 開源, Qwen, Ollama, Python, 庫, 框架

NVIDIA 用單一影片模型兼顧連貫與速度

2026 年 7 月 8 日

想要影片生成既連貫又夠快，往往要在畫質、全局一致性同串流效率之間取捨。Flex-Forcing 嘗試用同一個 Video Diffusion Model，同時處理呢個矛盾。

做影片生成時，最常見的卡位係：Bidirectional diffusion 生成得穩，前後鏡頭更一致，但速度慢；Autoregressive 方式可以逐段輸出，較適合串流，不過長片段容易失去連貫。Flex-Forcing 針對的正正係呢個兩難，屬於影片模型方向，目標係用同一個 Video Diffusion Model 橫跨兩種生成模式。

它的做法不是把兩套系統硬拼在一起，而是用一個較靈活的 chunking 機制，同時沿時間軸同 denoising steps 去切分。咁樣模型可以在 chunk 之間做 bidirectional 的全局規劃，又能在 chunk 之內用 autoregressive 方式逐步生成，兼顧整體一致性同推理效率。網頁用一句話概括得很清楚：one model, two generation regimes。

對內容創作、長影片生成同需要邊生成邊輸出的工作流來說，呢種設計幾有吸引力。它不是單純追求最快，亦不是只追求最完整的全局建模，而係嘗試將「先看全局」同「逐段出片」放入同一套推理框架，減少以往要為不同場景分開選模型的麻煩。

統一 Bidirectional 與 Autoregressive 兩種影片生成路線
以 temporal axis 配合 denoising steps 的 chunking 作核心設計
chunk 之間強調全局規劃，chunk 之內保留串流生成能力
目標是改善長距離一致性、速度與 exposure bias 之間的取捨

現有資料顯示，Flex-Forcing 的核心價值在於統一訓練與推理框架，而不是只做單一生成模式的微調優化。公開內容暫時未完整列出具體評測細節，但方向已很明確：希望用一個模型覆蓋更多影片生成場景，特別適合重視長片段敘事連貫，同時又需要較靈活輸出節奏的項目。

項目主頁 · Paper

Categories: NVIDIA, Video, 模型訓練, 視頻模型, 框架

MV-Forcing 讓長時多視角影片更一致

2026 年 7 月 8 日

同一段動態場景，要由多個角度連續生成而且唔穿崩，一直都好難。MV-Forcing想解決的，正正是長片段、多視角與幾何一致性三件事同時成立。

想像同一個人物動作，要由三個鏡頭角度一路接住生成，畫面不但要連戲，視角之間的位置關係都要講得通。MV-Forcing 屬於多視角影片生成框架，處理的正是長時段 dynamic scenes 在不同 viewpoint 下容易失真、跳位、前後不一致的問題。

它的取向，不是只顧單一視角拉長影片，也不是只做短片式多視角同步，而是把 temporal autoregression 同 view-wise autoregression 放入同一個 diffusion model。中間再加上一個 4D geometric prior 作橋樑：先從已生成的 source view 重建 3D 結構，再渲染出下一個 target view 的幾何先驗，最後交由模型細化成高質影片。

另一個關鍵在訓練方式。MV-Forcing 用 joint denoising，令兩個 view slots 訓練時都可由雜訊起步，避免模型只依賴固定 teacher temporal window，從而支援更長的生成。它亦加入 Distribution Matching Distillation 與 Spatio-Temporal Self-Forcing，盡量縮窄訓練與推理之間的 exposure bias，讓時間與視角兩條自回歸鏈接得更穩。

能同時處理長影片與多視角一致性，而唔係二選一
以 3D reconstruction 連接相鄰視角，補上幾何關係
支援 arbitrary lengths 與 viewpoint counts，彈性較高
用單一 few-step student model 完成生成，推理路徑較集中

現有資料提到，它已在 synthetic 與 real-world data 做大量實驗，重點成果是能生成幾何一致的多視角動態影片。不過公開內容暫時較像研究展示，Code 仍標示 coming soon；對內容創作、視覺敘事、虛擬攝影機規劃有興趣的人，會較容易看出這個項目的價值。

項目主頁 · Paper

Categories: Video, 3D, 模型訓練, 視頻模型, 框架

EdgeBench 用 134 個長任務量度智能體成長

2026 年 7 月 8 日

模型識幾多，未必等於學得幾快。EdgeBench想回答的，是智能體在真實環境中隨時間互動後，能力會怎樣上升。

跑一次就評分的基準，通常只能看出模型本身已經識乜；EdgeBench關注的是另一件事：當智能體放進接近真實工作的環境，連續做十幾個鐘、接收回饋再反覆修正，它究竟會唔會愈做愈好。這是一個研究 environment learning 的 benchmark，核心問題不是單次答對率，而是學習曲線能否反映長時間互動後的能力變化。

它把 134 個任務分成六大類，包括科學與機器學習、系統與軟件工程、組合最佳化、知識工作、形式數學同遊戲，而且每個任務最少運行 12 小時，部分延伸到 72 小時以上。這個設計接近真實工作流，因為智能體需要面對 build logs、test failures、objective values、simulator traces、實驗誤差等回饋，而唔係只靠一次生成結果交卷。

同常見 benchmark 相比，EdgeBench的差異在於它量度「隨經驗累積而改善」的能力。研究者指出，多個模型在 134 個任務上的整體表現，都可用 log-sigmoid function 擬合，R²約為 0.997 至 0.999，表示 environment interaction time 與表現提升之間有相當穩定的關係。這令它不只是一張排行榜，也是一個用來觀察 scaling laws of environment learning 的分析工具。

覆蓋 134 個真實世界長時任務，重點放在學習速度與上限
任務橫跨科學、編程、最佳化、知識工作、數學與遊戲
每項任務持續 12 小時以上，部分超過 72 小時
回饋訊號來自接近真實工作的執行環境，而非單次靜態題目
整體學習曲線可用 log-sigmoid function 高精度擬合

這套 benchmark 對做 Agentic 項目、長流程自動化、程式代理與研究型智能體的人最有參考價值，因為它直接呈現模型在長時間任務中的耐力、修正能力與邊做邊學的幅度。現有資料集中在 benchmark 設計、任務結構、資料集與分析結果，未提供具體安裝步驟或完整使用流程；能確定的是，這個項目由 ByteDance Seed 發表，並附有 Paper、GitHub 與 Dataset 入口。

項目主頁 · GitHub · Paper

Categories: 開源, 字節跳動, DeepSeek, Agentic, 軟件, 模型訓練, 編程, Anthropic, 框架, Dataset 數據集

GigaWorld-1：機械人世界模型開源路線圖

2026 年 7 月 8 日

GigaWorld-1 不只是模型，亦是一套圍繞機械人世界模型的訓練與推理流程。它的重點是用模擬 rollout 協助評估 robot policy。

GigaWorld-1 是一個面向 robot world models 的開源工具鏈與研究原型。它主要用來訓練、推理、處理資料，並把世界模型當成 robot policy evaluation 的替代評估器，減少每次都要落真機做 rollout 的成本。

現有做法通常依賴真實機械人測試，或者用偏重短片畫質的 video world models 觀察結果；作者認為這種範式未必足夠反映 policy 是否可靠，因為短期視覺真實感不等於長時序、動作一致的 rollout 準確度。這個項目連同 WMBench 一齊提出較清晰的評測框架，重點放在 long-horizon、action-faithful rollout consistency，而不是只看畫面似唔似真。

和一般只放模型權重的 GitHub 項目相比，GigaWorld-1 較完整地公開了訓練、inference、資料處理、checkpoint conversion 及 LoRA merge 流程，取向明顯偏向可重現與可擴充。基礎模型亦不是由零開始孤立建立，而是結合 Wan、Diffusers、Helios、Genesis 等元件，反映它更像一條可調整的工作流程，而不只是單一模型展示。

重點不在短期畫面好看，而在 rollout 是否長時間維持動作一致性
提供 training、inference、data processing、checkpoint conversion、LoRA merge 等完整流程
相關模型與元件包括 Wan、Diffusers、Helios、Genesis
配套有 ToyDataset、CVPR 2026 WorldModel Track Dataset 與 WMBench benchmark

部署思路相對明確：環境以 Python 3.10+、PyTorch 2.x、Linux 為主，再按 README 準備資料、模型與推理流程；需要下載模型或資料時，亦已有獨立工具說明。硬件需求未算輕量，但首頁提到 1.3B / 5B 變體與低於 24GB 記憶體的生成設定，代表它並非只面向超大規模研究機構。

較適合受益的群體，是做 embodied AI、robotics、world model research 的團隊，以及想建立 policy evaluator 管線的人。現有資訊顯示它背後有 12,000+ 小時訓練影片、324,000+ 模擬 rollout 配對真機執行，以及 7 類 video world models、4 種 action representations 的比較；這些數字未必等於任何場景都會即插即用，但足以說明它的價值在於提供一套有 benchmark 支撐的評估方法，而不只是再多一個生成模型。

項目主頁 · GitHub · Paper

Categories: 開源, Video, Linux, Python, 模型, 模型訓練, Robotic, 世界模型, 框架, Dataset 數據集, VLA

微軟 ResearchStudio：AI 助你研究你的方案

2026 年 7 月 7 日

微軟開源一套研究輔助技能組，覆蓋從模糊方向到論文發表的全流程，並以 ICLR、ICML、NeurIPS 論文集訓練出可追溯的構思模式。

ResearchStudio 的核心任務是把大型語言模型（Large Language Model, LLM）變成研究流程中的協作角色，從構思、文獻搜尋到成稿後的展示素材皆涵蓋在內。它由兩個互補的子項目組成：ResearchStudio-Idea 處理「論文前」階段，協助將尚未成形的研究方向轉化為可辯護的構想；ResearchStudio-Reel 則處理「論文後」階段，把已完成的 PDF 轉成海報、旁白影片、雙語部落格文章及互動式摘要頁面。

傳統的 LLM 輔助構思多半只停留在「生成候選題目」這一層，研究人員仍須自行補上文獻脈絡、辨識瓶頸、區隔既有方案並評估風險。ResearchStudio-Idea 對此提出的修正做法，是從 2021 至 2025 年間 ICLR、ICML、NeurIPS 共 1,947 篇論文中歸納出 31 個反覆出現的構思子模式，再收斂成 15 個可重用的構思模式（ideation patterns），每張模式卡都附帶研究脈絡、瓶頸類型、差異化策略、支援先例與常見失敗模式。這樣的設計讓 IdeaSpark 能以「證據整備度評估 → 脈絡重建 → 瓶頸辨識 → 模式選擇 → 候選生成 → 衝突檢索 → 結果導向稽核」七個步驟，把抽象模式轉化為可追溯的研究提案。

套件內另外兩個獨立技能 Paper-Search 與 Scoop-Check 分別負責多源文獻搜尋與新穎性碰撞檢查，讓構思過程中對「現有方法如何做」與「作者為何不同」這類對比能即時取得佐證。和坊間通用寫作助手相比，ResearchStudio 的差異在於把會議投稿結果（包含口頭報告、高引用子集與被拒稿件）當作訓練素材，使生成的構想能對照真實的審稿標準。技能以 Claude Code 與 Codex 為執行環境，透過 install.sh 即可建立符號連結並完成環境配置。

適合的對象包括需要快速整理文獻的研究生、準備投稿 ML 會議的團隊，以及希望把既有論文包裝成海報或短片的學術機構。對會議投稿文化熟悉的讀者會更容易判斷模式卡的適用邊界；而非 ML 領域的使用者則可借鏡其「以證據為基礎的構思流程」這套方法論。兩篇 arXiv 論文（Idea: 2607.04439、Reel: 2607.04438）分別詳述技術細節與評估方式，值得在採用前先行閱讀。

重點摘要：

全流程覆蓋：從模糊研究方向到論文發表後素材生成，由 Idea 與 Reel 兩個子項目分工處理。
基於會議資料的模式庫：以 1,947 篇 ICLR、ICML、NeurIPS 論文歸納出 15 個可重用的構思模式。
可追溯的構思步驟：七階段工作流程將抽象模式轉為具備文獻佐證的研究提案。
獨立技能模組化：Paper-Search 與 Scoop-Check 可單獨用於文獻搜尋與新穎性檢查。
依賴 Claude Code 與 Codex：需在這兩種 AI 編碼環境中執行，門檻偏向熟悉 LLM 工具鏈的研究者。

項目主頁 · GitHub · Paper

Categories: 開源, 微軟, Agentic, 框架, Dataset 數據集

Supra-Router-51M：AI 嘅智能分流

2026 年 7 月 7 日

51.7M 參數嘅微型路由模型，自動判斷請求該交由本地小型模型定雲端大型模型處理。

Supra-Router-51M 係一個基於 SupraLabs/Supra-1.5-50M-Base-exp 基礎模型微調而成嘅小型語言模型（SLM），定位係多模型生態系統嘅邊緣路由閘道。佢嘅主要用途係分析用戶輸入嘅提示詞，判斷該請求適合由本地小型模型處理，定係需要轉交雲端大型模型，從而優化整體運算資源分配。

模型採用 Multi-Task Sequence Generation（多任務序列生成）嘅方法，唔係單純做二元分類。佢會先輸出一連串結構化資訊，包括語義領域（Domain）、複雜度評分（Complexity 1-5）、數學需求（Math）、程式碼需求（Code），最後先輸出路由決定（Route）。呢種設計令模型喺做最終判斷前，先建立內部特徵激活圖，避免細模型容易出現嘅權重崩塌問題。

訓練方面使用咗 SupraLabs/Prompt-Routing-Dataset 數據集（992 筆樣本），訓練 5 個 Epoch，但喺 Epoch 3（eval_loss 為 0.1342）已達到峰值後就回退保存，避免後段過度擬合。支援序列長度達 3840 tokens，使用 bfloat16 精度，喺 CPU/GPU 都能做到次毫秒級推論速度。推論時必須用 greedy decoding（do_sample=False）以確保決策穩定性。

使用時需要將用戶查詢包裝喺特定格式（Task: [Prompt] Analysis:）入面，模型會輸出 pipe-separated 嘅結構化字串，包含完整嘅提示詞遙測資訊。配合 FastAPI 等閘道框架就可以部署成生產環境嘅自動分流系統。

由於模型只有 51.7M 參數，運行門檻極低，適合邊緣裝置同需要即時決策嘅場景，但佢嘅路由準繩度仍然受制於訓練數據集規模較細呢個限制。

重點摘要：
– 基於 SupraLabs/Supra-1.5-50M-Base-exp 微調，僅 51.7M 參數
– 採用多任務序列生成架構，先分析提示詞特徵再決定路由
– 訓練數據集 992 筆，3840 tokens 序列長度，次毫秒級推論
– 支援 FastAPI 閘道部署，需使用 greedy decoding 確保穩定
– 適合邊緣裝置資源調度，限制係訓練數據規模較小

項目主頁

Categories: 開源, LLaMa, 模型, Dataset 數據集, 框架

LiveEdit：串流影片編輯走向即時化

2026 年 7 月 5 日

LiveEdit 把文字指令變成串流影片編輯，重點放在速度與畫面穩定。它嘗試兼顧即時反應，以及背景與非編輯區域的保留。

LiveEdit 是一個 diffusion-based streaming video editing 系統，屬於影片編輯模型與方法項目。它的核心任務是根據來源影片加上文字指令，逐段完成 causal chunk-by-chunk editing，並盡量保留背景與沒有修改的區域。

這個項目不是追求離線影片慢慢算到最靚，而是針對接近即時的串流編輯。它建基於 Wan2.1 和 Self-Forcing codebase，並用 three-stage distillation，把雙向編輯 teacher 的能力轉移到串流 student，再配合 AR-oriented Mask Cache 減少重複運算，換來較低延遲。

部署與測試資訊算是完整，提供 inference scripts、training code、checkpoint instructions，也講明建議在 Linux 配合 NVIDIA GPUs 執行；單 GPU 可做 inference，多 GPU torchrun 主要用於訓練。輸入方式是準備一個 JSON，填入 source video 路徑和 instruction，然後配合已釋出的權重與 Wan2.1 base model 進行推理。

有一個相當關鍵的參考值：項目頁列出 12.66 FPS，並表示透過 4-step distilled diffusion generation 達成 real-time streaming inference。這個成績對互動式影片編輯很重要，不過公開資訊未見更完整的硬件條件、顯存需求或不同解析度下的比較，因此判斷效能時仍要保留一點。

重點不是一般文字生片，而是保留原片內容的串流影片編輯
主要技術包括 three-stage distillation、Causal DiT、AR-oriented Mask Cache
已公開 inference 與 training 程式碼，也提供 Hugging Face checkpoint 指引
已知較適合 Linux、NVIDIA GPU 環境，研究團隊或影像生成工程師較易受益
相關模型與基礎包括 Wan2.1-T2V-1.3B、bidirectional editing teacher、streaming student

整體來看，LiveEdit 的價值在於把 streaming video editing 做得更接近可互動系統，而不只是展示級效果。它較適合研究即時影片編輯、互動內容製作、直播視覺處理或需要低延遲生成的團隊；一般用家若想直接在圖形介面一鍵開用，現有資料未提供管理後台整合、免手動設定流程，仍然比較像面向研究與開發者的項目。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, NVIDIA, Video, Linux, 模型, 視覺模型, 視頻模型, 蘋果, 框架

Google A2UI 想讓 AI Agent 直接講出介面

2026 年 7 月 4 日

A2UI 不是聊天模型，而是一套讓 AI agent 產生互動介面的開源格式與函式庫。它主打安全、可跨平台渲染，適合要把 agent 接入產品的人。

A2UI 是一個開源框架／協定格式項目，核心是讓 AI agent 用宣告式 JSON 產生可更新的互動介面。它要解決的問題很直接：agent 不只回文字，還可以安全地把表單、卡片、按鈕等 UI 交畀前端或原生客戶端渲染。

這個項目的取向，和直接讓 LLM 輸出 HTML、JavaScript，或者在前端執行 agent 生成程式碼很不同。A2UI 把介面描述同實際元件庫分開，client 只會渲染已預先信任的元件 catalog，安全性較高，但代價是自由度受 catalog 和 renderer 能力限制，並非想畫甚麼介面都可以即時做到。

現有資料顯示，A2UI 仍屬 early stage public preview，目前生產版本為 v0.9.1，v1.0 specification 則是 release candidate。部署與理解方式上，它較像一個要接入現有產品的基礎層：agent 端輸出 A2UI JSON，client 端用對應 renderer 轉成 Flutter、Angular、Lit、Web 或其他原生 UI；官方網站有 Quickstart、Client Setup、Agent Development 同 renderer 文件，但這份資料未列出完整安裝流程，亦看不到一鍵接入 OpenClaw、OpenCode、Codex、Hermes Agent、Copilot、Pi 的管理介面整合資訊。

它的優勢，在於增量更新和跨框架可攜性。README 提到 UI 會以扁平元件清單加 ID 關聯表示，這種結構對 LLM 較友善，也方便串流更新；同一份 A2UI payload 理論上可以映射到不同客戶端。相比綁死某一個前端框架的做法，這更適合多端產品、內部工具平台，或者需要跨信任邊界把 agent 能力交到用戶手上的團隊。

重點可概括為：
– 不是模型，而是讓 agent「講 UI」的協定與函式庫
– 核心賣點是安全渲染，避免直接執行 LLM 生成程式碼
– 支援增量更新，較適合串流式互動介面
– 可對接多種前端技術，但前提是要先有 renderer 和元件 catalog
– 文件已見版本演進與示範場景，公開資料未提供明確性能跑分

性能與現有內容較著重設計理念、版本演進與示範，而不是基準測試數字，所以不宜把它理解成追求速度排行榜的項目。較可能受益的是正在做 agent 產品的前端團隊、平台工程團隊，以及需要把資料收集、任務委派、跨端 UI 呈現整合起來的企業應用；相關技術脈絡則包括 AI agents、MCP、Flutter、Angular、Lit、React、SwiftUI，以及 A2A extension。

項目主頁 · GitHub

Categories: 開源, Google, Agentic, MCP, OpenClaw, 框架

Page 5 of 20

« Previous 1 … 3 4 5 6 7 … 20 Next »