InferNews

LLaDA-UI 首個開源擴散 GUI Agent 16.7B MoE 力壓 Qwen3-VL

Share to X

Inclusion AI 把 block-wise 擴散語言模型搬進螢幕操作場景，推出約 16.7B 參數的 LLaDA-UI，在六個 GUI 基準上贏 Qwen2.5-VL-7B，部分項目更超越 Qwen3-VL-8B。

LLaDA-UI GUI-agent benchmark comparison and animated qualitative diffusion decoding

一般講 GUI Agent，都預設底層係自回歸 VLM；Inclusion AI 同螞蟻集團 Venus Team、西湖大學合作推出的 LLaDA-UI，偏偏選擇用 block-wise 擴散語言模型做骨幹，直接從遮罩 token 逐塊 denoise 出推理同動作，配合原生動態解像度視覺編碼器，覆蓋手機、桌面、網頁同 grounding 任務。模型全段約 16.7B 參數嘅 MoE 架構，訓練分兩階段，先做大規模多模態預訓練對齊 LLaDA2.0-mini-base，再做 GUI 監督微調。

喺 ScreenSpot-Pro、AndroidWorld、MobileWorld、WebVoyager 等六個基準上，LLaDA-UI 全部贏過 Qwen2.5-VL-7B，其中 ScreenSpot-Pro 52.9、AndroidWorld 53.5、WebVoyager 56.9，喺呢四項仲壓過 Qwen3-VL-8B；官方同時提到 API 速度最高有 8.95 倍 mean speedup。佢仲針對擴散解碼做咗一輪分析，包括動作合法性、軌跡長度、EOS 處理、denoising 步數同 block size 對表現嘅影響。

如果你做開手機或桌面自動化、需要 GUI Agent 處理長步驟任務又想避開自回歸延遲，LLaDA-UI 提供咗一套唔同嘅技術路線選擇；研究擴散語言模型落地嘅人，亦可以直接拎佢嘅 block-parallel 解碼行為做案例。

重點摘要

  • 約 16.7B 參數 MoE 擴散 GUI Agent，由 Inclusion AI、Ant Group Venus Team 與西湖大學共同發表
  • 骨幹為 LLaDA2.0-mini-base 配合 SigLIP 初始化嘅動態解像度 ViT
  • 六個 GUI 基準全部超越 Qwen2.5-VL-7B，ScreenSpot-Pro 等四項高過 Qwen3-VL-8B
  • 訓練涵蓋 100+ 中文與 70+ 英文手機 App，覆蓋 mobile、desktop、web、grounding
  • 附帶針對 block-wise 擴散解碼嘅分析，包括結構化動作有效性、EOS、denoising 步數等

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, UI/UX

Ambient CSS 用物理光照重新定義 box-shadow

Share to X

一個以光線方向驅動嘅 CSS 工具庫，唔再需要逐個元素微調 shadow-sm、shadow-lg，所有陰影同邊緣高光會跟住同一個光源自動生成。

A hardware panel raytraced in Blender, rotating to a flat-on view, then wiped across to reveal the same panel rendered b

Ambient CSS 最大嘅改變係將 UI 表面當作真實物料嚟處理。傳統嘅 CSS 陰影階只係裝飾，卡片用 shadow-lg、掣用 shadow-sm，兩個元素之間並無物理關係。呢個工具庫引入咗 key light 同 fill light 兩盞光源嘅概念，所有陰影、邊緣高光、表面漸層都由同一組 CSS 自訂屬性推算出嚟。當你改變容器嘅光線方向，底下每一個子元素都會即時跟住調整，唔使逐個改。

引擎將每個元素拆成五層 box-shadow 合成：方向性嘅 drop shadow、面對光源嘅 fillet 高光、背光邊嘅 fillet 暗影、斜面嘅 chamfer 高光同暗影，加埋材質表面嘅漸層。表面類型分 flat、concave、convex 三種弧度，邊緣可以揀 chamfer、fillet 或 groove，仲有 matte、shiny、glass 呢幾種材質，最後用 elevation 0–3 控製投影高度。所有參數都係用 Blender raytrace 嘅結果做標定。

對一般開發者嚟講，安裝同整合都幾直接。純 CSS 版可以喺 HTML 直接掛入，框架版本分別支援 Tailwind、PureCSS、React 同 React-Bootstrap。命名空間用 .ambient 做容器、再用 .amb-surface、.amb-chamfer-2 等工具類調整細節，常用距離值跟 12／20／32 mm 嘅間距比例，避免頁面入面出現零碎數值。Demo 頁面將 Blender raytrace 同 live DOM 並排展示，幾容易睇出差距。

重點摘要

  • 將 UI 視為真實光照環境，所有陰影、高光、表面漸層由統一光源參數衍生
  • 每個元素由五層 box-shadow 合成，包含 drop shadow、fillet 同 chamfer 嘅高光與暗影
  • 表面類型（flat／concave／convex）、邊緣類型（chamfer／fillet／groove）、材質（matte／shiny／glass）同 elevation 0–3 可自由組合
  • 參數以 Blender raytrace 結果做物理標定，唔係靠肉眼調較 blur 值
  • 支援 PureCSS、Tailwind、React、React-Bootstrap 幾種整合方式

對需要管理大量卡片、面板、控制台介面嘅團隊嚟講，呢套系統可以避免每個設計師各自調較 shadow 嘅問題。對於追求像素級一致嘅硬件風格介面、儀表板或產品頁，效果會特別明顯；但若然你嘅介面本來就偏好扁平設計、唔需要表面弧度嘅呈現，呢層物理光照帶嚟嘅額外 box-shadow 開銷同學習成本就未必值得。

項目主頁 · GitHub

Categories: 開源, 框架, 工具, 庫, UI/UX

UI-Venus：多平台介面的高性能代理

Share to X

UI-Venus 是一個針對手機、桌面和網頁介面的 GUI agent，重點處理視覺定位與互動導航。它用 35 萬筆專業標註資料和 RFT 提升長流程操作與跨平台泛化。

UI-Venus Performance Across Datasets

UI-Venus 是一個 GUI agent，直接面向手機、桌面和網頁介面，目標是解決看得懂畫面、點得準位置、又能沿著多步驟流程完成任務這幾個卡位。它把 Reinforcement Fine-Tuning（RFT）放進訓練流程，令動作預測不只是識判斷，仲可以連住環境回饋去修正下一步。

項目提供 7B 同 72B 兩個 checkpoint，亦交代咗評估流程同推理腳本，方便按截圖、標註檔同模型路徑去做測試。不過原始資料未提供完整安裝細節同實際部署步驟，較合理的理解係先用它的推理與評估流程驗證在 ScreenSpot-Pro、OS-World-G、AndroidWorld 等基準上的行為。

它的賣點不只是識辨認介面元件，而係把 credit assignment 放到長鏈路任務入面處理，令代理在連續操作時較易對齊目標。官方聲稱它在 AndroidWorld、ScreenSpot-v2、UI-Vision 同相關跨平台基準有競爭力，對需要自動化操作、界面導航同複雜任務拆解嘅團隊會較有吸引力。

  • 針對 GUI 理解同 action prediction，覆蓋 mobile、desktop、web 三類場景
  • 以 350K 高質量、專業標註樣本訓練，並加入 RFT
  • 提供 7B 與 72B checkpoint，以及評估和推理腳本
  • 強調長流程任務的 credit assignment，適合多步驟互動工作
  • 基準表現覆蓋 AndroidWorld、ScreenSpot-Pro、OS-World-G 等項目

對要做介面代理、手機自動化、網頁操作或桌面工作流整合的團隊，UI-Venus 比較像一個可以直接拿去評估能力邊界的基礎模型。它的限制亦清楚：原始資料未交代完整安裝與落地流程，實際接入時仍要按你手上的環境、介面類型同任務難度再做驗證。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, UI/UX

Ox Alpha 百萬 Token 上下文免費試用

Share to X

Z.ai 最新模型 Ox Alpha 提供 1M-token context window，讓大型程式碼庫、圖像與影片可在同一個推理流程中處理。

Og image

面對大型程式碼庫、長篇規格文件或連續多步工作，Ox Alpha reasoning model（推理模型）可把最多 1M-token context window 的內容放在同一個脈絡中處理，減少反覆切分資料或遺失前文。它亦支援文字、圖像和影片輸入，適合除錯、重構及分析截圖或介面流程。

Ox Alpha 會先規劃和自我檢查，再產生答案，並以 visible thinking 展示推理過程。模型同時提供原生 tool calling、tool_choice，以及配合 response_format 的結構化 JSON 輸出，方便用於長時間運行的 agentic 工作流程。

網站列出的獨立測試涵蓋 10 項真實編程任務，Ox Alpha 完成 8 項，得分 80%；同一比較中，Fable 為 65%，GLM-5 為 62%，GPT-5 和 Grok 4 均為 52%。樣本只有 10 項任務，結果較適合作為參考，未足以代表所有編程場景。

• 1M-token context window，最高 131K tokens 輸出
• 支援文字、圖像和影片三種輸入
• 適合大型程式碼庫的 debugging 和 refactoring
• 原生 tool calling 與結構化輸出
• 免費試用、毋須登入，網站表示不會把聊天儲存在伺服器

項目主頁

Categories: Agentic, 模型, 多模態模型, Video, Image, 軟件, Python, 編程, 免費試用, UI/UX

DeepSeek Harness 把多 Agent 協作變成可控工作台

Share to X

[教學影片]DeepSeek Harness 讓 DeepSeek dsh 變成可啟動 Web UI 的開發者工作台，重點放在多個 Agent 並行處理、動態工作流同插件擴展。它適合要在複雜程式碼庫入手審計、協作同加速探索嘅使用場景。

Og image

DeepSeek Harness 把 DeepSeek dsh 做成一個可啟動 Web UI 的開發者工作台，處理的是複雜程式碼庫入面要同時分工、同步同收斂結果的問題。影片實測重點放喺並行只讀審計、動態派生 SubAgent，同埋最後將多路輸出整合返去。

它同一般單一路徑的助理做法不同之處，在於可以按工作內容拆成多個 Agent Teams，再根據任務需要即時調整流程。這種安排適合審查、分析同探索型工作，因為不同子任務可以同時展開，唔使一條線慢慢行。

片中亦提到插件開發門檻較低，代表它不只係拿來跑預設流程，仲可以按團隊習慣加功能。對要處理既有代碼、要快速驗證想法，或者想將 AI 工具接入日常開發流程的人，這種擴展性會更實用。

重點摘要：
– 以 Web UI 包裝 DeepSeek dsh，方便直接操作
– 支援多個 Agent 並行工作，減少單線等待
– 可動態派生 SubAgent，按任務拆分工作
– 插件擴展門檻較低，方便接入自訂流程
– 適合複雜程式碼庫審計、協作同探索任務

項目主頁

Categories: 開源, Agentic, DeepSeek, 教學, 編程, 安全, UI/UX

MiniMax H3 在 ComfyUI 實現換臉換身工作流

Share to X

MiniMax H3 配合 ComfyUI 自訂節點，示範如何建立換臉與換身流程，方便整理影像生成工作流。

Og image

由換臉延伸到換身，影片示範 MiniMax H3 在 ComfyUI 中處理人物影像替換的完整流程，重點放在如何把不同步驟串連起來，減少使用者自行摸索節點配置的時間。

流程以 ComfyUI 為操作環境，並配合 custom nodes 建立 Face Swap 和 Body Swap 工作流。對需要處理人物素材、測試影像生成效果，或想將換臉與換身加入現有影像項目的創作者，這類示範可作為起點。

影片涵蓋的內容包括：
– MiniMax H3 在 ComfyUI 中的工作流安排
– Face Swap 換臉流程
– Body Swap 換身流程
– custom nodes 的配合方式
– 從輸入素材到結果輸出的完整操作示範

使用者仍需按素材類型、節點版本及本地環境調整設定，並留意人物影像替換涉及的肖像權與授權問題。

項目主頁

Categories: 開源, ComfyUI, 教學, 安全, MiniMax, UI/UX

Tencent UI-Mate 桌面操作示範變成可重用工作流

Share to X

開源權重的通用 GUI 智能體：環境驅動訓練 + 上下文演示學習——流程演示一次即可，不必把所有約定寫進提示。

UI Mate icon

很多桌面任務難寫成一段完整提示，問題不在指令太短，而是在檔名規則、視窗擺位、公司流程這些細節往往靠示範更容易講清。UI-Mate 就是朝這個位置切入的開源 GUI agent 項目：它在原生桌面看螢幕畫面，用鍵盤和滑鼠跨應用程式執行長流程工作，並且支援把一次人手操作示範轉成可重用工作流。

UI-Mate 把示範當成建議。當畫面內容、資料、視窗狀態或任務目標有變化，代理仍會按即時畫面重新判斷，避免變成只懂重播錄製腳本的 Computer-use agents（CUAs）。這個取捨很重要，因為它直接回應了 GUI 自動化最常見的失敗位：流程相似，但畫面從來不會完全一樣。

訓練方法亦反映它想處理真實環境，而不只是跑單一 benchmark。項目提到 closed-loop data engine，會串連任務合成、環境建構、rollout、驗證與 filtering，再用 capability tree 補回覆蓋不足的能力；同時支援 Ubuntu、Windows 和 macOS 的統一 rollout layer，並以 asynchronous group-relative optimization 處理長而且變化大的 rollout。整體方向很清晰：先把可執行環境和驗證機制搭好，再談代理怎樣學會跨系統做事。

公開結果亦有參考價值。UI-Mate 在 OSWorld-Verified 達到 77.0%，WindowsAgentArena 為 66.2%，而 OSWorkerBench 嚴格成功率 41.0%、progress 76.9%；加入一次 same-task demonstration 後，OSWorker self-demo strict success 由 17.2% 升到 35.4%。這些數字未必代表它已經能穩定接手所有桌面工作，但至少說明示範式引導不只是概念包裝，對長流程任務有明顯幫助。

  • 屬於開源 GUI agent 項目，重點是處理跨應用、跨作業系統的長流程桌面任務
  • 核心差異在於支援 in-context demonstrations，把一次示範整理成可重用工作流
  • 示範不是腳本重播，代理會按 live screenshot 即場重新規劃
  • 較適合需要固定流程但畫面與資料經常變動的團隊、營運與辦公自動化場景
  • 目前已公開模型與結果，但 OSWorkerBench 等配套仍有部分內容標示為 Coming Soon

部署與理解方式上，現有資料較接近研究原型加可試權重，而不是開箱即用的完整產品。官方已放出 code、weights、technical report 和 Try App，較合理的看法是先把它當成可驗證 demonstration-guided GUI agent 能力的開源基線，再看後續 benchmark、資料集與工具鏈是否補齊。對研究 GUI agent、企業桌面自動化，或者想比較文字指令與示範引導差異的團隊，這個項目很值得跟進。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, 模型, Mac, Linux, Dataset 數據集, UI/UX

DeepSeek Harness 把 Agent 變成插件

Share to X

DeepSeek Harness 想解決的唔係單一 Agent 功能，而係點樣把模型、工具同工作流拆開重組。對想長期調整 Agent 流程的團隊，呢個方向比單次 demo 更有參考價值。

Repository image for deepseek-ai/deepseek-harness

DeepSeek Harness 把 dsh 做成一個面向開發者的 Agent harness，重點不在於再包一層聊天介面，而是把模型、工具、技能、會話、沙箱、存儲、循環、調度同 UI 全部拆成插件，讓團隊用配置去換件、重組，同時保留可追蹤的執行過程。它處理的是 Agent 進入真實工作流後，經常要改工具鏈、換模式、查執行軌跡的維護問題。

你可以直接用 npx @deepseek-ai/dsh web 啟動 Web UI，也可以從原始碼安裝；兩種方式都指向同一件事：DeepSeek 並非只想交付一個可試玩的介面，而是提供一個可延伸的開發底座。現階段它仍屬 developer preview，兼容性破壞會持續出現，較適合願意跟住 API 與插件生態一齊迭代的團隊。

跟不少把能力寫死在框架內的做法相比，DeepSeek Harness 把 Cordis 放在核心位置，內核只負責插件載入、卸載與依賴關係，Agent 能力則交由插件之間透過服務與事件協作。好處是替換模型、工具或 preset 時毋須大改源碼；代價是系統理解成本較高，穩定性亦未到可安心鎖版的階段。

它提供標準模式、PTC 模式、極簡模式同創造模式，反映出同一套底層同時照顧編碼 Agent、基準測試同自訂 preset。當中較值得留意的是 Trajectory 視圖與僅追加式會話日誌，系統會記錄提示詞、工具調用、結果、子 Agent 調度與上下文注入，對除錯、回放、分叉同檢索都幾有用，但官方未提供明確基準分數，現時較難直接用量化結果同其他 Agent 框架比較。

  • 用 Cordis 作核心，將 Agent 各層能力拆成可替換插件
  • 可經 Web UI 快速測試，亦可由原始碼部署到自訂環境
  • Trajectory 與事件流日誌有助追查每一步決策與工具操作
  • developer preview 階段變動頻密，較適合開發者與研究型團隊
  • 重點價值在可組合工作流，而唔係單一模型能力展示

項目主頁 · GitHub

Categories: 開源, Agentic, DeepSeek, API, 工具, Skill 技能, UI/UX

free-claude-code：一個代理層打通 Claude Code 與 Codex

Share to X

想保留原生開發代理體驗，又想自由換模型與供應商，free-claude-code 正正補上這個缺口。它把 Claude Code、Codex 同 Pi 接到同一個可管理入口。

用開 Claude Code 或 Codex 的人，最在意通常唔係再裝多一個聊天介面，而係可否繼續用原生 model picker、串流回應、tool use 同 image input，同時改用自己揀的模型供應商。free-claude-code 就係一個 proxy 工具，把 Claude Code、Codex、Pi 及其 IDE 擴充功能接到自管入口，處理多供應商切換同路由分發。

它的價值在於工作流幾乎唔使重學。你可以照用 fcc-claude、fcc-codex 或 fcc-pi 啟動對應代理，Windows 同 macOS 亦可放在背景執行，再到本地 Admin UI 揀選並驗證供應商。可在 31 個 cloud 與本地 providers 之間切換，亦可把 Fable、Opus、Sonnet、Haiku 同 fallback 流量分別導向不同模型，這點對想控制成本、速度同能力分工的團隊幾實用。

跟直接綁死單一 API 的做法相比，這個項目押注在「保留原生客戶端體驗，再用 proxy 抽換後端」。代價是相容性要靠代理層維持，所以它明確強調只會在兼容模型上保留 streaming、tool use、reasoning 同 image input；換句話說，模型可揀得更自由，但不是每個後端都保證功能完全一致。

  • 支援 Claude Code、Codex、Pi，同時保留各自原生 model picker
  • 透過本地 Admin UI 管理與驗證 31 個 cloud／本地 providers
  • 可把不同流量類型分流到不同模型，方便平衡成本與能力
  • 適合想用本地模型、付費模型或免費模型混搭的開發團隊

安裝與測試方式偏向開發者工具鏈：項目以 Python 3.14、uv、Pytest、Ruff、Ty 組成，部署重點不是雲端託管，而是先在本機跑起 proxy，再讓代理客戶端經它連線。現階段最適合已經在用 Claude Code 或 Codex、又想統一管理模型入口的人；追求零設定即用的讀者，會覺得它比較像一層需要自己維護的基建。

GitHub

Categories: 開源, NVIDIA, API, Image, 工具, IDE, Mac, Python, 編程, Anthropic, UI/UX

Canvas UI 把互動介面搬上 WebGL 畫布

Share to X

想為網站加上流體、玻璃或粒子效果，又不想犧牲可點擊與可選取內容，Canvas UI 正在試一條幾少見的路。

Canvas UI

網站想做得更有動感，最麻煩往往唔係效果本身，而係效果一蓋上去，文字選取、連結點擊同原本互動就容易受影響。canvas-ui 針對的正是這個位置：它屬於開源 UI 元件庫，用 html-in-canvas 同 WebGL 把流體模擬、shader effects 同 3D scenes 疊加到現有介面之上，重點是盡量保留 live DOM 的互動性。

它吸引人的地方，不止是畫面夠華麗，而是部署方式相對直接。元件可在 React、Solid、Preact、Vue、Svelte 同 vanilla TypeScript 使用，官方提供 Docs、Components 同 Playground，亦支援透過 shadcn CLI 拉入完整原始碼，代碼會直接落到你的項目，之後可自行改 props、樣式甚至拆開重寫，唔需要長期綁死某個套件版本。

取捨同樣寫得很清楚。依賴 live HTML redraw 的元件，要用到實驗性 HTML-in-canvas API，現時主要在 Chrome 配合 flag 才能完整啟用；去到其他瀏覽器，內容會退回一般 HTML 顯示，而部分效果仍可作為純 WebGL overlay 繼續運作。換句話說，它比較適合重視前端體驗、願意接受瀏覽器能力分層的品牌網站、作品展示頁，或者想在既有介面上加入視覺層次的互動項目。

  • 提供約 33 個元件，涵蓋 Blaze、Liquid Glass、Particle Reveal、VHS 等效果
  • 同一套元件邏輯對應多個前端框架，方便跨技術棧重用
  • 以 GPU 上的 WebGL 動畫為核心，減少主執行緒長時間負擔
  • 可配合 shadcn MCP server，讓支援 MCP 的 assistant 直接查閱與安裝元件

運行策略：能用 WebGL 的效果盡量放到 GPU，瀏覽器不支援完整能力時再優雅降級。這令 canvas-ui 比一般只做靜態裝飾的元件庫更進取，但也代表它未必適合每一個企業後台或追求一致瀏覽器表現的介面；放在重視體驗展示的 UI/UX 項目，價值會更明顯。

項目主頁 · GitHub

Categories: 開源, MCP, API, 3D, UI/UX
Page 1 of 2
1 2