InferNews

MT-Forcing：多輪改圖守住細節唔再走樣

Share to X Facebook

連續改同一張圖時，主體、紋理與構圖往往會慢慢偏離；MT Forcing 以多輪訓練與教師引導改善這類累積錯誤。

MT Forcing teaser

連續要求「改杯色、加條紋、再調光線」時，圖片往往未到最後一輪已經失真。MT Forcing 是針對多輪圖像編輯的訓練框架，配合自迴歸擴散模型，減少每輪修改帶來的漂移。

方法把單輪 DMD（Distribution Matching Distillation）與 Teacher-Forcing Guidance 結合：學生模型逐步編輯自己生成的歷史，凍結的單輪教師則從原圖一次套用累積指示，提供分布層面的引導。參考真實編輯軌跡後，模型既要改善畫質，也要維持跨輪次內容關係。

  • 以自身多輪輸出作為訓練歷史
  • 引入單輪 DMD 改善視覺品質
  • 用 Teacher-Forcing Guidance 減少誤差累積
  • 展示最長十五輪及八輪編輯比較

官方程式碼要求 Python 3.11.13、NVIDIA CUDA GPU，以及指定 checkpoint、架構資源和擴充 U1.5 tokenizer；配置完成後，可在同一工作階段依序執行多個編輯提示。公開資料未交代完整硬件門檻、推理速度或標準化定量結果，因此較適合作為需要 NVIDIA GPU 的研究重現工具，而非直接比較成本已知的消費級服務。

它以 SenseNova-U1.5 作為相關基礎模型，並在多輪比較中加入 MT Forcing。對需要逐步修訂產品 concept、人物姿勢或場景細節的設計團隊，單輪教師可作品質參照。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 清華大學, 模型, 模型訓練, NVIDIA, Image, 影像模型, 框架, 工具, Python, Tokenize

Xiaomi-Lens-0 讓 4B 視覺模型標註出答案

Share to X Facebook

這個 4B 多模態模型把文字回答與像素級定位放在同一套推理中，適合需要理解物件、指出位置及分割影像的場景。

Xiaomi-Lens-0 recorded outputs across six task domains

要讓模型回答「紅色杯子在哪裡」之餘，同時準確框出甚至分割杯子，傳統多模態模型往往要串接多個模型。Xiaomi-Lens-0 試圖把這兩步合而為一：它以 Qwen3.5-4B 為基礎，在生成文字的過程中解讀 <|mask|> token，再由輕量解碼器輸出對應區域，令文字答案與視覺定位可以同步產生。

這個 4B 多模態模型主要處理 Referring Expression Comprehension、Referring Expression Segmentation、多實例定位、Reasoning Segmentation、具身指令指代及細緻感知等六類任務。它既能以邊界框指出物件，亦能輸出像素遮罩，適合影像標註、搜尋、選取區域及具身操作前的人工檢查。

  • 以 4B 規模結合文字回答、邊界框與像素級遮罩
  • 支援六類定位及視覺推理場景
  • 可在 Hugging Face Spaces 試用，亦公開模型權重與 LensBench
  • 提供每個遮罩獨立輸出及熱力圖等推理設定

模型在八個 RefCOCO 系列分割上的平均 referring comprehension 提升 5.6 分，並在八個細粒度感知測試中取得較高分數；項目頁另列出 RefCOCO 驗證集 Prec@0.5 為 94.6。LensBench 包含 4,800 個 instruction-level 樣本，涵蓋 1,200 個配對單位及四個領域。

代價是輸出遮罩需要額外視覺解碼，而模型規模仍屬輕量，複雜推理和高解析影像表現應按測試結果判斷。研究團隊已提供線上示範、模型權重及程式碼，適合想試驗視覺 grounding 的模型開發者、影像工具團隊和具身智能研究人員。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, Qwen, Image, 影像處理, 工具, 小米-Xiaomi

OfficeTown 模擬真實職場流程

Share to X Facebook

Office Intelligence 團隊把辦公室變成可執行的訓練場，讓 AI 代理用 Excel 等真實工具完成對帳、覆核等文書任務，再從中累積學習素材。

A cutaway office with research and analysis desks, a review meeting, and a shared-material cabinet. Four annotations explain roles, artifacts, review, and retained context.

文書工作不像回答一條 prompt 咁單純——開工前要先知道自己係邊個角色、手上有咩檔案、工具開咗未，做完仲要有人覆核。Office Intelligence 就係圍繞呢種「連續作業」嘅場景，幫知識工作代理（knowledge-work agents）搭建貼近真實嘅練習環境。

團隊將呢套框架劃分為四個部分：OfficeTown 提供可執行嘅工作環境，包括角色、權限與開機狀態；DocAtlas 處理文件層面嘅證據與脈絡；XL-DocBench 負責評估交付成果嘅品質；harness 則串接工具介面與審批流程。任務設計以「請求→證據→交付→覆核→下一個任務」嘅循環為核心，每次執行嘅過程都會留底，成為下一輪學習嘅素材。

以一個金融對帳任務為例，代理需要用 Excel 整理三條例外紀錄，喺交付嘅工作底稿中交代差異同處理建議，並標出尚缺嘅證據。呢類任務唔係計較答得幾快，而係睇交付物能否交到下一個人手上覆核。

呢個框架比較適合關注代理長流程作業、文件自動化同企業流程自動化嘅開發者同研究團隊。辦公室場景比純 prompt 模擬更貼近部署環境，對建立可審核、可追溯嘅 AI 工作助手有直接參考價值。OfficeTown 嘅公開版本仍在籌備中，有興趣嘅讀者可留意官方網站嘅後續更新。

項目主頁

Categories: Agentic, 模型訓練, 框架, 工具, 動畫

DuET 鋼琴演奏轉譜新模型：音符與幀並行編碼

Share to X Facebook

DuET 把鋼琴演奏 MIDI 轉成結構化樂譜，靠音符與幀雙編碼加上節拍監督，音訊輸入可經 Transkun v2 串接。

DuET architecture

鋼琴演奏轉譜（Performance-to-Score Transcription）一直有個難題：演奏帶有彈性速度、踏板與力度，傳統音訊轉譜方案往往把節奏「拉直」，忽略了 rubato 與呼吸。DuET 採用 Note–Frame 雙編碼結構，音符分支處理離散音高與時值，幀分支處理節奏細節，雙方透過雙向交叉注意力交換資訊，譯碼器輪流從兩個表示預測譜面屬性，目標是兼顧音高準確度與演奏的時序彈性。

節拍與強拍（beat 與 downbeat）做聯合監督，模型在學習譜面結構的同時也理解小節脈絡，這對 rubato 段落特別有幫助。位置編碼方面用上 TimeRoPE（相對演奏時間）與 TPRoPE（音程關係），讓模型對時間偏移與音高距離有更好的歸納能力。輸出涵蓋 MusicXML、聆聽用 MIDI 與結構化音符預測，方便樂譜軟體直接開檔。

輸入端支援 MIDI 直入；若要吃音訊，需要加裝音訊前端，流程是 Transkun v2 先把鋼琴錄音轉成 MIDI，再交給 DuET 處理。預訓練權重放在 Hugging Face（Wayne42/DuET），模型約 0.1B 參數，授權為 CC BY-NC 4.0，學術與非商業用途可直接取用。

對音樂技術研究者、數位音樂學（Digital Musicology）團隊、開發自動評分或伴奏系統的人來說，這類保留演奏細節的轉譜工具比純音訊轉譜更貼近真實場景；鋼琴老師想把學生錄音整理成樂譜、作曲人要做編曲分析，也都能直接受惠。Demo 已上架 Hugging Face Spaces，可先試效果再決定是否部署。

重點摘要：

  • 雙編碼設計：Note encoder 與 Frame encoder 經雙向交叉注意力融合，兼顧音準與節奏彈性
  • 節拍聯合監督：beat 與 downbeat 同時學習，有助處理 rubato
  • TimeRoPE + TPRoPE：相對時間與音程關係的位置編碼
  • 輸出齊全：MusicXML、聆聽 MIDI 與結構化音符預測，主流樂譜軟體可開
  • 權重與 Demo：Hugging Face 提供 Wayne42/DuET 權重與 Spaces Demo，CC BY-NC 4.0 授權

GitHub · 模型

Categories: 開源, 模型, 模型訓練, Audio, 工具, 音樂

yomado：給 Agent一個虛擬螢幕

Share to X Facebook

yomado 讓 Agent 在虛擬螢幕操作 Blender、Marvelous Designer 等桌面程式，毋須為每款應用另接 MCP。實體屏幕可以保留給自己的工作。

yomado night-window icon

需要代理透過截圖、滑鼠和鍵盤操作 Blender 或 Marvelous Designer 時，桌面程式仍要有圖形桌面和顯示畫面。yomado 是一款 Mac 虛擬顯示器工具，讓代理使用獨立工作屏幕，毋須為每款應用另接 MCP；代理負責觀察和操作，yomado 則提供顯示空間。

它會按桌面排列顯示實體與虛擬屏幕，並在屏幕示意圖中標出應用程式。你可以拖曳圖示移動視窗，也可以手動移動；功能表按顯示器分組，並支援個別關閉視窗。隨附的 yomado skill 可引導 Codex 建立工作屏幕、移入指定視窗、確認畫面可見，並在任務完成後移回視窗。

  • 可為不同代理建立各自的虛擬屏幕，將工作視窗分開管理。
  • 可從 Finder 將正在執行的 .app 拖入，移動該應用的一般視窗。
  • 虛擬屏幕存在期間，程式會要求系統和圖形桌面保持喚醒。
  • 目前版本為實驗版，使用 macOS 14 或以上的 Apple Silicon Mac，並使用 macOS 私有 API。

這做法補足顯示空間，而非代理本身的視覺理解或操作能力；截圖、判斷和輸入仍由 Codex 或其他代理工具處理。對需要代理操作可視化介面、又想讓自己的實體屏幕保持原有工作的 Mac 使用者，分屏管理有實用價值。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, Google, API, Video, 工具, Mac, 蘋果, Skill 技能

Hy Memory 共享不同 Agent 的記憶

Share to X Facebook

Hy Memory 的模型、框架、應用三層全開源。將聊天脈絡、工作進度與代碼修改原因分開管理，再讓不同 AI 工具共享同一份記憶。

Tencent Hunyuan

當 AI 需要記住的不只是單句事實，還包括事情是如何發展、任務做到哪一步，以及代碼為何這樣修改，Hy Memory 便提供了一套較完整的處理方式。它屬於面向 LLM agents 的認知記憶引擎與 Python SDK，將 Chat、Working、Coding 三類場景分開處理，減少長對話和長期任務中召回錯誤脈絡的問題。

Chat 以分層長期記憶整理事件及後續發展；Working 同時保存任務事實與可重用經驗，重用前會檢查適用條件；Coding 則以版本演化鏈追蹤每次改動，將相關指令、真實 diff 和指定函式區塊連結起來。這比單純把內容切段後交給向量搜尋更適合需要延續工作的 Agent，但也依賴清晰的 user id、workspace id 和代碼變更來源。

• 自動按工具呼叫及搜尋模式分流到三類記憶
• 支援記憶的新增、更新、刪除、列出及 System 2 演化
• Coding 可讀取本地 Git diff，亦可處理 path、old、new 替換記錄
• MemHub 將 Claude Code、Cursor、Codex、OpenCode 和 Qwen Code 等工具的資料集中管理

評測涵蓋四套 benchmark：LoCoMo 聊天記憶準確率為 72.6%，MemoryArena 工作記憶平均分為 55.31%，CodeMemoryBench 的問答及解決率為 64.2% 和 35.6%，SWE-ContextBench 解決率為 28.3%。官方亦指記憶儲存佔用維持在較低水平，但不同任務和資料來源仍會影響結果。

透過 hy-memory SDK 接入，按場景寫入及搜尋；不指定場景時，無工具呼叫的寫入會直接進入 Chat，帶工具呼叫的內容才會分類。Hy-Memory-30B-A3B 是負責記憶讀寫的專用模型，約有 3B 激活參數，並可與引擎分開使用；MemHub 則提供 local-first 桌面及 CLI 產品，適合需要跨 AI 工具延續對話或編程工作的個人與團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, 模型, API, 工具, IDE, Python, 編程, Dataset 數據集

DeepSeek 為 Agent 和 RAG 補上即時資料來源

Share to X Facebook

DeepSeek Search 與 Fetch API 將網頁搜尋與單頁抓取整合成兩個 API，為 Agent 和 RAG 應用補上即時資料來源。

Og image

當 Agent 或 RAG 應用需要查找最新網頁資料，單靠模型內置知識往往不夠。DeepSeek API 現已提供 Search 與 Fetch 兩個原始 JSON API，讓應用程式可以搜尋網頁，再按需要讀取指定頁面的內容。

Search API 由 DeepSeek 自研搜索引擎支援，會按 query 返回結構化結果，包括標題、網址及摘要；將 need_content 設為 true，則可一併取得網頁正文。Fetch API 則針對單一網址抓取內容，並以 Markdown 文本返回，方便後續交給模型處理。

搜尋條件可透過 site:、lang:、after:、before: 及精確短語等語法收窄範圍，也能排除指定網站或關鍵詞。count 可設定返回 1 至 50 筆結果，ori_question 則可補充使用者原始問題，協助系統理解搜尋意圖。

• 適合建立需要即時資料的 Agent 與 RAG 工作流
• Search 用於找資料，Fetch 用於讀取指定頁面
• 支援中文及多語言搜尋條件
• 兩個 API 均使用 Bearer API Key 鑑權
• 搜尋沒有匹配結果時會返回空陣列

兩個接口共用 https://api.deepseek.com Base URL，分別對應 /v1/tools/search 與 /v1/tools/fetch。開發者需要自行處理 API 呼叫、結果篩選及網頁內容交給模型前的整理，文件目前提供 cURL 和 Python requests 範例，適合直接接入現有資料問答流程。

項目主頁

Categories: Agentic, RAG, DeepSeek, API, 軟件, Python

fde-gym：評測由寫程式推進到交付整個系統

Share to X Facebook

FDE Gym 把 AI 評測放入真實交付場景，檢驗代理能否在資訊不完整下令系統真正運作。

FDE Gym, the online judge for the LLM era: you need practice solving real problems

面對客戶只交來一段需求、現成系統、文件和幾位可詢問的人，AI 代理要處理的不只是寫程式。FDE Gym 屬於面向 coding agent 的端到端線上評測工具，將每個案例還原成 Forward Deployed Engineer（FDE）交付工作，最後按系統上線後面對的保留流量評分。

它刻意把需求澄清、未寫明的流程規則、人手介入時機和事故責任放入同一個工作流程。代理可以閱讀客戶交接資料、操作終端機、向相關人員提問，再交付可運行系統；評分不只看程式碼是否通過範例，而是看沒有預先展示的情境能否處理妥當。

• 20 個案例涵蓋端到端客戶交付情境
• 評測對象是 coding agent 及其交付的運行中系統
• 以 held-out traffic 檢驗未公開情境，而非只測固定輸入輸出
• 代理需要判斷哪些工作可自動化，哪些必須交由人員處理

相較經典 online judge 只提供完整題目、輸入輸出格式和樣例，FDE Gym 將模糊需求與現場決策納入評測，因此更接近企業採用 AI 代理時遇到的風險。不過，結果會同時受代理的提問策略、工具能力和交付系統質素影響，未必能單獨反映某個模型的程式編寫能力。

項目以 TypeScript 建成，提供網站工作台、案例管理及執行案例的機器；自建版本可配合 managed database 和 cloud object store，亦可新增案例及運行節點。案例資料另有 Hugging Face 資源，文件亦交代隔離範圍，適合研究團隊比較 coding agent、建立內部測試集，或讓負責 AI 產品交付的工程師測試代理能否處理上線後的未知情況。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 微軟, Vibe Coding, 工具, 編程, Dataset 數據集

OpenGCUA 讓電腦代理跨越 GUI 限制

Share to X Facebook

OpenGCUA 把視覺操作、AX Tree、API 與指令整合，讓代理按任務選擇完成工作的方式。

OpenGCUA. Open the full stack of generalist computer use. GPT-6 made computer use the frontier. We make it open. Tested

當電腦代理不再只靠滑鼠點擊，處理複雜工作便可以同時讀取畫面、Accessibility Tree、應用程式 API 和命令列。OpenGCUA 是一個開源 Computer-use agents（CUAs）項目，建構 generalist computer-use agent（GCUA）完整堆疊，解決 GUI-only 代理在效率和操作彈性上的限制。

模型會按任務決定要觀察甚麼、採取哪種行動，以及如何整理上下文；除了 GUI 操作，也能呼叫 app API、執行 shell commands，並透過 code execution 把多個步驟組成帶有迴圈和條件的程式。OSWorld 整合範例提供 screenshot-action 和 code-action 路徑，macOS 14+ harness 則以選單列應用程式在本機裝置執行代理，仍屬 preliminary。

OpenGCUA 亦提供 Cross-Device SDK，嘗試用同一套 programming interface 連接電腦、瀏覽器和手機。這比固定規則的工作流更靈活，但也代表命令、API 和 GUI 權限需要更嚴格的隔離；項目目前仍在逐步開放模型、harness、SDK、trajectories、效率優化和評估工具。

OSWorld-v2 的 82 個 offline tasks 中，八個 frontier models 的平均 partial score 由 GUI-only execution 的 45.3 提升至 64.9，增加 19.6 分；每項任務平均步數減少 53%，六個模型的 output tokens 亦減少 27.2%。較弱模型獲益較大，例如 GLM-5.3-Flash 增加 35.2 分，DeepSeek-V4.1-Flash 增加 29.8 分。

  • 同時支援 GUI、AX Tree、CLI、API 和 code execution
  • 附有八個模型的 evaluation trajectories，包括 GPT-6 Astra、Claude Opus 5 和 Gemini 3.8 Flash
  • 可用 OSWorld 整合範例研究 screenshot-action 與 code-action
  • macOS harness 和 Cross-Device SDK 方便研究本機及跨裝置工作流

研究 Computer-use agents、需要分析代理行為，或希望把電腦、瀏覽器和手機操作納入同一工作流的團隊，會較容易從中受益。項目適合用作研究和實驗基礎，未宜直接視為成熟的日常自動化產品；本機執行、權限控制、模型相容性及仍在開發的模組，都會影響部署難度。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, Qwen, DeepSeek, Gemini, API, 工具, Mac, 編程, Anthropic, Dataset 數據集

InfoVis 簡報生成與編輯能力整合到 9B 模型

Share to X Facebook

InfoVis 讓同一個模型處理簡報生成、素材參考、模板控制與局部編輯，開源評測已接近 Nano-Banana-2。

overview

製作簡報圖像時，你可以用文字生成整頁投影片，也可以提供風格參考、內容素材或原有投影片作修改。InfoVis 屬於開源影像模型項目，集中處理文字轉投影片、模板條件生成、多圖像內容生成，以及按指令編輯投影片四類工作，減少不同模型之間切換所帶來的流程斷裂。

模型以 FLUX.2-klein-base-9B 為基礎，經過 slide-native continual pretraining、四任務混合 continual pretraining，再進行 task-specific SFT，最後把不同分支合併成單一模型。這種做法換來較完整的任務覆蓋，但同一模型要同時兼顧文字準確度、版面美感、內容對齊和精準編輯，效果仍會受提示內容及輸入素材質素影響。

VisSlideBench 收錄 1,527 個人工篩選案例，分別檢查內容忠實度、指令遵循、美感、語義一致性和簡報質素等指標。InfoVis 整體得分 7.94，略低於專有的 Nano-Banana-2（7.99），但在所有 11 項指標均領先受評開源模型；相較原始 FLUX.2-klein-base-9B，專門訓練帶來 1.6 分整體提升，美感仍是它與專有模型之間較明顯的差距。

項目提供 Hugging Face Space 的線上示範，再按需要下載模型權重、程式碼、InfoVis-Data 和 VisSlideBench 作本地研究或評估。這個項目較適合需要大量製作簡報草稿、產品提案、教學投影片的設計及內容團隊；本地執行 9B 模型則要自行準備相容的圖像生成環境，儲存庫資料未列出統一的硬件要求。

  • 四合一工作流：文字生成、模板控制、多圖像接地生成及指令式編輯由同一模型處理。
  • 專用訓練資料：提供超過 13M continual-pretraining records 及 1.9M SFT records。
  • 可驗證評測：VisSlideBench 同時公開資料集及評估程式碼。
  • 主要取捨：開源模型中表現突出，但整體仍稍低於 Nano-Banana-2，美感差距較大。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Google, NVIDIA, Stable Diffusion, Video, Image, 影像模型, 教學, 庫, 中國, 蘋果, Dataset 數據集
Page 7 of 35
1 … 5 6 7 8 9 … 35