InferNews

RAP-25K 用 AI 把論文自動排版成為海報

Share to X Facebook

清華、港大、美團等團隊把 25,435 對 NeurIPS、ICLR、ICML 論文與海報反解為可填空嘅 HTML 模板，等 AI 唔再從零設計版面，而係取用人類做過嘅版型再改內容。

做會議海報本質係一次迷你視覺代碼：一篇論文要做成 Poster，要同時處理摘要、視覺排版同程式實現。RAP 將呢件事變成可量度嘅任務，開放俾模型訓練同評測。

佢屬於一個資料集加框架嘅組合：核心係 PosterReverse-25K，由 NeurIPS、ICLR、ICML（2022–2026）合共 25,435 套論文同海報組成，每份海報會被自動 pipeline 反解成帶類型、可填空嘅 HTML/CSS，連摘要同三層分類（領域／任務／方法）都一齊整理好。配套仲有一份 RAP-150 測試集，每個領域留 10 篇俾公平比較。

同類做法多數只標註版面框或者小量樣本，要靠 VLM 或人手評分。RAP 嘅差別係每個樣本都可以渲染同原海報直接對比，做到客觀驗證，唔再靠主觀評審。佢提供兩條路線：PosterRAG 係免訓練嘅多智能體流程，會先檢索真實模板再填入新內容；另一條就用同一批 triplet 對 Qwen3.8-27B 做全參數 SFT 加 GRPO 訓練。

對研究人員同會議籌備團隊最直接：寫完一篇論文想快速整海報，可以利用檢索模板避開從零排版；做視覺代碼、版面生成或 VLM 訓練嘅團隊，都能直接用呢批已驗證 triplet 做監督。項目提供 Hugging Face Space demo 同模型權重。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, 框架, Dataset 數據集

MOSS-Image 支援 JSON 排版的 5B 文字生圖模型

Share to X Facebook

MOSS-Image 推出的 5B 參數文字生圖模型，能夠直接在 prompt 內用 JSON 描述物件位置、標籤與邊界框，毋須額外 ControlNet 也能控制版面。

MOSS-Image

用文字生圖最常遇到的卡位，是 prompt 寫得再精準，模型依然把主體放錯位置或把文字渲染得歪七扭八。OpenMOSS 開源的 MOSS-Image 把這個矛盾寫進模型架構本身：除了自然語言 prompt，它同時接受結構化 JSON 輸入，裏面可以逐個列出物件的標籤、描述與 yxyx 格式邊界框，由模型原生處理版面配置，毋須借助外掛 ControlNet 或額外 inpainting 步驟。

對於做海報、漫畫分鏡或產品 mockup 的人來說，這種介面比「再抽幾次卡」來得直接。生成結果可以直接根據 JSON 編輯調整單一物件的位置或文字內容，方便反覆迭代。模型骨幹約 5B 參數，支援長達 4K token 的 prompt，文字渲染能力亦比同類開源模型紮實，並同時覆蓋動漫與寫實風格。

New top local AI image generator is here!

現階段提供 Base 與 SFT（curated-data 微調）兩個版本，權重以 Apache-2.0 釋出，部署上已有 SGLang、vLLM-Omni 與 ComfyUI 的 day-0 支援，配合 Python 及 Gradio 共用的 Diffusers pipeline，本地或雲端皆可即時跑起 demo。

重點摘要：

  • 原生版面控制：JSON prompt 直接描述物件、位置與邊界框，毋須外掛 ControlNet。
  • 5B 緊湊骨幹：兼顧生成效率與微調彈性，prompt 可長達 4K token。
  • 雙版本開源：Base 與 SFT 權重皆公開，Apache-2.0 授權。
  • 多元框架支援：SGLang、vLLM-Omni、ComfyUI 同日適配，並提供 Hugging Face Spaces 線上 demo。
  • 風格覆蓋廣：動漫與寫實風格並重，文字渲染品質為主打賣點之一。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, NVIDIA, Image, 框架, Python, 蘋果

KTP(Knowledge-Transfer-Probing) 統一多模態模型做知識轉移考核

Share to X Facebook

清華與 Z.AI 團隊提出 KTP 評測協議，專門測試統一多模態模型從圖像生成學到的新知識能否透過純文字問答取出，逐步補上視覺與語言之間的知識流動缺口。

knowledge transfer probing

統一多模態模型（Unified Multimodal Models, UMMs）一邊做圖像生成、一邊做語言理解，但訓練時從圖像吸收的知識，一直難以量化究竟有多少真的能在純文字 QA 場景派上用場。Knowledge Transfer Probing（KTP）這個項目正正填補這個缺口：它設計了一套受控的評測協議，先以圖像生成訓練把新知識餵進模型，再以純文字問答檢驗模型能否取出。

團隊跨越七個知識類別（色彩、數量、形狀、相對空間、相對大小等），在三個 UMM 上觀察到一個關鍵現象：直接從視覺監督遷移到語言的知識，效果並不均勻，部分類別知識存取明顯偏弱。有趣的是，在部分實體上做 Textual Alignment 或 Interleaved Image-Text Alignment 對齊訓練後，模型在未對齊的其餘實體上同樣能改善知識存取，其中交錯式對齊的平均準確率比純文字對齊更高。

項目屬於研究型資料集與評測框架，隨倉庫釋出 KTP-Data（分為 train/ 與 eval/），訓練檔涵蓋文字生成圖像、文字對齊及交錯圖文對齊三類樣本，評估檔則提供文字可達性（QA 題目與參考答案）與視覺可達性（生成提示與屬性）。評分腳本只用 Python 標準庫，跑分結果會輸出 results.jsonl 與 summary.json，方便研究者直接替換自家模型回應做比較。

對正在訓練或微調 UMM 嘅團隊而言，KTP 提供一個可重現的基準去量度「圖像生成帶來多少純文字世界可用的知識」，同時指出交錯對齊是一條有實證支持的改進路徑。多模態模型研究者、訓練數據設計者，以及關心視覺-語言聯合表徵架構的人都會從中受益。

這個項目的限制同樣需要留意：KTP 目前只覆蓋七類視覺屬性，且只測試三個 UMM，並未涵蓋複雜語境或多輪推理，結論的普遍性仍有待擴充樣本驗證。

項目主頁 · GitHub

Categories: 開源, 清華大學, 模型, 多模態模型, 模型訓練, Image, 框架, Python, 庫, Dataset 數據集

DuET 鋼琴演奏轉譜新模型：音符與幀並行編碼

Share to X Facebook

DuET 把鋼琴演奏 MIDI 轉成結構化樂譜，靠音符與幀雙編碼加上節拍監督，音訊輸入可經 Transkun v2 串接。

DuET architecture

鋼琴演奏轉譜（Performance-to-Score Transcription）一直有個難題：演奏帶有彈性速度、踏板與力度，傳統音訊轉譜方案往往把節奏「拉直」，忽略了 rubato 與呼吸。DuET 採用 Note–Frame 雙編碼結構，音符分支處理離散音高與時值，幀分支處理節奏細節，雙方透過雙向交叉注意力交換資訊，譯碼器輪流從兩個表示預測譜面屬性，目標是兼顧音高準確度與演奏的時序彈性。

節拍與強拍（beat 與 downbeat）做聯合監督，模型在學習譜面結構的同時也理解小節脈絡，這對 rubato 段落特別有幫助。位置編碼方面用上 TimeRoPE（相對演奏時間）與 TPRoPE（音程關係），讓模型對時間偏移與音高距離有更好的歸納能力。輸出涵蓋 MusicXML、聆聽用 MIDI 與結構化音符預測，方便樂譜軟體直接開檔。

輸入端支援 MIDI 直入；若要吃音訊，需要加裝音訊前端，流程是 Transkun v2 先把鋼琴錄音轉成 MIDI，再交給 DuET 處理。預訓練權重放在 Hugging Face（Wayne42/DuET），模型約 0.1B 參數，授權為 CC BY-NC 4.0，學術與非商業用途可直接取用。

對音樂技術研究者、數位音樂學（Digital Musicology）團隊、開發自動評分或伴奏系統的人來說，這類保留演奏細節的轉譜工具比純音訊轉譜更貼近真實場景；鋼琴老師想把學生錄音整理成樂譜、作曲人要做編曲分析，也都能直接受惠。Demo 已上架 Hugging Face Spaces，可先試效果再決定是否部署。

重點摘要：

  • 雙編碼設計：Note encoder 與 Frame encoder 經雙向交叉注意力融合，兼顧音準與節奏彈性
  • 節拍聯合監督：beat 與 downbeat 同時學習，有助處理 rubato
  • TimeRoPE + TPRoPE：相對時間與音程關係的位置編碼
  • 輸出齊全：MusicXML、聆聽 MIDI 與結構化音符預測，主流樂譜軟體可開
  • 權重與 Demo：Hugging Face 提供 Wayne42/DuET 權重與 Spaces Demo，CC BY-NC 4.0 授權

GitHub · 模型

Categories: 開源, 模型, 模型訓練, Audio, 工具, 音樂

Hy Memory 共享不同 Agent 的記憶

Share to X Facebook

Hy Memory 的模型、框架、應用三層全開源。將聊天脈絡、工作進度與代碼修改原因分開管理，再讓不同 AI 工具共享同一份記憶。

Tencent Hunyuan

當 AI 需要記住的不只是單句事實，還包括事情是如何發展、任務做到哪一步，以及代碼為何這樣修改，Hy Memory 便提供了一套較完整的處理方式。它屬於面向 LLM agents 的認知記憶引擎與 Python SDK，將 Chat、Working、Coding 三類場景分開處理，減少長對話和長期任務中召回錯誤脈絡的問題。

Chat 以分層長期記憶整理事件及後續發展；Working 同時保存任務事實與可重用經驗，重用前會檢查適用條件；Coding 則以版本演化鏈追蹤每次改動，將相關指令、真實 diff 和指定函式區塊連結起來。這比單純把內容切段後交給向量搜尋更適合需要延續工作的 Agent，但也依賴清晰的 user id、workspace id 和代碼變更來源。

• 自動按工具呼叫及搜尋模式分流到三類記憶
• 支援記憶的新增、更新、刪除、列出及 System 2 演化
• Coding 可讀取本地 Git diff，亦可處理 path、old、new 替換記錄
• MemHub 將 Claude Code、Cursor、Codex、OpenCode 和 Qwen Code 等工具的資料集中管理

評測涵蓋四套 benchmark：LoCoMo 聊天記憶準確率為 72.6%，MemoryArena 工作記憶平均分為 55.31%，CodeMemoryBench 的問答及解決率為 64.2% 和 35.6%，SWE-ContextBench 解決率為 28.3%。官方亦指記憶儲存佔用維持在較低水平，但不同任務和資料來源仍會影響結果。

透過 hy-memory SDK 接入，按場景寫入及搜尋；不指定場景時，無工具呼叫的寫入會直接進入 Chat，帶工具呼叫的內容才會分類。Hy-Memory-30B-A3B 是負責記憶讀寫的專用模型，約有 3B 激活參數，並可與引擎分開使用；MemHub 則提供 local-first 桌面及 CLI 產品，適合需要跨 AI 工具延續對話或編程工作的個人與團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, 模型, API, 工具, IDE, Python, 編程, Dataset 數據集

fde-gym：評測由寫程式推進到交付整個系統

Share to X Facebook

FDE Gym 把 AI 評測放入真實交付場景，檢驗代理能否在資訊不完整下令系統真正運作。

FDE Gym, the online judge for the LLM era: you need practice solving real problems

面對客戶只交來一段需求、現成系統、文件和幾位可詢問的人，AI 代理要處理的不只是寫程式。FDE Gym 屬於面向 coding agent 的端到端線上評測工具，將每個案例還原成 Forward Deployed Engineer（FDE）交付工作，最後按系統上線後面對的保留流量評分。

它刻意把需求澄清、未寫明的流程規則、人手介入時機和事故責任放入同一個工作流程。代理可以閱讀客戶交接資料、操作終端機、向相關人員提問，再交付可運行系統；評分不只看程式碼是否通過範例，而是看沒有預先展示的情境能否處理妥當。

• 20 個案例涵蓋端到端客戶交付情境
• 評測對象是 coding agent 及其交付的運行中系統
• 以 held-out traffic 檢驗未公開情境，而非只測固定輸入輸出
• 代理需要判斷哪些工作可自動化，哪些必須交由人員處理

相較經典 online judge 只提供完整題目、輸入輸出格式和樣例，FDE Gym 將模糊需求與現場決策納入評測，因此更接近企業採用 AI 代理時遇到的風險。不過，結果會同時受代理的提問策略、工具能力和交付系統質素影響，未必能單獨反映某個模型的程式編寫能力。

項目以 TypeScript 建成，提供網站工作台、案例管理及執行案例的機器；自建版本可配合 managed database 和 cloud object store，亦可新增案例及運行節點。案例資料另有 Hugging Face 資源，文件亦交代隔離範圍，適合研究團隊比較 coding agent、建立內部測試集，或讓負責 AI 產品交付的工程師測試代理能否處理上線後的未知情況。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 微軟, Vibe Coding, 工具, 編程, Dataset 數據集

OpenGCUA 讓電腦代理跨越 GUI 限制

Share to X Facebook

OpenGCUA 把視覺操作、AX Tree、API 與指令整合，讓代理按任務選擇完成工作的方式。

OpenGCUA. Open the full stack of generalist computer use. GPT-6 made computer use the frontier. We make it open. Tested

當電腦代理不再只靠滑鼠點擊，處理複雜工作便可以同時讀取畫面、Accessibility Tree、應用程式 API 和命令列。OpenGCUA 是一個開源 Computer-use agents（CUAs）項目，建構 generalist computer-use agent（GCUA）完整堆疊，解決 GUI-only 代理在效率和操作彈性上的限制。

模型會按任務決定要觀察甚麼、採取哪種行動，以及如何整理上下文；除了 GUI 操作，也能呼叫 app API、執行 shell commands，並透過 code execution 把多個步驟組成帶有迴圈和條件的程式。OSWorld 整合範例提供 screenshot-action 和 code-action 路徑，macOS 14+ harness 則以選單列應用程式在本機裝置執行代理，仍屬 preliminary。

OpenGCUA 亦提供 Cross-Device SDK，嘗試用同一套 programming interface 連接電腦、瀏覽器和手機。這比固定規則的工作流更靈活，但也代表命令、API 和 GUI 權限需要更嚴格的隔離；項目目前仍在逐步開放模型、harness、SDK、trajectories、效率優化和評估工具。

OSWorld-v2 的 82 個 offline tasks 中，八個 frontier models 的平均 partial score 由 GUI-only execution 的 45.3 提升至 64.9，增加 19.6 分；每項任務平均步數減少 53%，六個模型的 output tokens 亦減少 27.2%。較弱模型獲益較大，例如 GLM-5.3-Flash 增加 35.2 分，DeepSeek-V4.1-Flash 增加 29.8 分。

  • 同時支援 GUI、AX Tree、CLI、API 和 code execution
  • 附有八個模型的 evaluation trajectories，包括 GPT-6 Astra、Claude Opus 5 和 Gemini 3.8 Flash
  • 可用 OSWorld 整合範例研究 screenshot-action 與 code-action
  • macOS harness 和 Cross-Device SDK 方便研究本機及跨裝置工作流

研究 Computer-use agents、需要分析代理行為，或希望把電腦、瀏覽器和手機操作納入同一工作流的團隊，會較容易從中受益。項目適合用作研究和實驗基礎，未宜直接視為成熟的日常自動化產品；本機執行、權限控制、模型相容性及仍在開發的模組，都會影響部署難度。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, Qwen, DeepSeek, Gemini, API, 工具, Mac, 編程, Anthropic, Dataset 數據集

WorldCast 預測並生成世界狀態

Share to X Facebook

WorldCast 把視覺生成拉到多步推演：模型要交代世界如何逐步變化，而不只是交出一張合理終局圖。

(a) The four-level capability tree of visual generation. (b) The WorldCast benchmark and overall results.

當任務要求模型根據觀察、物件參照和操作示範，預測一個過程接下來會怎樣發展，單張圖片的合理性已經不夠。WorldCast 屬於視覺生成基準測試，實際處理的是多模態模型如何理解不同參照在何時生效，並生成一連串有因果關係的世界狀態。

它把能力分成 L1 至 L4：由靜態 text-to-image，推進至編輯、主體參照和 text-to-video，再進入複雜限制、物理合理性及把現實情境轉化為行動。WorldCast 聚焦較少被量度的 L3、L4，涵蓋 320 個人工設計案例、1,352 個視覺狀態及 8 類任務，並同時測試 unified systems、multi-reference image models 和 video models。

• 評分把 grid、interleaved 和 video 輸出視為有次序的狀態序列
• 參照內容可以是觀察狀態、目標、規則、物料特性或示範程序
• 12 個代表性模型接受同一套評估協議及 Judge rubrics
• GPT-Image-2.5 System 取得 72.8 分，反映前沿模型已出現早期世界狀態預測能力

可從 Hugging Face Dataset 取得資料測試，配合項目提供的 evaluation toolkit 和 Evaluation Guide 重現評分；模型亦可輸出逐格圖像、交錯圖像或影片。結果差距會在較高層次任務擴大，interleaved generation 對圖像模型有幫助，但評測仍集中於人工設計案例，未等同於真實環境中的長期規劃能力。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, AI productions, 模型, 多模態模型, 視頻模型, Video, Image, txt2img, Dataset 數據集

InfoVis 簡報生成與編輯能力整合到 9B 模型

Share to X Facebook

InfoVis 讓同一個模型處理簡報生成、素材參考、模板控制與局部編輯，開源評測已接近 Nano-Banana-2。

overview

製作簡報圖像時，你可以用文字生成整頁投影片，也可以提供風格參考、內容素材或原有投影片作修改。InfoVis 屬於開源影像模型項目，集中處理文字轉投影片、模板條件生成、多圖像內容生成，以及按指令編輯投影片四類工作，減少不同模型之間切換所帶來的流程斷裂。

模型以 FLUX.2-klein-base-9B 為基礎，經過 slide-native continual pretraining、四任務混合 continual pretraining，再進行 task-specific SFT，最後把不同分支合併成單一模型。這種做法換來較完整的任務覆蓋，但同一模型要同時兼顧文字準確度、版面美感、內容對齊和精準編輯，效果仍會受提示內容及輸入素材質素影響。

VisSlideBench 收錄 1,527 個人工篩選案例，分別檢查內容忠實度、指令遵循、美感、語義一致性和簡報質素等指標。InfoVis 整體得分 7.94，略低於專有的 Nano-Banana-2（7.99），但在所有 11 項指標均領先受評開源模型；相較原始 FLUX.2-klein-base-9B，專門訓練帶來 1.6 分整體提升，美感仍是它與專有模型之間較明顯的差距。

項目提供 Hugging Face Space 的線上示範，再按需要下載模型權重、程式碼、InfoVis-Data 和 VisSlideBench 作本地研究或評估。這個項目較適合需要大量製作簡報草稿、產品提案、教學投影片的設計及內容團隊；本地執行 9B 模型則要自行準備相容的圖像生成環境，儲存庫資料未列出統一的硬件要求。

  • 四合一工作流：文字生成、模板控制、多圖像接地生成及指令式編輯由同一模型處理。
  • 專用訓練資料：提供超過 13M continual-pretraining records 及 1.9M SFT records。
  • 可驗證評測：VisSlideBench 同時公開資料集及評估程式碼。
  • 主要取捨：開源模型中表現突出，但整體仍稍低於 Nano-Banana-2，美感差距較大。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Google, NVIDIA, Stable Diffusion, Video, Image, 影像模型, 教學, 庫, 中國, 蘋果, Dataset 數據集

Harness-RSI：同一模型如何靠 Harness 持續自我進化

Share to X Facebook

模型權重不變，Agent 仍可把執行經驗寫入指令、記憶、工作流程與工具。這份研究整理了自我進化的機制、證據與限制。

The path of harness self-evolution, from instructions to executable components and runtime

模型權重保持不變，Agent 仍可把一次次執行經驗沉澱成指令、記憶、工作流程、工具及 runtime logic。Harness-RSI 是一份圍繞 harness self-evolution 的研究調查與配套閱讀資料，處理的是固定 base model 如何持續改善代理系統，而不是提供可直接執行的 Agent 軟件。

內容將更新目標分成由固定元件解讀的 instructions、memory、workflow specifications，以及可執行的 tools 和 runtime logic，再比較不同方法如何提出、篩選及接納修改。分析亦連接 evolutionary algorithms 與 continual PAC-learning，嘗試說明甚麼條件下，接納更新的比較才足以支持「有所改善」的判斷。

評估部分沒有只看分數升幅，而是拆開四個問題：selection 是否受到搜尋過程影響、activation 是否真的在評分執行中生效、attribution 是否由該更新造成，以及 improvement 能否推廣到產生更新以外的任務。調查指出，相關報告雖常使用 held-out tasks，activation 和 attribution 的證據仍然有限。

GitHub 儲存庫沒有展示完整安裝流程或可供本地測試的程式入口，較適合研究人員、Agent 平台設計者及需要整理自我改善方法的團隊。

  • 固定模型權重，更新外部 harness state
  • 涵蓋指令、記憶、工作流程、工具與執行邏輯
  • 以 evolutionary algorithms 和 continual PAC-learning 分析更新
  • 用 selection、activation、attribution、improvement 拆解評估可信度

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 框架, 軟件, 工具, 庫, 中國
Page 5 of 55
1 … 3 4 5 6 7 … 55