RAP-25K 用 AI 把論文自動排版成為海報

清華、港大、美團等團隊把 25,435 對 NeurIPS、ICLR、ICML 論文與海報反解為可填空嘅 HTML 模板,等 AI 唔再從零設計版面,而係取用人類做過嘅版型再改內容。

做會議海報本質係一次迷你視覺代碼:一篇論文要做成 Poster,要同時處理摘要、視覺排版同程式實現。RAP 將呢件事變成可量度嘅任務,開放俾模型訓練同評測。

佢屬於一個資料集加框架嘅組合:核心係 PosterReverse-25K,由 NeurIPS、ICLR、ICML(2022–2026)合共 25,435 套論文同海報組成,每份海報會被自動 pipeline 反解成帶類型、可填空嘅 HTML/CSS,連摘要同三層分類(領域/任務/方法)都一齊整理好。配套仲有一份 RAP-150 測試集,每個領域留 10 篇俾公平比較。

同類做法多數只標註版面框或者小量樣本,要靠 VLM 或人手評分。RAP 嘅差別係每個樣本都可以渲染同原海報直接對比,做到客觀驗證,唔再靠主觀評審。佢提供兩條路線:PosterRAG 係免訓練嘅多智能體流程,會先檢索真實模板再填入新內容;另一條就用同一批 triplet 對 Qwen3.8-27B 做全參數 SFT 加 GRPO 訓練。

對研究人員同會議籌備團隊最直接:寫完一篇論文想快速整海報,可以利用檢索模板避開從零排版;做視覺代碼、版面生成或 VLM 訓練嘅團隊,都能直接用呢批已驗證 triplet 做監督。項目提供 Hugging Face Space demo 同模型權重。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, 框架, Dataset 數據集

MOSS-Image 支援 JSON 排版的 5B 文字生圖模型

MOSS-Image 推出的 5B 參數文字生圖模型,能夠直接在 prompt 內用 JSON 描述物件位置、標籤與邊界框,毋須額外 ControlNet 也能控制版面。

MOSS-Image

用文字生圖最常遇到的卡位,是 prompt 寫得再精準,模型依然把主體放錯位置或把文字渲染得歪七扭八。OpenMOSS 開源的 MOSS-Image 把這個矛盾寫進模型架構本身:除了自然語言 prompt,它同時接受結構化 JSON 輸入,裏面可以逐個列出物件的標籤、描述與 yxyx 格式邊界框,由模型原生處理版面配置,毋須借助外掛 ControlNet 或額外 inpainting 步驟。

對於做海報、漫畫分鏡或產品 mockup 的人來說,這種介面比「再抽幾次卡」來得直接。生成結果可以直接根據 JSON 編輯調整單一物件的位置或文字內容,方便反覆迭代。模型骨幹約 5B 參數,支援長達 4K token 的 prompt,文字渲染能力亦比同類開源模型紮實,並同時覆蓋動漫與寫實風格。

現階段提供 Base 與 SFT(curated-data 微調)兩個版本,權重以 Apache-2.0 釋出,部署上已有 SGLang、vLLM-Omni 與 ComfyUI 的 day-0 支援,配合 Python 及 Gradio 共用的 Diffusers pipeline,本地或雲端皆可即時跑起 demo。

重點摘要:

  • 原生版面控制:JSON prompt 直接描述物件、位置與邊界框,毋須外掛 ControlNet。
  • 5B 緊湊骨幹:兼顧生成效率與微調彈性,prompt 可長達 4K token。
  • 雙版本開源:Base 與 SFT 權重皆公開,Apache-2.0 授權。
  • 多元框架支援:SGLang、vLLM-Omni、ComfyUI 同日適配,並提供 Hugging Face Spaces 線上 demo。
  • 風格覆蓋廣:動漫與寫實風格並重,文字渲染品質為主打賣點之一。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, NVIDIA, Image, 框架, Python, 蘋果

KTP(Knowledge-Transfer-Probing) 統一多模態模型做知識轉移考核

清華與 Z.AI 團隊提出 KTP 評測協議,專門測試統一多模態模型從圖像生成學到的新知識能否透過純文字問答取出,逐步補上視覺與語言之間的知識流動缺口。

knowledge transfer probing

統一多模態模型(Unified Multimodal Models, UMMs)一邊做圖像生成、一邊做語言理解,但訓練時從圖像吸收的知識,一直難以量化究竟有多少真的能在純文字 QA 場景派上用場。Knowledge Transfer Probing(KTP)這個項目正正填補這個缺口:它設計了一套受控的評測協議,先以圖像生成訓練把新知識餵進模型,再以純文字問答檢驗模型能否取出。

團隊跨越七個知識類別(色彩、數量、形狀、相對空間、相對大小等),在三個 UMM 上觀察到一個關鍵現象:直接從視覺監督遷移到語言的知識,效果並不均勻,部分類別知識存取明顯偏弱。有趣的是,在部分實體上做 Textual Alignment 或 Interleaved Image-Text Alignment 對齊訓練後,模型在未對齊的其餘實體上同樣能改善知識存取,其中交錯式對齊的平均準確率比純文字對齊更高。

項目屬於研究型資料集與評測框架,隨倉庫釋出 KTP-Data(分為 train/ 與 eval/),訓練檔涵蓋文字生成圖像、文字對齊及交錯圖文對齊三類樣本,評估檔則提供文字可達性(QA 題目與參考答案)與視覺可達性(生成提示與屬性)。評分腳本只用 Python 標準庫,跑分結果會輸出 results.jsonl 與 summary.json,方便研究者直接替換自家模型回應做比較。

對正在訓練或微調 UMM 嘅團隊而言,KTP 提供一個可重現的基準去量度「圖像生成帶來多少純文字世界可用的知識」,同時指出交錯對齊是一條有實證支持的改進路徑。多模態模型研究者、訓練數據設計者,以及關心視覺-語言聯合表徵架構的人都會從中受益。

這個項目的限制同樣需要留意:KTP 目前只覆蓋七類視覺屬性,且只測試三個 UMM,並未涵蓋複雜語境或多輪推理,結論的普遍性仍有待擴充樣本驗證。

項目主頁 · GitHub

Categories: 開源, 清華大學, 模型, 多模態模型, 模型訓練, Image, 框架, Python, 庫, Dataset 數據集

OfficeTown 模擬真實職場流程

Office Intelligence 團隊把辦公室變成可執行的訓練場,讓 AI 代理用 Excel 等真實工具完成對帳、覆核等文書任務,再從中累積學習素材。

A cutaway office with research and analysis desks, a review meeting, and a shared-material cabinet. Four annotations explain roles, artifacts, review, and retained context.

文書工作不像回答一條 prompt 咁單純——開工前要先知道自己係邊個角色、手上有咩檔案、工具開咗未,做完仲要有人覆核。Office Intelligence 就係圍繞呢種「連續作業」嘅場景,幫知識工作代理(knowledge-work agents)搭建貼近真實嘅練習環境。

團隊將呢套框架劃分為四個部分:OfficeTown 提供可執行嘅工作環境,包括角色、權限與開機狀態;DocAtlas 處理文件層面嘅證據與脈絡;XL-DocBench 負責評估交付成果嘅品質;harness 則串接工具介面與審批流程。任務設計以「請求→證據→交付→覆核→下一個任務」嘅循環為核心,每次執行嘅過程都會留底,成為下一輪學習嘅素材。

以一個金融對帳任務為例,代理需要用 Excel 整理三條例外紀錄,喺交付嘅工作底稿中交代差異同處理建議,並標出尚缺嘅證據。呢類任務唔係計較答得幾快,而係睇交付物能否交到下一個人手上覆核。

呢個框架比較適合關注代理長流程作業、文件自動化同企業流程自動化嘅開發者同研究團隊。辦公室場景比純 prompt 模擬更貼近部署環境,對建立可審核、可追溯嘅 AI 工作助手有直接參考價值。OfficeTown 嘅公開版本仍在籌備中,有興趣嘅讀者可留意官方網站嘅後續更新。

項目主頁

Categories: Agentic, 模型訓練, 框架, 工具, 動畫

DuET 鋼琴演奏轉譜新模型:音符與幀並行編碼

DuET 把鋼琴演奏 MIDI 轉成結構化樂譜,靠音符與幀雙編碼加上節拍監督,音訊輸入可經 Transkun v2 串接。

DuET architecture

鋼琴演奏轉譜(Performance-to-Score Transcription)一直有個難題:演奏帶有彈性速度、踏板與力度,傳統音訊轉譜方案往往把節奏「拉直」,忽略了 rubato 與呼吸。DuET 採用 Note–Frame 雙編碼結構,音符分支處理離散音高與時值,幀分支處理節奏細節,雙方透過雙向交叉注意力交換資訊,譯碼器輪流從兩個表示預測譜面屬性,目標是兼顧音高準確度與演奏的時序彈性。

節拍與強拍(beat 與 downbeat)做聯合監督,模型在學習譜面結構的同時也理解小節脈絡,這對 rubato 段落特別有幫助。位置編碼方面用上 TimeRoPE(相對演奏時間)與 TPRoPE(音程關係),讓模型對時間偏移與音高距離有更好的歸納能力。輸出涵蓋 MusicXML、聆聽用 MIDI 與結構化音符預測,方便樂譜軟體直接開檔。

輸入端支援 MIDI 直入;若要吃音訊,需要加裝音訊前端,流程是 Transkun v2 先把鋼琴錄音轉成 MIDI,再交給 DuET 處理。預訓練權重放在 Hugging Face(Wayne42/DuET),模型約 0.1B 參數,授權為 CC BY-NC 4.0,學術與非商業用途可直接取用。

對音樂技術研究者、數位音樂學(Digital Musicology)團隊、開發自動評分或伴奏系統的人來說,這類保留演奏細節的轉譜工具比純音訊轉譜更貼近真實場景;鋼琴老師想把學生錄音整理成樂譜、作曲人要做編曲分析,也都能直接受惠。Demo 已上架 Hugging Face Spaces,可先試效果再決定是否部署。

重點摘要:

  • 雙編碼設計:Note encoder 與 Frame encoder 經雙向交叉注意力融合,兼顧音準與節奏彈性
  • 節拍聯合監督:beat 與 downbeat 同時學習,有助處理 rubato
  • TimeRoPE + TPRoPE:相對時間與音程關係的位置編碼
  • 輸出齊全:MusicXML、聆聽 MIDI 與結構化音符預測,主流樂譜軟體可開
  • 權重與 Demo:Hugging Face 提供 Wayne42/DuET 權重與 Spaces Demo,CC BY-NC 4.0 授權

GitHub · 模型

Categories: 開源, 模型, 模型訓練, Audio, 工具, 音樂

into-the-unknown:探索未知:AI 智能體能自主撰寫科學論文嗎?

把 15 個領域科學家親自為自己論文提出的延伸方向交給 AI Agent,要求 Agent 真的把研究做出來並寫成後續論文。

A path climbs a mountain under the night sky to an open door full of stars

與其請 AI 寫摘要、改改 bug,「Into the Unknown」要求 Agent 從零完成一段小型研究:閱讀一篇科學家寫的論文,再依據科學家親自提出的延伸方向,跑實驗、收集結果,最後交出一篇誠實且完整的後續論文。15 道題目橫跨不同學科,每一道都來自真正做研究的人對自己工作的下一步構想,而不是從公開資料庫拼湊出來的人工題。

針對想做比較的人,配套已經齊備:Hugging Face 上釋出資料集與 Agent 完整軌跡、檔案系統與產出論文,網站設有排行榜,歡迎提交新 Agent 的論文。Agent 端支援 Claude Agent SDK(opus-4.8、opus-5、opus-5.5、fable-5)、OpenAI Codex 系列(sol-5.6、astra-6),以及以 OpenHands 為底層的 glm-5.3。

想自建評測流程,只要 git clone 儲存庫、執行 prepare_tasks.py 把指定題目的程式碼與資料下載到 tasks/paper{1..15}/,再安裝對應 Agent 框架即可逐題評估。這樣做的好處是可以重現 Agent 的執行路徑與檔案系統,後續審視其論文是否真實反映實驗結果。

與一般 benchmark 不同,它考核的不只是答對或答錯,而是 Agent 面對開放、未定義的研究問題時,能否維持學術誠信並產出符合領域標準的成果。這對做 AI for Science、Agent 評測,以及想了解 Agent 在長程科學任務上瓶頸的團隊特別有參考價值。

項目主頁 · GitHub

Categories: 開源, Agentic, OpenAI, API, 框架, Clone, 庫, Anthropic, Dataset 數據集

yomado:給 Agent一個虛擬螢幕

yomado 讓 Agent 在虛擬螢幕操作 Blender、Marvelous Designer 等桌面程式,毋須為每款應用另接 MCP。實體屏幕可以保留給自己的工作。

yomado night-window icon

需要代理透過截圖、滑鼠和鍵盤操作 Blender 或 Marvelous Designer 時,桌面程式仍要有圖形桌面和顯示畫面。yomado 是一款 Mac 虛擬顯示器工具,讓代理使用獨立工作屏幕,毋須為每款應用另接 MCP;代理負責觀察和操作,yomado 則提供顯示空間。

它會按桌面排列顯示實體與虛擬屏幕,並在屏幕示意圖中標出應用程式。你可以拖曳圖示移動視窗,也可以手動移動;功能表按顯示器分組,並支援個別關閉視窗。隨附的 yomado skill 可引導 Codex 建立工作屏幕、移入指定視窗、確認畫面可見,並在任務完成後移回視窗。

  • 可為不同代理建立各自的虛擬屏幕,將工作視窗分開管理。
  • 可從 Finder 將正在執行的 .app 拖入,移動該應用的一般視窗。
  • 虛擬屏幕存在期間,程式會要求系統和圖形桌面保持喚醒。
  • 目前版本為實驗版,使用 macOS 14 或以上的 Apple Silicon Mac,並使用 macOS 私有 API。

這做法補足顯示空間,而非代理本身的視覺理解或操作能力;截圖、判斷和輸入仍由 Codex 或其他代理工具處理。對需要代理操作可視化介面、又想讓自己的實體屏幕保持原有工作的 Mac 使用者,分屏管理有實用價值。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, Google, API, Video, 工具, Mac, 蘋果, Skill 技能

Hy Memory 共享不同 Agent 的記憶

Hy Memory 的模型、框架、應用三層全開源。將聊天脈絡、工作進度與代碼修改原因分開管理,再讓不同 AI 工具共享同一份記憶。

Tencent Hunyuan

當 AI 需要記住的不只是單句事實,還包括事情是如何發展、任務做到哪一步,以及代碼為何這樣修改,Hy Memory 便提供了一套較完整的處理方式。它屬於面向 LLM agents 的認知記憶引擎與 Python SDK,將 Chat、Working、Coding 三類場景分開處理,減少長對話和長期任務中召回錯誤脈絡的問題。

Chat 以分層長期記憶整理事件及後續發展;Working 同時保存任務事實與可重用經驗,重用前會檢查適用條件;Coding 則以版本演化鏈追蹤每次改動,將相關指令、真實 diff 和指定函式區塊連結起來。這比單純把內容切段後交給向量搜尋更適合需要延續工作的 Agent,但也依賴清晰的 user id、workspace id 和代碼變更來源。

• 自動按工具呼叫及搜尋模式分流到三類記憶
• 支援記憶的新增、更新、刪除、列出及 System 2 演化
• Coding 可讀取本地 Git diff,亦可處理 path、old、new 替換記錄
• MemHub 將 Claude Code、Cursor、Codex、OpenCode 和 Qwen Code 等工具的資料集中管理

評測涵蓋四套 benchmark:LoCoMo 聊天記憶準確率為 72.6%,MemoryArena 工作記憶平均分為 55.31%,CodeMemoryBench 的問答及解決率為 64.2% 和 35.6%,SWE-ContextBench 解決率為 28.3%。官方亦指記憶儲存佔用維持在較低水平,但不同任務和資料來源仍會影響結果。

透過 hy-memory SDK 接入,按場景寫入及搜尋;不指定場景時,無工具呼叫的寫入會直接進入 Chat,帶工具呼叫的內容才會分類。Hy-Memory-30B-A3B 是負責記憶讀寫的專用模型,約有 3B 激活參數,並可與引擎分開使用;MemHub 則提供 local-first 桌面及 CLI 產品,適合需要跨 AI 工具延續對話或編程工作的個人與團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, 模型, API, 工具, IDE, Python, 編程, Dataset 數據集

DeepSeek 為 Agent 和 RAG 補上即時資料來源

DeepSeek Search 與 Fetch API 將網頁搜尋與單頁抓取整合成兩個 API,為 Agent 和 RAG 應用補上即時資料來源。

Og image

當 Agent 或 RAG 應用需要查找最新網頁資料,單靠模型內置知識往往不夠。DeepSeek API 現已提供 Search 與 Fetch 兩個原始 JSON API,讓應用程式可以搜尋網頁,再按需要讀取指定頁面的內容。

Search API 由 DeepSeek 自研搜索引擎支援,會按 query 返回結構化結果,包括標題、網址及摘要;將 need_content 設為 true,則可一併取得網頁正文。Fetch API 則針對單一網址抓取內容,並以 Markdown 文本返回,方便後續交給模型處理。

搜尋條件可透過 site:、lang:、after:、before: 及精確短語等語法收窄範圍,也能排除指定網站或關鍵詞。count 可設定返回 1 至 50 筆結果,ori_question 則可補充使用者原始問題,協助系統理解搜尋意圖。

• 適合建立需要即時資料的 Agent 與 RAG 工作流
• Search 用於找資料,Fetch 用於讀取指定頁面
• 支援中文及多語言搜尋條件
• 兩個 API 均使用 Bearer API Key 鑑權
• 搜尋沒有匹配結果時會返回空陣列

兩個接口共用 https://api.deepseek.com Base URL,分別對應 /v1/tools/search 與 /v1/tools/fetch。開發者需要自行處理 API 呼叫、結果篩選及網頁內容交給模型前的整理,文件目前提供 cURL 和 Python requests 範例,適合直接接入現有資料問答流程。

項目主頁

Categories: Agentic, RAG, DeepSeek, API, 軟件, Python

fde-gym:評測由寫程式推進到交付整個系統

FDE Gym 把 AI 評測放入真實交付場景,檢驗代理能否在資訊不完整下令系統真正運作。

FDE Gym, the online judge for the LLM era: you need practice solving real problems

面對客戶只交來一段需求、現成系統、文件和幾位可詢問的人,AI 代理要處理的不只是寫程式。FDE Gym 屬於面向 coding agent 的端到端線上評測工具,將每個案例還原成 Forward Deployed Engineer(FDE)交付工作,最後按系統上線後面對的保留流量評分。

它刻意把需求澄清、未寫明的流程規則、人手介入時機和事故責任放入同一個工作流程。代理可以閱讀客戶交接資料、操作終端機、向相關人員提問,再交付可運行系統;評分不只看程式碼是否通過範例,而是看沒有預先展示的情境能否處理妥當。

• 20 個案例涵蓋端到端客戶交付情境
• 評測對象是 coding agent 及其交付的運行中系統
• 以 held-out traffic 檢驗未公開情境,而非只測固定輸入輸出
• 代理需要判斷哪些工作可自動化,哪些必須交由人員處理

相較經典 online judge 只提供完整題目、輸入輸出格式和樣例,FDE Gym 將模糊需求與現場決策納入評測,因此更接近企業採用 AI 代理時遇到的風險。不過,結果會同時受代理的提問策略、工具能力和交付系統質素影響,未必能單獨反映某個模型的程式編寫能力。

項目以 TypeScript 建成,提供網站工作台、案例管理及執行案例的機器;自建版本可配合 managed database 和 cloud object store,亦可新增案例及運行節點。案例資料另有 Hugging Face 資源,文件亦交代隔離範圍,適合研究團隊比較 coding agent、建立內部測試集,或讓負責 AI 產品交付的工程師測試代理能否處理上線後的未知情況。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 微軟, Vibe Coding, 工具, 編程, Dataset 數據集

Page 1 of 174
1 2 3 … 174