Muse-CharacterSheet-H3：MiniMax H3 角色表工作流

2026 年 10 月 20 日 Share to X Facebook Copy link

生成多角度、背景移除及排版一次完成，減少 ComfyUI 製作角色設定表的繁瑣步驟。

將五個角度的生成結果自動拼成一張角色設定表，Muse Character Sheet H3 這個 ComfyUI 工具組把 MiniMax H3 的多視角生成、文字儲存、影像轉換及背景處理連成一套工作流。對遊戲美術、角色設計與虛擬內容製作團隊而言，它省去逐格裁切、調整比例及手工排版，但仍需自行準備模型權重與合適的 ComfyUI 環境。

• 提供 Standard 與 Enhanced 兩套工作流。
• CHUNK/CUT 介面會把姿勢描述編譯成 H3 六段式 Reference-mode 提示格式。
• Muse Character Sheet Compositor 可把 Close-up、Front、Left Profile、Right Profile、Back 五格自動並排。
• Windows 安裝包已整合三個 Muse 工具節點，不需另下載獨立 utility ZIP。

Enhanced 版本在 H3 生成後加入 Qwen image refinement 與 DLSS enhancement；Standard 則以背景移除及選取畫面組成設定表，不依賴 DLSS，適合較簡單或未配置相關環境的流程。標準流程不再要求 WAS Node Suite 或原有 ComfyUI-RMBG 套件，但若其他工作流仍使用，就不應直接刪除。

背景移除輸出 IMAGE、MASK 與 MASK IMAGE；模型權重則另有使用條款。組合設定表支援 16:9、4:3、1:1、3:2 及 21:9，工具會按比例處理裁切，Close-up 佔完整寬度，其餘四個角度排列在側。

Windows 測試可下載完整 ZIP，將資料夾放入 custom_nodes，再執行 Install-Windows.bat；Git 必須在 PATH，模型則按清單另行下載。從前安裝過獨立工具資料夾的環境，應把備份移出 custom_nodes，避免同一節點重複註冊；安裝器不會自動刪除舊資料夾。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, Image, 工具, MiniMax

---

ScaleNav 把影片變成導航能力

2026 年 10 月 20 日 Share to X Facebook Copy link

ScaleNav 先從互聯網第一視角影片學習路徑規律，再轉成機器人動作，面對語言指定目標的局部導航。

網上第一視角影片 seldom 附帶機器人動作，但當中蘊藏大量「沿走廊前進、避開障礙、轉入目標房間」的視覺規律。ScaleNav 是一個研究型導航模型，試圖把這些 action-free 預訓練所得到的 navigation priors，轉移到有動作標籤的模擬軌跡，再用於 language-conditioned local navigation：按文字尋找初始畫面可見的目標並停下來。

模型屬共享式 Diffusion Transformer，會根據指令、目前 RGB 影像及記憶，共同預測未來 video latents 和 action chunks。流程分三階段：先從互聯網第一視角影片學習目標導向視覺動態，再進行 action alignment，最後 joint fine-tuning，同時保留影片回放並微調共享骨干與輸出頭。

ScaleNav 與同類做法的主要取捨，是毋須先收集大量完整機器人示範，便能借助互聯網影片建立導航先驗；代價是仍要依賴模擬軌跡、動作對齊及多階段訓練。官方模型約 10.02 GB，推論及評估建議使用支援 BF16 的 NVIDIA GPU、24 GB GPU 記憶體與 64 GB 系統記憶體，並按文件配置 Linux、Habitat-GS 和場景轉換工具。

結果涵蓋 HabitatGS-LN、Short-Horizon OVON 與真實四足機械人；公開資料列出 ScaleNav 在兩項模擬評估的成功率分別為 94.9% 及 86.5%，真實機械人則在 60 次試驗中錄得 83.3% 成功率。團隊亦整理 gallery 導航影片、軌跡、目標與結果，以及 summary.json 內的 SR、SPL 和逐任務成績，方便比較與重現。

• 影片預訓練不必附帶逐格動作標籤
• 同一模型處理影片動態與動作生成
• 支援模擬環境及真實四足機械人
• 提供模型、資料、評估結果與操作文件

這套方法較適合研究 embodied navigation、 robotics 與 VLA（Vision-Language-Action）的團隊；評估數字雖亮眼，仍須留意各方法採用不同設定，跨模型比較應同時核對 episode 數、場景及 fine-tuning 條件。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 視覺模型, 多模態模型, 模型訓練, NVIDIA, Video, Image, VLA, Robotic, 工具, Linux

---

MT-Forcing：多輪改圖守住細節唔再走樣

2026 年 10 月 20 日 Share to X Facebook Copy link

連續改同一張圖時，主體、紋理與構圖往往會慢慢偏離；MT Forcing 以多輪訓練與教師引導改善這類累積錯誤。

連續要求「改杯色、加條紋、再調光線」時，圖片往往未到最後一輪已經失真。MT Forcing 是針對多輪圖像編輯的訓練框架，配合自迴歸擴散模型，減少每輪修改帶來的漂移。

方法把單輪 DMD（Distribution Matching Distillation）與 Teacher-Forcing Guidance 結合：學生模型逐步編輯自己生成的歷史，凍結的單輪教師則從原圖一次套用累積指示，提供分布層面的引導。參考真實編輯軌跡後，模型既要改善畫質，也要維持跨輪次內容關係。

• 以自身多輪輸出作為訓練歷史
• 引入單輪 DMD 改善視覺品質
• 用 Teacher-Forcing Guidance 減少誤差累積
• 展示最長十五輪及八輪編輯比較

官方程式碼要求 Python 3.11.13、NVIDIA CUDA GPU，以及指定 checkpoint、架構資源和擴充 U1.5 tokenizer；配置完成後，可在同一工作階段依序執行多個編輯提示。公開資料未交代完整硬件門檻、推理速度或標準化定量結果，因此較適合作為需要 NVIDIA GPU 的研究重現工具，而非直接比較成本已知的消費級服務。

它以 SenseNova-U1.5 作為相關基礎模型，並在多輪比較中加入 MT Forcing。對需要逐步修訂產品 concept、人物姿勢或場景細節的設計團隊，單輪教師可作品質參照。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 清華大學, 模型, 模型訓練, NVIDIA, Image, 影像模型, 框架, 工具, Python, Tokenize

---

Xiaomi-Lens-0 讓 4B 視覺模型標註出答案

2026 年 10 月 20 日 Share to X Facebook Copy link

這個 4B 多模態模型把文字回答與像素級定位放在同一套推理中，適合需要理解物件、指出位置及分割影像的場景。

要讓模型回答「紅色杯子在哪裡」之餘，同時準確框出甚至分割杯子，傳統多模態模型往往要串接多個模型。Xiaomi-Lens-0 試圖把這兩步合而為一：它以 Qwen3.5-4B 為基礎，在生成文字的過程中解讀 <|mask|> token，再由輕量解碼器輸出對應區域，令文字答案與視覺定位可以同步產生。

這個 4B 多模態模型主要處理 Referring Expression Comprehension、Referring Expression Segmentation、多實例定位、Reasoning Segmentation、具身指令指代及細緻感知等六類任務。它既能以邊界框指出物件，亦能輸出像素遮罩，適合影像標註、搜尋、選取區域及具身操作前的人工檢查。

• 以 4B 規模結合文字回答、邊界框與像素級遮罩
• 支援六類定位及視覺推理場景
• 可在 Hugging Face Spaces 試用，亦公開模型權重與 LensBench
• 提供每個遮罩獨立輸出及熱力圖等推理設定

模型在八個 RefCOCO 系列分割上的平均 referring comprehension 提升 5.6 分，並在八個細粒度感知測試中取得較高分數；項目頁另列出 RefCOCO 驗證集 Prec@0.5 為 94.6。LensBench 包含 4,800 個 instruction-level 樣本，涵蓋 1,200 個配對單位及四個領域。

代價是輸出遮罩需要額外視覺解碼，而模型規模仍屬輕量，複雜推理和高解析影像表現應按測試結果判斷。研究團隊已提供線上示範、模型權重及程式碼，適合想試驗視覺 grounding 的模型開發者、影像工具團隊和具身智能研究人員。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, Qwen, Image, 影像處理, 工具, 小米-Xiaomi

---

Scene-Designer：智能 3D 場景生成與設計

2026 年 10 月 20 日 Share to X Facebook Copy link

Scene-Designer 把場景生成、質素評估與反覆修正放進同一套 Agent 訓練流程，減少無效改動。

3D 場景生成最難的地方，往往不是砌出物件，而是知道場景是否合理，以及修正錯誤時避免愈改愈亂。Scene-Designer 是一個面向 Agentic 3D Scene Generation 的研究框架，目標正是讓模型學習設計場景、評審質素，再按評語作有效修正。

• 以 Scene-OTA-35K 的 Observation–Thought–Action 軌跡學習設計與修改流程。
• 透過 Scene-OTC-15K 的 Observation–Thought–Critic 經驗，比較場景質素。
• 用 Branch-ranking reward 比較同一父場景產生的分支。
• 以 Improvement reward 判斷子場景是否真正優於原場景。

Causal Trajectory Consolidation 會移除沒有下游貢獻的無效操作，同時保留有效決定及必要中間狀態。Scene perturbations 則刻意加入佈局偏差、功能退化和物理違規，再建立偏好比較，令模型不只是 spotting 錯誤，而是學習指出哪個場景較好。

Scene-GRPO 結合分支排名與改進獎勵，讓代理在相同起點的候選場景中選擇較佳設計，並減少沒有帶來實際進步的反覆修改。這種做法比只追求最終生成結果的訓練多了一層質素判斷，亦直接回應通用模型「識錯但不懂有效修正」的問題。

研究團隊比較了模型與 GPT-5.2 在成對場景比較及四場景偏好排序上的表現；首頁亦提供十組 prompt-to-scene 示範。不過，公開資料未交代完整安裝流程，Hugging Face 上已列出 Scene-Builder-Qwen3-VL-8B-Instruct 模型與 Scene-OTC-Bench 資料集，較適合具 3D 生成、Agent 訓練及模型評估經驗的團隊先行研究。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, OpenAI, 影像模型, World-Action Model, 框架, 3D, Dataset 數據集

---

RAP-25K 用 AI 把論文自動排版成為海報

2026 年 10 月 20 日 Share to X Facebook Copy link

清華、港大、美團等團隊把 25,435 對 NeurIPS、ICLR、ICML 論文與海報反解為可填空嘅 HTML 模板，等 AI 唔再從零設計版面，而係取用人類做過嘅版型再改內容。

做會議海報本質係一次迷你視覺代碼：一篇論文要做成 Poster，要同時處理摘要、視覺排版同程式實現。RAP 將呢件事變成可量度嘅任務，開放俾模型訓練同評測。

佢屬於一個資料集加框架嘅組合：核心係 PosterReverse-25K，由 NeurIPS、ICLR、ICML（2022–2026）合共 25,435 套論文同海報組成，每份海報會被自動 pipeline 反解成帶類型、可填空嘅 HTML/CSS，連摘要同三層分類（領域／任務／方法）都一齊整理好。配套仲有一份 RAP-150 測試集，每個領域留 10 篇俾公平比較。

同類做法多數只標註版面框或者小量樣本，要靠 VLM 或人手評分。RAP 嘅差別係每個樣本都可以渲染同原海報直接對比，做到客觀驗證，唔再靠主觀評審。佢提供兩條路線：PosterRAG 係免訓練嘅多智能體流程，會先檢索真實模板再填入新內容；另一條就用同一批 triplet 對 Qwen3.8-27B 做全參數 SFT 加 GRPO 訓練。

對研究人員同會議籌備團隊最直接：寫完一篇論文想快速整海報，可以利用檢索模板避開從零排版；做視覺代碼、版面生成或 VLM 訓練嘅團隊，都能直接用呢批已驗證 triplet 做監督。項目提供 Hugging Face Space demo 同模型權重。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, 框架, Dataset 數據集

---

MOSS-Image 支援 JSON 排版的 5B 文字生圖模型

2026 年 10 月 20 日 Share to X Facebook Copy link

MOSS-Image 推出的 5B 參數文字生圖模型，能夠直接在 prompt 內用 JSON 描述物件位置、標籤與邊界框，毋須額外 ControlNet 也能控制版面。

用文字生圖最常遇到的卡位，是 prompt 寫得再精準，模型依然把主體放錯位置或把文字渲染得歪七扭八。OpenMOSS 開源的 MOSS-Image 把這個矛盾寫進模型架構本身：除了自然語言 prompt，它同時接受結構化 JSON 輸入，裏面可以逐個列出物件的標籤、描述與 yxyx 格式邊界框，由模型原生處理版面配置，毋須借助外掛 ControlNet 或額外 inpainting 步驟。

對於做海報、漫畫分鏡或產品 mockup 的人來說，這種介面比「再抽幾次卡」來得直接。生成結果可以直接根據 JSON 編輯調整單一物件的位置或文字內容，方便反覆迭代。模型骨幹約 5B 參數，支援長達 4K token 的 prompt，文字渲染能力亦比同類開源模型紮實，並同時覆蓋動漫與寫實風格。

New top local AI image generator is here!

現階段提供 Base 與 SFT（curated-data 微調）兩個版本，權重以 Apache-2.0 釋出，部署上已有 SGLang、vLLM-Omni 與 ComfyUI 的 day-0 支援，配合 Python 及 Gradio 共用的 Diffusers pipeline，本地或雲端皆可即時跑起 demo。

重點摘要：

• 原生版面控制：JSON prompt 直接描述物件、位置與邊界框，毋須外掛 ControlNet。
• 5B 緊湊骨幹：兼顧生成效率與微調彈性，prompt 可長達 4K token。
• 雙版本開源：Base 與 SFT 權重皆公開，Apache-2.0 授權。
• 多元框架支援：SGLang、vLLM-Omni、ComfyUI 同日適配，並提供 Hugging Face Spaces 線上 demo。
• 風格覆蓋廣：動漫與寫實風格並重，文字渲染品質為主打賣點之一。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, NVIDIA, Image, 框架, Python, 蘋果

---

KTP(Knowledge-Transfer-Probing) 統一多模態模型做知識轉移考核

2026 年 10 月 20 日 Share to X Facebook Copy link

清華與 Z.AI 團隊提出 KTP 評測協議，專門測試統一多模態模型從圖像生成學到的新知識能否透過純文字問答取出，逐步補上視覺與語言之間的知識流動缺口。

統一多模態模型（Unified Multimodal Models, UMMs）一邊做圖像生成、一邊做語言理解，但訓練時從圖像吸收的知識，一直難以量化究竟有多少真的能在純文字 QA 場景派上用場。Knowledge Transfer Probing（KTP）這個項目正正填補這個缺口：它設計了一套受控的評測協議，先以圖像生成訓練把新知識餵進模型，再以純文字問答檢驗模型能否取出。

團隊跨越七個知識類別（色彩、數量、形狀、相對空間、相對大小等），在三個 UMM 上觀察到一個關鍵現象：直接從視覺監督遷移到語言的知識，效果並不均勻，部分類別知識存取明顯偏弱。有趣的是，在部分實體上做 Textual Alignment 或 Interleaved Image-Text Alignment 對齊訓練後，模型在未對齊的其餘實體上同樣能改善知識存取，其中交錯式對齊的平均準確率比純文字對齊更高。

項目屬於研究型資料集與評測框架，隨倉庫釋出 KTP-Data（分為 train/ 與 eval/），訓練檔涵蓋文字生成圖像、文字對齊及交錯圖文對齊三類樣本，評估檔則提供文字可達性（QA 題目與參考答案）與視覺可達性（生成提示與屬性）。評分腳本只用 Python 標準庫，跑分結果會輸出 results.jsonl 與 summary.json，方便研究者直接替換自家模型回應做比較。

對正在訓練或微調 UMM 嘅團隊而言，KTP 提供一個可重現的基準去量度「圖像生成帶來多少純文字世界可用的知識」，同時指出交錯對齊是一條有實證支持的改進路徑。多模態模型研究者、訓練數據設計者，以及關心視覺-語言聯合表徵架構的人都會從中受益。

這個項目的限制同樣需要留意：KTP 目前只覆蓋七類視覺屬性，且只測試三個 UMM，並未涵蓋複雜語境或多輪推理，結論的普遍性仍有待擴充樣本驗證。

項目主頁 · GitHub

Categories: 開源, 清華大學, 模型, 多模態模型, 模型訓練, Image, 框架, Python, 庫, Dataset 數據集

---

DuET 鋼琴演奏轉譜新模型：音符與幀並行編碼

2026 年 10 月 19 日 Share to X Facebook Copy link

DuET 把鋼琴演奏 MIDI 轉成結構化樂譜，靠音符與幀雙編碼加上節拍監督，音訊輸入可經 Transkun v2 串接。

鋼琴演奏轉譜（Performance-to-Score Transcription）一直有個難題：演奏帶有彈性速度、踏板與力度，傳統音訊轉譜方案往往把節奏「拉直」，忽略了 rubato 與呼吸。DuET 採用 Note–Frame 雙編碼結構，音符分支處理離散音高與時值，幀分支處理節奏細節，雙方透過雙向交叉注意力交換資訊，譯碼器輪流從兩個表示預測譜面屬性，目標是兼顧音高準確度與演奏的時序彈性。

節拍與強拍（beat 與 downbeat）做聯合監督，模型在學習譜面結構的同時也理解小節脈絡，這對 rubato 段落特別有幫助。位置編碼方面用上 TimeRoPE（相對演奏時間）與 TPRoPE（音程關係），讓模型對時間偏移與音高距離有更好的歸納能力。輸出涵蓋 MusicXML、聆聽用 MIDI 與結構化音符預測，方便樂譜軟體直接開檔。

輸入端支援 MIDI 直入；若要吃音訊，需要加裝音訊前端，流程是 Transkun v2 先把鋼琴錄音轉成 MIDI，再交給 DuET 處理。預訓練權重放在 Hugging Face（Wayne42/DuET），模型約 0.1B 參數，授權為 CC BY-NC 4.0，學術與非商業用途可直接取用。

對音樂技術研究者、數位音樂學（Digital Musicology）團隊、開發自動評分或伴奏系統的人來說，這類保留演奏細節的轉譜工具比純音訊轉譜更貼近真實場景；鋼琴老師想把學生錄音整理成樂譜、作曲人要做編曲分析，也都能直接受惠。Demo 已上架 Hugging Face Spaces，可先試效果再決定是否部署。

重點摘要：

• 雙編碼設計：Note encoder 與 Frame encoder 經雙向交叉注意力融合，兼顧音準與節奏彈性
• 節拍聯合監督：beat 與 downbeat 同時學習，有助處理 rubato
• TimeRoPE + TPRoPE：相對時間與音程關係的位置編碼
• 輸出齊全：MusicXML、聆聽 MIDI 與結構化音符預測，主流樂譜軟體可開
• 權重與 Demo：Hugging Face 提供 Wayne42/DuET 權重與 Spaces Demo，CC BY-NC 4.0 授權

GitHub · 模型

Categories: 開源, 模型, 模型訓練, Audio, 工具, 音樂

---

into-the-unknown：探索未知：AI 智能體能自主撰寫科學論文嗎？

2026 年 10 月 19 日 Share to X Facebook Copy link

把 15 個領域科學家親自為自己論文提出的延伸方向交給 AI Agent，要求 Agent 真的把研究做出來並寫成後續論文。

與其請 AI 寫摘要、改改 bug，「Into the Unknown」要求 Agent 從零完成一段小型研究：閱讀一篇科學家寫的論文，再依據科學家親自提出的延伸方向，跑實驗、收集結果，最後交出一篇誠實且完整的後續論文。15 道題目橫跨不同學科，每一道都來自真正做研究的人對自己工作的下一步構想，而不是從公開資料庫拼湊出來的人工題。

針對想做比較的人，配套已經齊備：Hugging Face 上釋出資料集與 Agent 完整軌跡、檔案系統與產出論文，網站設有排行榜，歡迎提交新 Agent 的論文。Agent 端支援 Claude Agent SDK（opus-4.8、opus-5、opus-5.5、fable-5）、OpenAI Codex 系列（sol-5.6、astra-6），以及以 OpenHands 為底層的 glm-5.3。

想自建評測流程，只要 git clone 儲存庫、執行 prepare_tasks.py 把指定題目的程式碼與資料下載到 tasks/paper{1..15}/，再安裝對應 Agent 框架即可逐題評估。這樣做的好處是可以重現 Agent 的執行路徑與檔案系統，後續審視其論文是否真實反映實驗結果。

與一般 benchmark 不同，它考核的不只是答對或答錯，而是 Agent 面對開放、未定義的研究問題時，能否維持學術誠信並產出符合領域標準的成果。這對做 AI for Science、Agent 評測，以及想了解 Agent 在長程科學任務上瓶頸的團隊特別有參考價值。

項目主頁 · GitHub

Categories: 開源, Agentic, OpenAI, API, 框架, Clone, 庫, Anthropic, Dataset 數據集

---