InferNews

Ming-Image 把設計圖拆成可編輯圖層

Share to X

Ming-Image 同時處理視覺設計生成與圖層還原，令 UI、海報和簡報內容更容易交由代理程式接手修改。

Ming-Image-0.1-Design on the Artificial Analysis UI/UX Design leaderboard

由文字生成完整 UI、資訊圖表、海報，再把扁平化圖片拆回透明可編輯圖層，Ming-Image 0.1 Design 系列處理的是設計稿難以延續修改的問題。它屬於視覺設計生成模型系列，實際用途是協助代理程式建立、檢查和重組圖像內容，而不只產生一張不可拆分的圖片。

系列包括兩個 6B 參數模型，Ming-Image-0.1-Design 負責生成文字密集的完整視覺構圖，Ming-Image-0.1-Design-Layer 則把成品分解成獨立、透明背景的圖層。後者支援將文字和簡單形狀抽出，配合 Image to Editable PPT 工作流程，把一頁設計或簡報圖片重建成可編輯 PowerPoint 元素；Ling UI Design 工作流程則利用生成參考圖和圖層分解，協助代理程式編寫及視覺檢查 UI 程式碼。

模型支援 RGBA 輸出，透明背景生成需使用指定的 RGBA 提示語。公開模型卡列出 1024 或 2048 解析度、12 sampling steps、CFG scale 1.0 及 BF16 等建議設定；2048 x 2048 生成在一張具備 80 GiB VRAM 的 CUDA GPU 上驗證，較適合有圖形運算資源的設計團隊，而非一般辦公室電腦即時使用。

  • 生成 UI、資訊圖表、海報及其他文字密集設計
  • 將扁平圖片拆成獨立透明圖層
  • 可支援 UI 程式碼視覺檢查及可編輯 PPT 重建
  • 需要 Python 3.10+、CUDA-capable PyTorch 和模型 checkpoint

完整推理仍需按 companion Ming-Image 項目的依賴和模型服務配置處理。適合需要從參考圖快速建立設計草稿、處理透明素材，或把 AI 生成結果交回設計工具繼續修改的團隊；對只有一般 GPU 資源的使用者，VRAM 要求會是主要限制。

GitHub · 模型

Categories: 開源, 模型, Qwen, NVIDIA, Image, 工具, Python, UI/UX

Confucius4-T3PO：14B 即時翻譯模型，邊聽邊譯並兼顧延遲

Share to X

逐段輸入文字後，模型以 AI 判斷何時繼續等候、何時輸出譯文，減少即時翻譯必須在速度與語境之間二選一的情況。

Confucius4-T3PO

會議口譯或直播字幕需要盡快顯示譯文，但太早翻譯又可能欠缺上下文。Confucius4-T3PO 是一款 140 億參數的文字即時翻譯模型，接收細粒度文字片段後，會決定繼續等候還是輸出部分譯文，支援中英互譯。

它以 READ／WRITE 決策控制等待與輸出，並提供不同延遲模式，讓使用者按即時性需要調整速度與翻譯質素的取捨。已提交的譯文只會逐段追加，不會回頭改寫；交錯式歷史紀錄亦可重用 KV cache，減少重複計算。模型以 Qwen2.5-14B 為基礎，經串流翻譯冷啟動及 Pareto-aware 強化學習，兼顧翻譯質素與延遲。

模型本身只處理文字，並不原生接收語音。語音翻譯需要串接串流自動語音辨識（ASR）；項目另有 R2T2 ASR 模型，可組成語音轉文字翻譯流程。推理介面包括逐段文字翻譯 API，以及接收 16 kHz 單聲道 PCM16LE 音訊的 WebSocket 串流示範。

  • 適合需要逐步顯示字幕或翻譯結果的串流應用及口譯流程。
  • 可按低、原生或高延遲模式調整輸出節奏；延遲與翻譯質素需要取捨。
  • API 可查詢分段統計及 WAIT／TRANS 統計，方便觀察單次工作階段的決策情況。
  • 儲存庫提供推理程式碼，並連結模型頁及線上示範；所列資訊未提供硬件需求或效能基準，正式部署前宜先測試目標語言、音訊流程及延遲。

對字幕平台、遠端會議及串流口譯團隊而言，逐段輸出有助減少等待完整句子才見到譯文的落差；但語音流程仍依賴外部 ASR，部署成本亦會受 14B 模型及推理環境影響。

GitHub · 模型

Categories: 開源, 模型, Qwen, API, Audio, 語音

Qwen-Image 2.1 四步生成加速，但複雜編輯仍未完善

Share to X

Viggle 將 Qwen-Image 2.1 蒸餾至四步生成，換來速度提升，同時保留編輯能力上的取捨。

Og image

面對需要較快出圖、又要按文字指示修改圖片的場景，Qwen-Image-2.1-viggle-turbo 把原始 Qwen/Qwen-Image-2.1 由 40 次 Transformer passes 壓縮至 4 次，支援 text-to-image 及 image-to-image 編輯，亦可配合 1 至 3 張參考圖。模型屬於基於 Qwen/Qwen-Image-2.1 的 adapter 項目，由 Viggle 使用 Distribution Matching Distillation（DMD）訓練，並取消 classifier-free guidance。

項目提供兩個學生模型，取捨集中在下載體積與編輯精準度：

  • transformer/：完整微調的 bf16 Transformer，約 14.2 GB，會取代基礎 Transformer；頁面目前推薦這個版本，質性比較中編輯更忠實。
  • Qwen-Image-2.1-viggle-turbo-4step-lora-r64.safetensors：rank 64、約 340 MB 的 LoRA adapter，載入基礎 Transformer 後運行，下載較快但效果稍弱。
  • peft/：同一 LoRA 的 PEFT key format、F32 權重；LoRA 不會合併入 Transformer，運行時載入可避免 bf16 合併造成的損失。
  • text encoder、VAE 及 processor 沒有隨項目重新發布，會從基礎模型儲存庫載入。

完整微調版本的 DMD objective 加入 low-frequency teacher anchor，兩個版本都是各自訓練流程的 step-400 EMA checkpoint。Text-to-image 在四步下已具可用性，但 v0.1 仍是 preview；多參考圖合成、換臉、保留身份，以及同時包含多項限制的指令，明顯不及原本 40 步的 base model，因此不能視為完整替代品。

因為 QwenImage21Pipeline 尚未納入已發布的 diffusers；同時要安裝 peft、PyTorch、Transformers、Accelerate、Safetensors 及 Pillow。提供內容沒有 GGUF 檔案、GGUF 檔案大小、量化級別、mmproj、上下文長度、Ollama、LM Studio 或 llama.cpp 支援資料，亦沒有 MTP draft speculation 或正式 benchmark 數字；硬件需求只能按完整 Transformer 約 14.2 GB bf16 權重另行規劃。

模型

Categories: Qwen, Image, 影像模型, 影像處理, txt2img, Python, 庫, Dataset 數據集, LoRA

Dream-RSI：讓 AI 先在探索紀錄中演練，再投入昂貴的搜尋

Share to X

Dream-RSI 把 AI 過往探索過程變成可重播的模擬環境，讓新策略先離線比較，再挑選勝出者投入下一輪搜尋，減少試錯成本。

Google

當 AI 要花數千輪提出和評估方案，探索方向選得不好，計算資源便會浪費在無效搜尋上。Dream-RSI 是一套用來改進 AI 探索策略的遞迴自我改進框架，讓策略先在既有探索紀錄中演練，再決定是否投入昂貴的線上搜尋。

它不另建一個學習出來的世界模型，而是把代理過往建立的探索樹當成可重播的模擬器。系統在線上收集搜尋歷史，再離線測試多個候選策略；選出的策略才會部署到下一輪，並帶回新的探索紀錄，逐步擴大可供演練的經驗池。這做法省去逐一實跑候選策略的成本，但模擬範圍受限於過往探索到的路徑，未曾出現的情況仍須在線上驗證。

目前公布的測試涵蓋演算法工程、數學最佳化及 GPU kernel 工程，共八項任務。在演算法工程中，與 Recursive Fixed Exploration 相比，下游執行速度提高 1.22 倍，探索計算量減少 1.74 倍，呼叫次數比 SimpleTES 少 162 倍；GPU kernel 的四項測試全部改善，同等預算下效能提高 2.09 倍。數學最佳化則有三項中的兩項達到或超越所選基線，結果仍需按任務解讀，不能視為所有搜尋問題都會有相同收益。

這套方法較適合需要長時間、多輪探索的演算法與工程研究團隊，尤其是每次線上評估成本高昂的工作。程式碼仍在準備發布，現階段可閱讀技術報告與論文了解方法和結果；儲存庫尚未提供可直接安裝執行的公開版本。

  • 探索樹被重用為策略演練環境，不必為每個候選策略重新執行完整搜尋。
  • 每輪勝出的策略會投入線上搜尋，並補充新的探索歷史。
  • 已測試三個領域、八項任務，GPU kernel 測試四項全有改善。
  • 模擬器只涵蓋已探索的搜尋空間，公開程式碼仍在準備中。

項目主頁 · GitHub

Categories: 開源, Embedding, Google, Gemini, 框架

Meridian 讓 MiniMax H3 將時間與鏡頭重新編排 – Bullet time

Share to X

Meridian 可從影片或單張圖片重新設計鏡頭路徑，重訪同一事件的不同視角。

Og image

想將一段已拍攝的動作改成全新鏡頭，甚至暫停某個瞬間再繞行拍攝，Meridian提供了影片到影片（video-to-video）的處理方式。它基於 MiniMaxAI/MiniMax-H3，以 adapter 形式加入幾何控制能力，並結合 VGGT-Omega 幾何資訊，亦支援由單張圖片建立鏡頭移動。

Meridian 處理的是空間與時間的共同編排：鏡頭可沿指定路徑移動，原有動作則可繼續、放慢或暫停。Bullet time 只是其中一種時間與鏡頭組合，並非模型的邊界；要加快或放慢動作，應先重新調整輸入影片的時間，再按該時間軸設計 camera path。

頁面提供的例子包括以原片重新觀看 NBA 灌籃、在草莓片段中暫停動作並移動鏡頭，以及以芭蕾單張相片產生鏡頭運動。這種做法適合重構已有事件的觀察角度，但生成畫面與原片如何銜接、遮擋區域能否保持一致，仍取決於輸入內容與指定路徑。

  • 基礎模型：MiniMaxAI/MiniMax-H3；模型關係標示為 adapter
  • 幾何元件：VGGT-Omega
  • 任務標籤：video-to-video、novel-view-synthesis、camera-control、re-camera
  • 提供 installation.md 連結

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 視頻模型, Google, NVIDIA, Video, Image, 框架, 教學, Discord, LLaMa, Ollama, Python, 蘋果, MiniMax

ImIR 免提示詞處理六類影像修復，

Share to X

ImIR 讓同一個影像修復模型自行判斷輸入問題，毋須提示詞或降級標籤，涵蓋六種常見修復工作。

ImIR examples for low-light enhancement, deraining, dehazing, deblurring, denoising, and JPEG artifact removal. Each til

遇到低光、雨痕、霧化或 JPEG 壓縮痕跡時，ImIR 會只從輸入影像推算修復指令，不要求使用者先判斷問題類型。這個項目屬於影像修復模型與推理工具，實際處理的是一個模型難以同時應付多種退化、又依賴文字提示詞的工作流程。

ImIR 把影像分成兩條路徑送入 Qwen-Image-Edit-2511：VAE 保留空間結構，Qwen2.5-VL 配合輕量 token mapper 產生接近乾淨影像的語義指令；主幹模型保持凍結，只訓練一個共享 LoRA adapter。指令強度可以調節，低光增強等答案不唯一的任務，因而能在不同修復程度之間取捨。

項目提供 CLI 和 Python API，使用 Python 3.10 或更新版本、具 CUDA 能力的 NVIDIA GPU，並可從 Hugging Face 自動下載 checkpoint。顯存不足時可啟用 CPU offload，但需要足夠系統記憶體。

  • 一個 adapter 覆蓋除雨、低光增強、去霧、去模糊、去噪及 JPEG 瑕疵移除
  • 不需要文字提示詞，也不需要 degradation label
  • 單一 adapter 約三小時、以一張 GPU 完成訓練
  • 匹配比較中，影像指令優於文字 conditioning

對研究人員而言，這種做法適合測試 task-agnostic restoration；影像處理團隊則可用它簡化多任務推理流程。不過項目需要 NVIDIA CUDA 硬件。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, NVIDIA, Image, 影像模型, 影像處理, Python, LoRA

Taste-Bench ：避免把時間和計算資源花在錯路上

Share to X

AI Agent 要做的選擇，當下往往看似合理，代價卻可能在很久之後才浮現。Taste-Bench 把這類決策分岔整理成測試，檢查模型能否及早選對方向。

Taste-Bench

AI Agent 做長任務時，選錯方向可能要到多個步驟之後才看得出代價。Taste-Bench 是一套評測資料集，讓模型閱讀任務背景、分岔前的操作紀錄，以及兩個候選下一步，再判斷哪個選擇較好；它測試的不是單步答題，而是能否避免把時間和計算資源花在錯路上。

資料集有 502 題，從軟件工程與機器學習研究任務的操作軌跡中整理而成，沒有逐題由專家標註。題目分為兩類：不同嘗試在同一位置分岔，最後結果提供判斷依據；或同一次執行中，Agent 遇到失敗後放棄原路並恢復。研究團隊從 4,657 個候選分岔中剔除過於簡單或無法判定的題目，並以後續結果標示較佳方向。

測試時可從 Hugging Face 取得資料集，按題目提供的紀錄比較模型選擇；程式碼庫亦提供 Python 3.11 以上的快速開始方式。評分要求模型在兩種選項排列順序下都答對，減低單靠固定選位置取得高分的可能。較貼近方向判斷能力，但題目仍集中於 SWE-bench、SWE-bench Pro，以及 METR 的 MALT 研究軌跡，未必涵蓋所有長任務場景。

14 個前沿模型中，最高平均正確率為 59.7%，仍有約四成題目判斷錯誤；當關鍵證據要到更後段才出現，準確率會由 62.3% 降至 21.0%，增加推理預算亦未能改善結果。研究亦報告，透過事後答案蒸餾訓練的 Qwen3.6-27B，在未見任務上的正確率由 30.0% 升至 47.9%；用它提供建議後，SWE-bench Pro 成功率由 14.6% 升至 33.7%。這些結果顯示評測不只用來比較模型，也提供了改善 Agent 決策的訓練方向。

  • 評測核心：在結果尚未揭曉時，從兩個下一步中選出較佳方向。
  • 題目來源：軟件工程與機器學習研究任務的真實操作軌跡。
  • 主要限制：目前 502 題的領域與任務來源有限，不能代表所有 Agent 工作。
  • 適合對象：研究長任務 Agent、比較模型決策能力，或訓練工具使用策略的團隊。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, Qwen, 工具, Python, Dataset 數據集

Segment-Snap：讓 AI 看懂3D 場景怎樣開門

Share to X

由室內3D掃描推斷可動部件、運動方式和把手位置，Segment–Snap把幾何線索與語義判斷接在同一條流程內。

Paper on arXiv

一張室內3D掃描不應只告訴你有門櫃，還要指出哪個部件會動、沿甚麼方向移動，以及人應在哪裏操作。Segment–Snap 屬於3D場景互動理解模型，處理的正是可動部件、運動類別、鉸鏈位置和把手之間的關係。

項目採用三個獨立訓練的 predictor 讀取同一個 RGB point cloud：Movable-part predictor 負責部件分割及旋轉、平移類別；Dense handle predictor 尋找細小把手；Joint part-handle predictor 再提出與部件相關的把手候選。把手位置會協助判斷旋轉部件的鉸鏈線，部件的幾何和類別則反過來改善把手標籤，兩個方向各行一次，沒有迭代式 feedback。

固定的 training-free decoder 會為可靠部件支援擬合方盒，利用垂直軸先驗推斷旋轉，並以表面法線處理平移；這令模型毋須另行訓練 motion regression。Joint predictor 的 parent parts 只作內部脈絡，最終輸出仍以獨立 Movable-part predictor 的部件結果為準，取捨相當清楚。

• Handles → part motion +27.25 個百分點，主要改善 hinge placement
• Parts → extra handles +5.01 個百分點，補充把手 proposals
• Part classes → handle labels +0.98 個百分點，修正部分 motion-class 判斷
• 三項結果來自 Articulate3D validation，指標為 motion AP 或 handle AP，增幅不可直接相加

測試時可按資料準備文件處理場景，再使用 Hugging Face 提供的 pretrained checkpoints 和 repository 內的 training configurations，重現公開 Articulate3D validation 實驗。項目較適合研究3D視覺、機械人感知、具身互動或需要分析門櫃等室內物件操作方式的團隊；它提供的是研究參考實作，並非可直接接駁家居控制系統的完整產品。

項目主頁 · GitHub · 模型

Categories: 開源, 香港理工大學, 模型, 模型訓練, 香港, 3D

Flash-dLLM 讓擴散式語言模型解碼更快、更省記憶體

Share to X

Flash-dLLM 把 KV-cache 管理和並行解碼放在同一套推理框架處理，減少擴散式語言模型反覆搬移資料造成的速度損失。

Flash-dLLM overview: Flash-Cache selectively refreshes tracked tokens, while Flash-Verify checks draft predictions using

擴散式語言模型每輪去噪都可能同時產生多個 token，但反覆更新 KV-cache 會令 GPU 花大量時間讀寫資料。Flash-dLLM 屬於免訓練推理加速框架，針對這個記憶體瓶頸提升解碼速度，亦保留可調校的準確度與吞吐量取捨。

Flash-Cache 以融合式 Triton kernel 一次處理 QKV projection、rotary positional embedding（RoPE）及 cache writes，並透過 block-scheduled attention 支援批次內不同查詢長度。它只刷新新解碼 token 及按 attention importance 選出的少量關鍵位置，避免每輪重算全部內容。

Flash-Verify 再利用同一個 diffusion model 同時擔任 drafter 和 verifier，毋須額外模型或訓練；draft token 與 [MASK] token 會透過兩種視圖驗證，符合信心門檻的預測可一併接受。

• LLaDA-1.5 測得 148–211 tokens/s
• 比無 caching 的 greedy decoding 快 22.3 至 148.2 倍
• GSM8K 和 HumanEval 比 Elastic-Cache 快 5.1 倍及 11.0 倍
• GPU 記憶體約比 Fast-dLLM 少 48%，可擴展至 batch size 32

這個項目適合研究 diffusion LLM 推理、GPU kernel 或高吞吐量服務的團隊。使用前需按儲存庫提供的環境及模型設定進行安裝和 evaluation；結果會受 GPU、批次大小、信心門檻及模型支援程度影響，數字未必能直接套用到其他 dLLM。

項目主頁 · GitHub

Categories: 開源, Embedding, 模型訓練, 框架, 庫

Awesome-Mental-Health-LLMs 資源集：識別情緒：研究走向個人化陪伴

Share to X

由理解情緒到持續提供個人化支援，心理健康 LLM 正面對推理、臨床框架與多模態整合等挑戰。這個開源整理庫把相關研究按方法和應用方向分類，方便研究者追蹤發展。

Tree

當心理健康支援需要理解情緒變化、配合個人背景並延續多次對話，單靠辨認文字模式並不足夠。Awesome-Mental-Health-LLMs 是一個研究論文整理庫，集中梳理大型語言模型（Large Language Models，LLMs）在心理健康領域的模型調整、臨床推理、個人化互動與多模態研究；它本身不是可直接提供諮詢的聊天工具。

整理的內容涵蓋模型適配方法、推理階段引導臨床推理、整合文字以外的線索，以及延續互動與個人化支援。清單亦收錄結合臨床框架和治療方式的研究，讓讀者比較研究如何處理同理心、判斷品質和長期互動，而不只是看模型能否回答單次問題。

更新欄列出 PanicToCalm、Kardia-R1 和 CARE-Bench 等工作，涉及恐慌發作支援、情緒支援推理，以及心理諮詢評估。暫沒有提供統一基準分數，因此不能單憑這個整理庫判斷哪種方法效果最好。

  • 按模型適配、推理策略、多模態及長期互動整理研究方向。
  • 同時收錄臨床框架、治療方式與個人化支援相關工作。
  • 部分項目附有論文和程式碼連結，方便延伸閱讀或自行測試。
  • 內容屬研究索引，並非臨床工具，也沒有統一性能評估。

研究者、心理健康科技團隊及希望追蹤相關文獻的臨床工作者，可用它建立閱讀清單、尋找可重現的研究程式碼，或比較不同研究如何處理臨床推理與持續支援。整理庫的價值在於縮短搜尋路徑；研究成果仍需獨立核對，不能取代專業評估或治療。

GitHub

Categories: 開源, Medical醫學, Dataset 數據集
Page 1 of 158
1 2 3 … 158