開源 – Page 14 – InferNews

DiffusionOPSD：將自我蒸餾影像獎勵轉為可更新訓練目標

2026 年 8 月 26 日

DiffusionOPSD 將影像級獎勵轉成可反覆更新的中間目標，補上 diffusion 訓練中間步驟的監督空白。它適合想在有限訓練預算下，改良生成質素同可診斷性的團隊。

DiffusionOPSD(ByteDance Seed) 主攻的是 diffusion 模型後訓練時，只有最終圖片分數、欠缺中間步驟指引的問題。它屬於一套用於模型後訓練的開源方法，透過 on-policy self-distillation，把影像級 reward 轉成可直接學習的中間目標。

它的做法不是單純追分，而是先用凍結的 behavior policy 收集低噪聲查詢狀態，再用 reward gradient 建出正負兩種 bounded target，最後由可訓練 policy 去擬合這些切斷計算圖的目標。這種安排把目標品質和模型更新分開處理，亦令 supervision 可以隨住模型演化持續刷新。

實作層面，公開版本支援 SD3.5-M 512²，同時覆蓋原生 few-step 的 Z-Image-Turbo 1024² 設定；文件亦提到可做單一 reward 或多個 reward 的加權訓練。原文未提供完整安裝流程或逐步使用指引，只能確認它有項目頁與程式碼釋出，適合自行拉取後依研究環境配置。

它和同類 diffusion reward optimization 的主要分別，在於用 on-policy 查詢配合 EMA 持續重建 supervision，而不是只依賴離線或固定噪聲替代狀態。官方結果聲稱在多個 evaluator 與兩種 backbone 上都有較強的最終 held-out 表現，亦以較少 GPU-hours 完成訓練；這令它特別適合做生成模型後訓練、獎勵對齊與方法比較的研究團隊。

將 image-level reward 轉成可學習的中間目標
用 EMA 反覆刷新 trajectory、anchor 與 target
支援 SD3.5-M 與 Z-Image-Turbo 兩種 backbone
可做單一 reward，亦可做多 reward 加權
適合研究 diffusion 後訓練同 reward alignment 的團隊

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 字節跳動, 模型訓練, Image, 影像處理, txt2img, 框架

AutoSaddler 重新整理 LLM Agent Harness

2026 年 8 月 26 日

AutoSaddler 會從執行失敗紀錄入手，幫 LLM agent 自動調整提示詞、工具同中介層。它唔只修一條路徑，仲會檢查改動能否推廣到其他情境。

Microsoft 研究團隊聯同 POSTECH、KAIST 及南方科技大學開發 AutoSaddler，針對長流程 AI Agent 容易因小錯誤累積而失敗的問題，建立自動優化 harness 的方法。

AutoSaddler 係一個用嚟自動優化 LLM agent harness 嘅開源項目，處理嘅係長流程任務入面，agent 因為提示詞、工具或控制邏輯有少少偏差，就一路累積錯誤而失敗呢個問題。佢唔係單靠反覆改 prompt，而係將 harness 當成程式去診斷同修補。

佢會分析執行 trace，找出失敗根源，再按既定補丁分類去改 prompts、tools、middleware 同 agent-loop logic。資料夾同佢用 durable、plugin-based 方式記錄狀態，適合要反覆試驗、回復同追蹤修改歷程嘅工作流。

同類方法通常只改少量提示詞，AutoSaddler 就將搜索範圍擴大到整個 harness，仲會用 validation 去挑選較能泛化嘅更新。初步結果顯示，佢喺 GAIA2、SWE-Bench Pro 同 Terminal-Bench 2.0 都帶來約 9 到 10 個百分點嘅 Pass@1 提升。

對做 agent 系統、評測框架或者自動化工作流嘅團隊特別有用，因為佢處理唔係單一模型輸出，而係整套執行環境點樣更穩定。項目要求 Python 3.12-3.14、uv 同 Git，官方建議用 uv run 去執行 Python 指令，代表佢偏向可重現同可追蹤嘅研究與工程整合。

以 failure trace 診斷問題，唔係淨係做表面反思
改動範圍包括 prompt、工具、middleware 同 agent loop
會驗證更新喺其他情境可唔可以保持效果
初步 benchmark 結果顯示有明顯提升
適合要持續調整 LLM agent harness 嘅團隊

項目主頁 · GitHub

Categories: 開源, Agentic, 微軟, 框架, 工具, Python, Dataset 數據集

WeMM-Embedding 統一多模態向量

2026 年 8 月 26 日

WeMM-Embedding 把文字、圖片、影片和視覺文件放進同一套向量空間，適合要做檢索、比對和跨模態搜尋的場景。它同時提供不同尺寸選擇，方便在準確度與成本之間取捨。

WeMM-Embedding 是一組多模態 embedding 模型，目標是把文字、圖片、影片、視覺文件和交錯式多模態輸入，轉成可直接比對的統一向量。對要做搜尋、相似度比對、內容檢索或跨媒體匹配的團隊來說，這種做法比逐一分開處理不同素材更省事。

它提供 2B、4B、9B 三個版本，還支援 Matryoshka dimensions，代表可以按需要輸出不同長度的 embedding，減少計算和儲存成本。README 也提到，向量來自 <embedding> token 的最後一層 hidden state，再做 L2 normalization；目前不支援 audio。

實作和試跑方式都算直接，既可以用 transformers，也可以用 SentenceTransformer 直接載入 Hugging Face 模型 ID。作者同時標明推理較建議用 transformers==5.2.0，原因是較新的版本在前處理行為上可能有差異；serving 方面則測過 vLLM 和 SGLang。

統一處理 text、image、video、visual document 和 interleaved multimodal inputs
支援 Matryoshka dimensions，可按成本需要縮短 embedding 長度
適合做跨模態搜尋、內容去重、相似度比對和檢索索引
推理可用 transformers 或 SentenceTransformer，部署可接 vLLM、SGLang
現階段不支援 audio，做語音相關流程要另配其他模型

對要處理多媒體內容的應用團隊、檢索系統、內容平台和資料整理流程，這類模型最直接的價值是減少多套表示法之間的銜接成本。它在多個基準上取得領先結果，但實際選型仍要看你要的是完整維度、較低成本版本，還是偏向部署效率的配置。

GitHub · 模型

Categories: 開源, 騰訊, AI productions, Embedding, 模型, 多模態模型, Video, Image, Audio

AutoResearch：AI 研究由構思變成可審查證據

2026 年 8 月 26 日

由研究方向發掘、實驗執行到獨立評估，AutoResearch 將一連串研究工作串成可追蹤流程。

AutoResearch workflow from a research idea to reviewable evidence

研究者只需提供一個想法，或者讓系統從近期論文、開發者社群及開源趨勢尋找方向，便可把研究構思推進至實驗計劃、程式碼、結果分析和獨立評估。AutoResearch 屬於開源的 AI and machine learning agent workflow，處理的是研究流程分散、難以重現，以及結果未有足夠證據支撐的問題。

流程不止於叫模型產生一份研究計劃。它會整理、去重和篩選網上訊號，再結合 knowledge base/ 內由使用者維護的研究經驗、限制和常見失敗模式，產生候選方向，經過 cross-review 後制定實驗計劃。已有研究想法的團隊亦可以略過發掘階段，直接執行指定項目。

研究計劃、程式碼、run logs、metrics、失敗原因、critic reports 和 blind reviews 都會寫入磁碟，流程亦具備 stateful、recoverable 特性，方便研究者檢查中途結果、接手工作或停止執行。這比一次過要求模型寫完整論文更適合需要反覆試驗的研究項目，但成果質素仍取決於模型、API、資料來源和實驗環境，不能把自動產出的證據視為已完成同行審查。

從近期論文、社群討論及開源趨勢收集研究訊號
以本地 knowledge base/ 補充領域經驗和限制條件
支援由 idea generation.py 啟動構思、篩選及結果更新
透過 config/providers.local.json 配置 endpoint、model alias 和角色模型
Python 3.10+，並要求把含 API URLs、keys 和 proxies 的 .env 留在本機

對個人研究者、小型 AI 團隊及需要大量驗證想法的實驗室，AutoResearch 可減少整理資料、安排實驗和記錄結果的重複工作。它更像一個可接管的研究協作流程，而不是單一模型；要測試完整能力，應先準備本地知識庫和模型供應商設定，再由一個小型研究方向開始，檢查生成計劃、執行記錄及獨立評估是否足以支持後續寫作。

GitHub

Categories: 開源, Agentic, API, 框架, Python

RiboSpan 把長篇 RNA 納入 10K 上下文模型

2026 年 8 月 26 日

長篇 mRNA 不再需要截斷處理，RiboSpan 以單核苷酸解析度同時理解完整轉錄本。

長篇 mRNA 過往容易因約 1K 的上下文限制而被截斷，令 5′ UTR、CDS 和 3′ UTR 無法放在同一個模型視野內。RiboSpan 是一個 RNA foundation model，實際處理的是完整長鏈 RNA 的聯合表示與下游建模問題。

項目採用 1.61B 參數的雙向 Transformer，每層都使用 dense self-attention，並以每個核苷酸一個 token 的方式保留位置對齊資訊。RiboSpan-10K 原生以最多 10,240 nt 的長度預訓練，不依賴推理階段延長上下文；訓練資料包括 6,760 萬條 RNA 序列，合共 857 億個核苷酸，來源涵蓋 RNAcentral、Ensembl 和 Ensembl Genomes。

單核苷酸 tokenization，保留高解析度序列位置
Bidirectional Transformer 可同時讀取上游、下游及遠距離資訊
RiboSpan-10K 原生支援 10,240 nt 長上下文
不加 task-specific head 或 fine-tuning，frozen representation 在評測中達到 state-of-the-art，長 RNA 尤其突出
以 40% masking 繼續預訓練，可提升高比例遮罩下的重建能力，同時保留 15% masked language modeling（MLM）訓練建立的 backbone 表示

研究者可從 Hugging Face 載入預訓練 RIBOSPAN checkpoint，再以 Python 整合序列表示、重建或其他 RNA 分析流程；checkpoint 會自動下載並快取，亦可改用本地路徑。模型規模和 dense attention 帶來較高的記憶體及運算成本，長度超過 10,240 nt 的轉錄本仍需另行切分或設計處理策略。

RiboSpan 適合研究 RNA 功能、長轉錄本表示和生物資訊模型的團隊，尤其方便先固定 backbone、再測試下游任務的人員。相較只處理約 1K 上下文的 dense RNA encoder，它保留完整轉錄本關係；代價是 1.61B 參數令本地推理和微調門檻更高，而模型權重亦採用非商業授權，商業項目需要先核對限制。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Python

Block3D 把文字轉 3D 生成加速至 4.99 秒

2026 年 8 月 26 日

Block3D 以區塊式擴散處理 3D shape tokens，在保留幾何質素及修正能力的同時，將生成時間大幅縮短。

由文字描述生成可用 3D 網格，往往要在幾何細節、生成速度和錯誤修正之間取捨。Block3D 是一個開源 text-to-3D 生成框架，針對離散 shape tokens 的逐個生成瓶頸，把固定長度的序列分成連續區塊，逐區塊生成並同時更新區內所有 token。

Block3D 延續自回歸模型由左至右的因果結構，但不再逐個 token 等待生成。每個 active block 會先進行 mask-to-token recovery，再以 token-to-token correction 修正低信心內容，確認後才提交並快取；凍結的 Cube shape encoder、text encoder 負責提供條件，Cube shape decoder 則把完整序列轉成輸出網格。這讓它比需要反覆處理整個 3D 表示的 diffusion 或 flow-matching 方法節省計算，也補上傳統 autoregressive decoding 難以回頭修正的限制。

在 TRELLIS-500K 留出測試集上，Block3D 的平均端到端生成時間為 4.99 秒，較微調後的 autoregressive baseline 25.71 秒快 5.15 倍，同時維持相近的幾何質素；報告指標包括 1% 閾值 F-score 0.309 和 normal consistency 0.668。結果適合需要批量產生概念模型、遊戲資產草稿或 3D 設計初稿的研究及開發團隊，但不能直接理解為所有提示詞和複雜網格都能維持同一水平。

測試需要 Linux、Python 3.10+、PyTorch 2.2+ 及 CUDA，訓練報告使用四張 NVIDIA A100 80GB GPU；TRELLIS-500K 數據不隨儲存庫提供。推理、訓練和評估程式已公開，pymeshlab 屬可選元件，Blender 只在 trimesh 無法直接讀取某些網格格式時需要，PyTorch3D 則用於 eight-view CLIPScore 評估。

速度：平均 4.99 秒完成一次端到端生成。
方法：區塊間保持因果生成，區塊內進行並行去噪及信心導向修正。
質素：在 TRELLIS-500K 測試集維持 0.309 F-score@1% 及 0.668 normal consistency。
門檻：需要 CUDA 環境；訓練成本以四張 A100 80GB GPU 為參考。

Block3D 的價值不只在於縮短等待時間，而是以區塊為單位保留部分修正空間，兼顧自回歸生成的結構控制和並行處理的效率。對需要自行研究 text-to-3D 推理流程、比較 Cube 與 TRELLIS 相關方法，或建立批量生成管線的團隊，它提供了可直接檢驗的開源基礎；對只有一般消費級 GPU 的個人使用者，則應先確認推理配置和模型資源是否足夠。

項目主頁 · GitHub

Categories: 開源, NVIDIA, 3D, Linux, Python

JoyAI-Echo: 拓展長音訊視訊生成技術

2026 年 8 月 26 日

它把文字轉影片做成可跨鏡頭延續的音畫生成流程，重點不只是一段片，而是人物、聲音同場景連貫下去。ComfyUI 節點版本可配合官方推理管線，方便逐鏡調整。

JoyAI-Echo 是一個面向 text-to-video（T2V）同多鏡頭長片段生成的模型項目，處理的是短提示詞難以撐住長篇敘事、角色外觀與聲音容易斷裂的問題。它的做法不是單段出片，而係用跨鏡頭 memory 去維持故事連貫，連動音畫一致性。

官方說明強調它走 full bf16 precision，唔採用 GGUF quantization，目標係貼近正式推理管線的輸出。現階段支援 T2V，同多鏡頭長視頻；image-to-video（I2V）未支援。另有 ComfyUI_JoyAI_Echo 節點包，適合想喺工作流入面逐鏡改 prompt、即時預覽、再串接後續鏡頭嘅人。

可做長篇音畫故事，展示例子去到 10 分鐘
支援少步數生成，長片與 causal world model 都偏向快速推理
cross-shot memory 會保留角色外觀、聲線同連貫性
ComfyUI 版本方便分鏡調整，同官方管線保持一致
目前重點在 T2V，多鏡頭長片段，未覆蓋 I2V

它和一般單段影片模型最大分別，在於將「一段生成得像」推進到「多段接得住」。如果要放進實驗室、內容團隊，或者做互動世界、長敘事原型，這種可續接的記憶機制會比只看單次輸出更實用；但代價是對 GPU 記憶體要求高，官方節點提到 48GB VRAM 同 GPU memory hot-swap 才較穩陣。

項目主頁 · GitHub

Categories: 開源, ComfyUI, 多模態模型, 視頻模型, 世界模型, Video, Image, Audio

DeepSeek Harness 把多 Agent 協作變成可控工作台

2026 年 8 月 25 日

[教學影片]DeepSeek Harness 讓 DeepSeek dsh 變成可啟動 Web UI 的開發者工作台，重點放在多個 Agent 並行處理、動態工作流同插件擴展。它適合要在複雜程式碼庫入手審計、協作同加速探索嘅使用場景。

DeepSeek Harness 把 DeepSeek dsh 做成一個可啟動 Web UI 的開發者工作台，處理的是複雜程式碼庫入面要同時分工、同步同收斂結果的問題。影片實測重點放喺並行只讀審計、動態派生 SubAgent，同埋最後將多路輸出整合返去。

它同一般單一路徑的助理做法不同之處，在於可以按工作內容拆成多個 Agent Teams，再根據任務需要即時調整流程。這種安排適合審查、分析同探索型工作，因為不同子任務可以同時展開，唔使一條線慢慢行。

片中亦提到插件開發門檻較低，代表它不只係拿來跑預設流程，仲可以按團隊習慣加功能。對要處理既有代碼、要快速驗證想法，或者想將 AI 工具接入日常開發流程的人，這種擴展性會更實用。

重點摘要：
– 以 Web UI 包裝 DeepSeek dsh，方便直接操作
– 支援多個 Agent 並行工作，減少單線等待
– 可動態派生 SubAgent，按任務拆分工作
– 插件擴展門檻較低，方便接入自訂流程
– 適合複雜程式碼庫審計、協作同探索任務

項目主頁

Categories: 開源, Agentic, DeepSeek, 教學, 編程, 安全, UI/UX

MiniMax H3 在 ComfyUI 實現換臉換身工作流

2026 年 8 月 25 日

MiniMax H3 配合 ComfyUI 自訂節點，示範如何建立換臉與換身流程，方便整理影像生成工作流。

由換臉延伸到換身，影片示範 MiniMax H3 在 ComfyUI 中處理人物影像替換的完整流程，重點放在如何把不同步驟串連起來，減少使用者自行摸索節點配置的時間。

流程以 ComfyUI 為操作環境，並配合 custom nodes 建立 Face Swap 和 Body Swap 工作流。對需要處理人物素材、測試影像生成效果，或想將換臉與換身加入現有影像項目的創作者，這類示範可作為起點。

影片涵蓋的內容包括：
– MiniMax H3 在 ComfyUI 中的工作流安排
– Face Swap 換臉流程
– Body Swap 換身流程
– custom nodes 的配合方式
– 從輸入素材到結果輸出的完整操作示範

使用者仍需按素材類型、節點版本及本地環境調整設定，並留意人物影像替換涉及的肖像權與授權問題。

項目主頁

Categories: 開源, ComfyUI, 教學, 安全, MiniMax, UI/UX

ComfyUI-MiniMaxH3-Contex-Loop：讓 MiniMax H3 多場景影片可重試續作

2026 年 8 月 25 日

把多場景影片拆成可審核、可重試的製作流程，減少一次渲染失敗便要由頭再做的浪費。

MiniMax H3 Contex Loop v0.5 — scene plans that survive the render

多場景影片最麻煩的地方，往往不是生成單一鏡頭，而是其中一幕出錯後要重做整段流程。ComfyUI-MiniMaxH3-Contex-Loop 是一套開源 ComfyUI 工作流工具，利用一個可重用的 sampling body，按 scene Plan 逐幕生成 MiniMax H3 影片，並把已接受的片段從磁碟組合起來。

每個場景都可以獨立設定提示詞、seed、時間、圖片、動態影片及音訊參考；Review Gate 會讓使用者選擇批准、重試、reroll 或提早停止。candidate_count 亦可為單一場景生成多個候選，最後由使用者揀選指定 take，減少整條工作流反覆排隊的成本。

支援中斷後 resume、partial assembly 及 atomic checkpoints
可延續現有片段，處理 inpainting 和 two-ended bridges
Guide 與 protected AV-prefix transitions 有助維持畫面、動態及聲音連接
支援 latent-to-PNG export，並可從已儲存資產恢復製作

v0.5 要求較新的 ComfyUI，包含原生 Add Guide for MiniMax H3。FFmpeg 放在 PATH 會較方便，沒有時可由 ComfyUI 內置 PyAV 處理 review 和 assembly，因此硬件、模型配置及渲染時間仍然是主要限制。倉庫目前以 main 作為支援的 0.5 發行線，已儲存的 0.4 workflows 和 checkpoints 仍然支援，較適合把生成流程分段管理的影片創作者及技術團隊。

GitHub

Categories: 開源, ComfyUI, AI productions, Video, Image, 框架, MiniMax

Page 14 of 92

« Previous 1 … 12 13 14 15 16 … 92 Next »