InferNews

WorldFoundry：影片、3D 世界放進同一模型工作流

2026 年 11 月 10 日

研究團隊將會可以用同一套工作流探索模型、執行生成、檢查產物及比較評測結果；不同模型的輸入方式與評測協議仍各自保留。

WorldFoundry，一套用於影片、3D 與 4D、具身動作及互動式世界系統之可重現推論與評估的開源基礎設施。WorldFoundry 把影片生成、互動世界、3D／4D 重建及具身動作模型放進同一套推理與評測工作流，屬於開源框架。它處理的問題是：模型種類繁多，如何整理執行條件、檢查生成結果，並在保留各自協議的情況下比較評測資料。

推理可透過命令列、終端介面或瀏覽器版 Studio 執行。Studio 亦可檢視任務狀態、生成媒體與幾何資料，評測則以模型和基準的組合執行，並整理正規化指標、就緒狀態及資格評分卡。

它沒有把不同模型硬塞進相同的評測方式，共享的是目錄、素材格式與結果計算流程，原生輸入、執行語義和評測協議仍按模型保留；評分亦區分文件宣告的支援、操作就緒程度與已驗證表現，避免把列入目錄或展示範例當成基準成績。

執行環境要求 Linux 和支援 CUDA 的 NVIDIA GPU；預設統一環境需要支援 CUDA 12.8 或以上的驅動。推理、Studio、評測及開發共用 CUDA 環境，但 ABI 或模擬器等個別模型需求可能需要不同環境。

目錄涵蓋影片、互動世界、3D／4D、VLA／VA／WAM 等模型類別。
可在 CLI、終端介面及瀏覽器版 Studio 執行目錄內的推理流程。
生成影片、幾何資料與執行紀錄可供檢查，亦可在生成後重新評分。
比較結果時需留意各模型仍採用不同輸入方式與評測協議。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, AI productions, 模型, 世界模型, NVIDIA, DeepSeek, Video, VLA, World-Action Model, 框架, 3D, Linux

PCBRouteAgent：讓 AI 規劃並修正電路板佈線

2026 年 11 月 10 日

PCBRouteAgent 把全板佈線規劃交給多模態代理，再以 KiCad 原生路由器執行並回報失敗原因。它在 247 塊電路板上的測試，也揭示連線完成不等於設計規則全數過關。

PCB 佈線不只是把焊盤連起來，還要避免走線互相阻擋，並符合間距、線寬等設計規則。PCBRouteAgent 是一個多模態代理框架，讓大型語言模型（LLM）負責安排連線順序、路徑和層次，再由 KiCad 的原生推擠式路由器（push-and-shove router）處理具體走線；遇到障礙時，執行結果會回傳給規劃器，供它調整策略。

這種分工讓代理不必單靠模型逐段猜測幾何路徑，也保留全板層級的規劃能力。項目以 PCBWorld 的 247 塊電路板測試，使用 PCBWorld 官方評測器檢查連線是否完成，以及 KiCad 是否回報設計規則錯誤；電氣連通完整仍不足以代表所有訊號限制都已符合，案例亦顯示前段走線可能堵住後續連線。

• Opus 版本在 D2、D3-A、D3-B、D3-C 的 clean pass 分別為 100%、94.9%、100% 和 40%，不同測試集的落差明顯。
• 使用相同 Haiku 模型骨幹比較時，框架提升完成度，整體模型呼叫約減少 131 倍，API 成本約低 4.3 倍。
• 測試以固定元件位置、網表及設計規則的 KiCad 電路板為輸入，輸出仍是 KiCad 格式的已佈線電路板。

這套流程適合研究 PCB 自動化、評估模型代理能力，或需要批次比較佈線結果的工程團隊；但 D3-C 的 clean pass 仍只有 40%，不能把代理輸出的完整連線直接當成符合工程要求的成品。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, API, 框架, Anthropic

LowRAM：用預測壓縮長文本 KV Cache

2026 年 11 月 10 日

長文本推理想慳顯示記憶體，不一定要保留每筆快取。LowRAM 用預測重建資料，但壓縮幅度與答案質素仍要取捨。

LowRAM: up to 26.9× KV-cache compression, retaining 94.5% of the uncompressed LongBench score on Mistral-7B prompts over

自回歸解碼依賴 KV 快取，其記憶體占用量會隨上下文長度呈線性成長，並限制批次大小與吞吐量。

現有的後訓練方法會利用詞元、層與特徵維度之間的冗餘，或降低數值精確度。LowRAM 找到一個互補的維度：在每個注意力頭內，值在很大程度上可由其對應的鍵預測。我們利用這一點採用值快取攤銷，在測試時僅需為每個注意力頭配備輕量級預測器，且只儲存其重建效果最差的詞元之殘差，即可達到近無損的 4 倍值壓縮。

預測器可透過元學習初始化，以大幅降低預填充開銷；也可在容許一次性成本的情境下從頭擬合，例如多查詢推理。我們將值攤銷與跨層低秩鍵壓縮結合，形成 LowRAM——一套非對稱壓縮管線，在三個模型系列中皆能維持接近無損的表現。LowRAM 在每個解碼步驟僅重建選定子集的 KV 配對，因此能將解碼開銷降至最低，並在 4 倍壓縮下實現最高 5 倍的峰值解碼吞吐量。

項目的 CompressedCache 可接入支援 Transformers 的模型流程，keys 與 values 能分別設定壓縮方式，不限於單純量化。

跨層壓縮 keys，減少重複儲存。
可配合量化及 token eviction，進一步縮小快取。
提供預訓練預測器及 Llama、Mistral 範例。

測試前須準備 Python 3.12、CUDA GPU、Git LFS 及模型存取權限；預設 Llama-3.1-8B-Instruct。文件建議由 4K-token 範例開始，但提供的節錄未包含完整安裝及執行步驟；網站的 128K 展示則是錄製結果，並非即時推理。

Mistral-7B-Instruct-v0.3 在超過 10K tokens 的測試中，結合量化與淘汰可達 26.9 倍快取壓縮，保留未壓縮 LongBench 分數的 94.5%。這不是準確率，也不代表整體 GPU 記憶體縮小同樣倍數；團隊仍須以自己的文件檢查答案細節與速度。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, 工具, LLaMa, Python

NVidia Open-H3-Regenerate-2K：用三步擴散將影片草稿精修至 4K

2026 年 11 月 10 日

用 H3 或其他影片模型生成草稿，再把細節補到高解像度；這個開源項目讓影片精修不再只限於官方 API。

人物面孔、衣料紋理或樹葉細節，在低解像度影片放大後容易變得模糊。Open-H3-Regenerate-2K 是一個開源影片精修項目，接收 H3 或其他影片模型產生的低解像度草稿，重新繪製細節，輸出可達原生 4K，適合想保留原有畫面與動作、同時提升清晰度的創作者和影片工作流程。

支援 5 至 15 秒片段及 768P、1080P、2K、4K 輸出。精修階段以 H3 擴散模型進行三步去噪，毋須先解碼成影片再重新編碼。項目保留 H3 Transformer 和影片 VAE 的原有權重，只加入經訓練的 Refiner LoRA。

效能測試中，單張 B200 GPU 配合 SoL-Engine，處理 5 秒 2K 片段需時 22.45 秒；官方 API 測得 87.26 秒。RefinerBench-150 評測中，項目在 UniPercept 三項指標及 VBench 的美感、成像品質和主體一致性得分較高；200 次盲測判斷中，87% 偏好本項目輸出。這些結果反映特定測試條件，其他硬件或片段的速度與畫質未必相同。

可把 384P、512P、576P 或 768P 草稿精修至最高 4K。
支援 H3 草稿，也可輸入其他影片模型生成的影片。
三步擴散精修，直接放大潛在表示，避免解碼後重新編碼。
官方 API 不提供模型權重；開源版本讓項目使用者可自行執行或調整精修流程。

另提供 Open-H3-Regenerate-2K-IC 模型，提供模型檔案。開始前仍需查閱相關程式碼與模型文件確認硬件需求。

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 視頻模型, 模型訓練, API, Video, 影像處理, Audio, 提示詞, Content Creator, Discord, 3D, MiniMax, LoRA

BILBY-MD：把蛋白質結構放入動力學驗證

2026 年 11 月 9 日

蛋白質設計模型交出穩定結構，未必代表 motif 在運動中仍然可靠。BILBY-MD 以分子動力學補上這一步。

蛋白質是由一串氨基酸摺疊而成的微型機器。其中真正負責「幹活」（比如咬住病毒、催化化學反應）的關鍵核心區域，叫做「基序」

過去 AI 的兩大痛點，題目又少又偏心：以前大家都只拿少數幾題、人工精心挑選過的基序來考 AI，根本看不出 AI 的真實全面實力。為了徹底解決上面兩個盲點，作者直接推出了兩套工具：

BILBY-PRO（超大規模的標準試卷庫）：
不再人工挑偏門題目，直接從權威資料庫（PROSITE）系統性撈出 174 類、共 220 道真實有功能的結構基序大考題，全面普查各家 AI。結果令 RFDiffusion 和 Proteina 變成「答題王」：能解開的題目最多、覆蓋率最高。

BILBY-MD（動態全原子模擬裁判）：
這就是前面提到的 BILBY-MD！它是一套「全原子分子動力學（MD）模擬考評框架」。

它不再只看靜態模型，而是把 AI 設計出來的蛋白質直接丟進模擬水溶液中「實測運轉一陣子」，看它在分子震盪動態下，那個關鍵基序是不是還能穩穩固定、結構會不會垮掉，用最嚴苛的動態標準給 AI 打分數。

項目主頁 · GitHub · 數據集

Categories: 開源, 模型, DeepSeek, 框架, 軟件, Dataset 數據集

SplatAnything：用 3DGS 重建不同尺度場景

2026 年 11 月 9 日

從日常物件到航拍景觀，SplatAnything 嘗試用同一模型重建不同尺度的場景，並以 Gaussian 間距正規化改善尺度變化帶來的監督歧義。

Animated SplatAnything reconstructions of objects, indoor rooms, street scenes, and aerial views

由細小物件轉到街景或航拍畫面，場景尺度和相機位置一變，3D Gaussian Splatting（3DGS）的高斯大小就較難用一致方式預測。SplatAnything 是 InfiniSplat 系列第三版的前饋式 3D Gaussian 重建模型，目標是讓單一模型處理不同類型與尺度的場景，面向自動駕駛、機械人導航、AR/VR 及遊戲開發等用途。

它的關鍵改動，是不再只按高斯到參考相機的平均徑向距離設定尺度基準，而是把場景轉換到以高斯間距正規化的空間。這讓不同場景中相似影像區域的尺度目標較一致，減少監督訊號含糊造成的覆蓋不足或高斯過度重疊。對需要跨場景重建的團隊而言，這比逐個場景調整尺度更有機會帶來穩定結果；但提供的資料未列出量化比較數字，改善幅度仍難以判斷。

模型接收多張輸入影像，亦可選擇提供相機參數；接著由凍結的幾何基礎模型估算多視角幾何，再轉換正規化空間，最後透過 Gaussian backbone 和輕量 GShead 預測每個像素的高斯屬性。這套流程結合預訓練幾何能力與專門的尺度處理，適合研究跨場景重建的人員，以及自動駕駛、導航或沉浸式內容團隊評估。

一個模型涵蓋物件、人像、室內、街景及航拍場景。
以高斯間距正規化，改善不同場景的尺度監督一致性。

想先檢視重建效果，可以使用 Hugging Face 示範或在項目網站瀏覽互動場景；網站亦提供下載場景 HTML 檢視器的方式。若要在本機執行推理，雖然模型權重已公開，現有文件內容不足以確認完整安裝流程、硬件需求及推理指令，宜先核對項目文件再安排測試。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Image, 3D, 自動駕駛

Video-Coder：用 AI 幫 Blender 補足影片生成的物理控制

2026 年 11 月 9 日

Video-Coder 先用 Blender Python 建立具結構與動態的 Draft Video，再交給影片生成器完成畫面，改善物理合理性與控制能力。

影片生成遇到物件互動、鏡頭運動或物理效果時，單靠文字直接生成往往難以穩定控制。Video-Coder 以 coding agent 身份編寫並執行 Blender Python，建立 3D 場景及 Draft Video，再把物件位置、動作和鏡頭資訊交給下游影片生成器；項目屬於影片生成代理項目，處理的是生成結果缺乏明確結構與物理約束的問題。

核心流程放在 Video-Coder Harness：代理會寫程式、執行、檢查結果，再按回饋修改程式。模型先以 supervised fine-tuning（SFT）訓練，之後接受 harness-native agentic reinforcement learning（RL）；執行獎勵會逐步轉向影片獎勵，令程式能夠產生可用的場景草稿。Video-Coder-9B 建基於 Qwen3.5-9B，並可配合不同 Video generators。

以可執行 3D 程式補強直接文字生成
Draft Video 提供結構、動作與鏡頭訊號
同時提供 SFT、RL 訓練流程及訓練資料
Video-Coder-9B 配合 MiniMax-H3 可提升物理相關評分

評測結果顯示，Video-Coder-9B + MiniMax-H3 在 PhyGenBench 平均取得 0.67，高於 MiniMax-H3 的 0.61；VBench-2.0 平均為 78.19%，較單獨使用 MiniMax-H3 的 54.58% 高 23.61 個百分點。Mechanics 分數達 88.67%，但這些結果依賴特定模型組合，未必能直接代表所有影片生成器的效果。

項目提供 Video-Coder-9B、Video-Coder-SFT-9B 模型及 Video-Coder-train-data，並列出 SFT 和 RL 的 Python 3.12 環境設定方向；提供的資料未包含完整推理流程，訓練指令亦在輸入內容中截斷。研究團隊、影片模型開發者及需要精確控制物件互動的創作者，較容易從這套程式驅動流程受益，但使用者需要準備 Blender、模型推理及訓練所需的運算資源。

項目主頁 · GitHub · 模型

Categories: 開源, 清華大學, Agentic, AI productions, 模型, 模型訓練, Qwen, 微軟, Video, Vibe Coding, Content Creator, 3D, Python, 編程, Dataset 數據集, MiniMax, 強化學習

Confucius4-R2T2：即時語音辨識

2026 年 11 月 9 日

開源串流 ASR 模型以 160 毫秒更新文字，並把未確認部分留在內部，減少字幕閃動與後續重寫。

即時字幕最惱人的問題，不只是慢，而是文字一邊出、一邊改。Confucius4-R2T2 針對這個矛盾，採用只追加、不回頭修訂的穩定前綴（Stable Prefix）串流設計，已確認的文字永久提交，未確認內容則留在模型內部，適合直播字幕、即時傳譯及接入 Large Language Model（LLM）的語音流程。

這是一個開源的低延遲自動語音辨識（Automatic Speech Recognition，ASR）模型，源自 Qwen3-ASR-1.7B，透過 Longest Stable Prefix（LSP）學習及 1,500 小時中英文音訊訓練。解碼區塊可設為 80 毫秒至 2 秒，權重優先與延遲優先模式均只輸出已提交內容，並可加入主題及詞彙提示。

160 毫秒（10 分之一秒）解碼、每次保留一個暫存 token 時，辨識錯誤率為 5.76%。
相同串流設定下，基礎模型錯誤率為 21.01%。
完整上下文參考結果的錯誤率是 5.15%，差距已相當接近。
同一個 checkpoint 支援完整上下文及串流辨識，涵蓋 13 組中英文測試集。
項目提供 vLLM、Hugging Face transformers 離線路徑，亦可選擇 llama.cpp 解碼。

它並非把所有即時輸出都交給下游處理，而是以 Longest Stable Prefix（LSP）學習配合 Wait 動作，訓練模型分辨哪些內容可以提交、何時需要更多音訊。訓練分為 SFT 與 GRPO 兩階段，只更新語言解碼器，音訊編碼器及 projector 保持凍結，亦沒有改變原有架構。

取捨主要落在準確度與輸出延遲之間：調整解碼區塊和暫存 token 預算即可改變兩者關係，毋須重新訓練。專注即時字幕、會議紀錄、同聲傳譯或需要即時觸發動作的 LLM Agent 團隊會較容易受惠；代價是已提交文字不能修訂，而且所報延遲未包括服務及網絡時間。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, Audio, LLaMa, 語音

EvoWorld：讓鏡頭外世界持續演化並保留因果變化

2026 年 11 月 9 日

EvoWorld 將 VLM 推理與視覺渲染結合，處理影片中離開視野的物件如何繼續變化，並在鏡頭返回時保留合理反應。

鏡頭轉開後，世界唔應該停唔轉。EvoWorld 是一套生成式影片系統，專門處理「Out-of-Sight World Evolution」（鏡頭外世界演化）：物件離開畫面後仍會參與事件，等鏡頭再次回到同一人物或場景，變化亦要延續落去。

LTX-2.5 負責輸出影片：EvoWorld 作為 visual renderer，將條件轉成 896 × 512、24 fps 影片。

EvoWorld 負責「鏡頭外發生咗乜」：透過視覺語言模型做推理，再配合影片生成器，令鏡頭移開後嘅事件仍然可以發展；鏡頭返轉頭時，呈現合理嘅事件結果，而唔係只還原之前見到嘅畫面。

支援事件觸發的世界演化，可由用戶指定中途發生的事件。
重現原本的人物與場景，維持身份及整體連續性。
渲染鏡頭外動態與因果反應，而不只是重播舊有畫面。
EvoWorld-Data 提供約 12,000 段影片，涵蓋 65 種事件、63 種場景及 14 種反應類型。
EvoWorld-Bench 設有 120 個測試案例，評估事件、重訪與反應的完整流程。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 視覺模型, 多模態模型, Gemini, Video, 提示詞, 框架, Linux, Python, LTX, Dataset 數據集

ComfyUI-Ref2VA-VSA：把角色影片生成壓至 72 秒

2026 年 11 月 9 日

單張 RTX 4090 生成 5 秒角色影片只需約 72 秒，VSA 以稀疏注意力和四步取樣降低等待與記憶體需求。

角色一致性影片往往要等上一分鐘以上，迭代鏡頭時尤其影響節奏。ComfyUI-Ref2VA-VSA 是一組針對 MiniMax H3 Reference-to-Video（Ref2VA / R2VA）的 ComfyUI 自訂節點與推理優化，讓單張消費級 NVIDIA GPU 也能處理參考角色影片。

核心改動是 Video Sparse Attention（VSA）：把影片注意力限制在 75% 的 top-k 稀疏範圍，配合 4 步 euler/simple 取樣。測試使用 RTX 4090 24GB，在 1344×768、24 fps、124 帧及 5.16 秒條件下，首次生成約 95 秒，預熱後約 72 秒，峰值記憶體約 13.5GB。

同一提示詞、角色參考圖、seed 與輸出規格下，VSA 比 Video Delta Net（VDN-H3）的 8 步流程快 2.24 倍，後者預熱後需約 135 秒。項目亦報告 VSA 比原生 MiniMax H3 快 9 倍，優點主要來自更少取樣步數與稀疏 Video Sparse Attention，而非單純換用另一個模型。

要開始使用，需要支援原生 MiniMax H3 的新版 ComfyUI、已安裝 comfy-kitchen 並啟用 CUDA sol attn，以及至少 24GB VRAM 的 NVIDIA GPU，例如 RTX 3090、RTX 4090、A5000 或 L40S。項目文件未列出完整安裝與操作步驟、下載連結或工作流程設定。

4 步取樣，預熱後生成時間約 72 秒
75% 影片稀疏 top-k attention
RTX 4090 測試峰值記憶體約 13.5GB
支援 MiniMax H3 角色參考影片生成
適合需要頻繁調整角色影片的創作者與小型團隊

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, NVIDIA, Video, 提示詞, Content Creator, 庫, MiniMax

Page 1 of 189

1 2 3 … 189 Next »