InferNews

Gemini Robotics 2.5：讓機械人更懂得感知與行動

2026 年 11 月 11 日

Gemini Robotics 2.5 聚焦真實環境中的機械人智能，讓機械人感知周遭、作出推理並與環境互動。

1p0vcWGLECMy9qInQW 1AumUwO5fa37wyJ66G0eO8H14BurbFkN7NkKAXbjXYXZ9tS034NyZ9ByuQk8ptQ24dLcMBeg6o fHMmauBZJ7KAXdM5NHFQ=w1440

過去數年，人工智慧在大語言模型（LLM）與多模態推理上取得了突破性進展。然而，當我們嘗試將這些「數位大腦」移植到實體機器人時，卻遭遇了嚴苛的現實障礙：機器人在實驗室裡表現亮眼，一旦走進雜亂、充滿動態變數的真實世界，往往因缺乏靈巧度、應變力與安全性而頻繁失誤。

Gemini Robotics 2.5 的方向，是把感知、推理和互動能力帶進實體機械人工作流程，面向需要處理真實物件與環境變化的任務。

與預設指令執行固定動作的做法相比，這類模型著重把視覺理解、推理及工具使用連接起來。對研究機械人控制、設計任務流程或探索人機協作的團隊，這種能力有望減少任務與環境之間的落差。

Gemini Robotics 2.5，正是為了解決這道橫跨在「數位認知」與「物理操作」之間的鴻溝。作為迄今最強大的視覺-語言-動作（Vision-Language-Action, VLA）模型，Gemini Robotics 2.5 不僅提升了機器人的操作靈巧度與學習速度，更透過在賓士（Mercedes-Benz）真實汽車裝配線上的驗證，象徵實體智慧（Physical Intelligence）正式跨出實驗室，邁向規模化落地。

從以下幾點理解它的定位：
– 面向真實世界的實體互動，而非只生成文字或影像。
– 涵蓋感知、推理、工具使用與環境互動。
– 適合關注機械人任務規劃及人機協作的研究與開發團隊。

項目主頁

Categories: Agentic, 模型, Google, Gemini, NanoBanana, Video, Image, Audio, Robotic, 工具, 安全

ProTEUS 顛覆閉環蛋白質的「突變解析世界模型」

2026 年 11 月 11 日

設計蛋白質變異時，預測只是起點；ProTEUS 把模型排序和濕實驗結果接起來，逐輪挑選更有機會提升功能的候選序列。

在合成生物學與生物製藥領域，高活性、高穩定性的蛋白質酶一直是生技研發的核心聖杯。然而，傳統的「定向進化（Directed Evolution）」與當前主流的 AI 蛋白質設計工具，依然被困在巨大的序列空間與昂貴的濕實驗（Wet-lab）瓶頸中。

挑選蛋白質變異時，單靠預測未必能找出真正有效的序列。ProTEUS 把模型設計、實驗室測量和下一輪候選連成閉環，協助研究人員逐輪搜尋具有更高活性的變異蛋白。

蛋白質由 20 種天然胺基酸排列組合而成，僅僅一條 300 個胺基酸的中型蛋白質，其潛在突變空間就高達 $20^{300}$，遠超宇宙原子總數。項目先利用已測量的蛋白質功能資料訓練模型，再根據突變效果為候選序列排序；每輪測試 30 個變異，取得濕實驗結果後，便用累積測量重新調整目標預測器。預訓練表示則保持固定，讓後續搜尋能利用新結果，而不必每輪重做整套預訓練。

ProTEUS 在兩種蛋白質上展示了閉環演化流程。SacB 經過 3 輪、測試 90 個變異，最佳篩選活性達野生型的 14.03 倍；另一條 SacB 演化路線達 12.38 倍。ALDH 經過 5 輪、測試 150 個變異，最佳篩選活性為野生型的 6.85 倍。這些數字是篩選活性，不應直接解讀為已證明所有用途下的功能提升。

項目亦以 132 萬筆變異測量、涵蓋 161 種蛋白質背景的資料進行預訓練。研究報告指出，把功能訓練資料增加 80 倍後，測試誤差下降 56.3%；在預訓練測定中的留出變異測試，MSE 由 0.262 降至 0.115。這些結果反映特定資料與評估設定下的表現，未代表所有蛋白質或實驗條件。

ProTEUS 適合需要在有限實驗批次中安排蛋白質候選測試的研究工作流，尤其是能反覆測量功能並把結果用於下一輪設計的情境。它的成果仍受目標蛋白、測定方式和候選範圍限制，實驗驗證是閉環中不可缺少的一環。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 世界模型, 模型訓練, Video, Vibe Coding, Medical醫學, 編程, 安全

MiniMax-H3-Image：1600 萬像素解析度。支援 16 張參考圖編修影像

2026 年 11 月 11 日

驚人的逼真效果。精準的快速跟隨和編輯。最多可導入16張參考影像。所有操作僅需10秒。文字生圖與多圖編修可接入同一套服務，但仍未支援遮罩編輯與透明背景。

真正將生成式影像投入專業商業生產線的創作者，往往面臨著難以言說的妥協：一般模型輸出解析度長年卡在 1024×1024（約 100 萬至 400 萬像素），若要用於印刷或 4K/8K 螢幕，必須仰賴外掛的 Upscaler（超解析度放大演算法）；而這些外掛放大器往往會破壞原圖細節，甚至生成不自然的面部扭曲與塑膠質感。此外，多數開源模型在面對多圖參照、精準編輯時，指令遵循度（Instruction Following）常顯疲態。

MiniMax 官網最新推出開源 MiniMax-H3-Image 影像模型，它提供兩種入口，方便開發者將生圖與編修接入創作流程。編修時可同時輸入指令及 1 至 16 張參考圖。

輸出可自訂寬高，或按長寬比配合面積級別設定，最高達 2,000 萬像素。兩種尺寸設定不能混用；當中的 1K、2K、4K 代表目標面積級別，並非固定邊長。

每次可生成 1 至 10 張圖片。
ComfyUI 亦已正式發佈 Template 支持
支援 jpeg、png、webp 輸出。
啟用 stream 後，結果會逐張傳回，不提供預覽圖。
不支援遮罩編輯或透明背景。

prompt 最多接受 32,000 字元，但關閉提示詞增強（prompt enhancement）後，約只有前 4,096 個 tokens 生效，安排詳細需求時要留意。

MiniMax-H3-Image 擁有高達 331 億（33.1B）參數的密集型單流 Diffusion Transformer（DiT），骨幹網絡繼承自 MiniMax-H3 系列，具備 50 層密集架構與 3D 多模態 RoPE。如此龐大的模型，若採用傳統 30～50 步的採樣排程，推論成本將極其高昂。
MiniMax 透過尖端蒸餾技術，將推論採樣壓縮至僅需 6 個採樣步驟（6 NFEs）且無需 CFG（Classifier-Free Guidance）。這意味著在 SGLang 或 vLLM-Omni 框架下，結合序列並行（Sequence Parallelism / Ulysses），可以在單卡或多卡 GPU 叢集上以極短延遲輸出巨幅畫面，使商業化的高畫質即時生成具備了經濟可行性。

需要嘗試較快版本，可指定 MiniMax-H3-Image-Highspeed，參數與限制相同。

項目主頁 · 模型

Categories: MCP, 模型, Google, NVIDIA, API, Video, Image, 影像模型, txt2img, 提示詞, 教學, Discord, Python, 語音, 蘋果, MiniMax

ReFoCo：讓視覺 Transformer 學會「聚焦」

2026 年 11 月 11 日

同一張圖中，不同注意力頭有時會看見相似內容，令特徵難以解讀。ReFoCo 透過訓練時加入區域聚焦目標，讓 Vision Transformer 學出更分工的空間注意力。

在電腦視覺與自我監督學習（Self-Supervised Learning, SSL）的演進歷程中，Vision Transformer（ViT）憑藉 DINO 等對比學習框架，成功證明了神經網路無須人工標註即能習得豐富的語意概念。然而，當社群嘗試將這類模型直接下放到零樣本分割、精確目標定位等密集預測（Dense Prediction）任務時，卻常遭遇一個核心障礙：ViT 內部多頭注意力機制的表徵過於發散且同質化，缺乏清楚的局部邊界界定能力。

ReFoCo 以極簡的無監督損失函數，促成空間注意力頭的「專業化湧現」（Specialization Emergence）：

兩組視覺聚焦損失（Visual Focusing Losses）：

局部區域聚焦機制：約束特定注意力頭聚焦於緊湊的局部空間，強迫模型學習清晰的幾何線條與輪廓細節。

遮蔽殘留聚焦機制：在影像部分被遮蔽時，引導模型專注於未被遮蔽的有效可見區域，強化空間對齊穩定度與上下文感知。

零人工標籤的空間分工：在不消耗任何幾何標籤的前提下，各注意力頭自發演化出清晰分工——部分專門鎖定前景輪廓，部分專攻背景基質，部分捕捉細節紋理。

ReFoCo 將論文的數學定義封裝為模組化程式碼與預訓練權重，使開發者無須從零復現演算法，即可直接掛載至現有的視覺特徵提取流程。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, Image, Python, Dataset 數據集

[YT 影片介紹] Opus 5.5 vs Fable 5.2：用 Blender 實測建模能力

2026 年 11 月 11 日

影片把 Opus 5.5 與 Fable 5.2 放入 Blender 建模流程比較，觀察兩者處理實務操作時的差異。

同一類 Blender 建模工作交由 Opus 5.5 與 Fable 5.2 處理，差異往往不只在能否生成結果，也包括理解指令、安排操作步驟，以及遇到模型細節時能否修正。這段影片以實戰方式記錄兩個模型的表現，讓觀眾直接對照它們在 3D 工作流程中的反應。

影片採用全程解說，重點放在操作過程而非單純展示最後成品。對需要用 AI 協助 Blender 建模的人來說，這種比較有助了解模型是否能跟隨連續指令、處理場景結構，並在出現偏差時作出調整；不過，片段資料未列出統一測試項目、評分方法或可重現的效能數據。

比較內容可集中留意以下幾點：
– Opus 5.5 與 Fable 5.2 的 Blender 建模流程差異
– 模型理解自然語言指令的準確度
– 生成與修改 3D 物件時的操作連貫性
– 建模結果是否需要人工修正
– 實戰示範與影片解說提供的觀察角度

這類影片適合正在探索 AI 輔助 3D 建模的創作者、設計師及技術使用者參考。由於資料只提供影片標題和簡介，未能確認兩個模型在所有 Blender 任務上的整體優劣，觀看時仍應把示範結果視為特定工作流程下的比較，而非全面基準測試。

項目主頁

Categories: AI productions, 模型, Google, Video, Content Creator, 3D, 安全, Anthropic

InfraRSI：自動加速 LLM 訓練的 AI Agent

2026 年 11 月 11 日

InfraRSI 是一個專注於大語言模型（LLM）訓練基礎設施優化的自主 Agent（Harness）。其核心理念是利用遞歸自我改進（Recursive Self-Improvement, RSI）技術，自動為既有的訓練任務進行效能調優與程式碼層級的最佳化。

傳統的調優工具多半聚焦在超參數搜尋（Knob Tuning）— 例如嘗試調整 Batch Size、Gradient Accumulation Steps 或是平行度設定。然而在現代 GPU 叢集上，真正的效能瓶頸往往深植於程式碼層級：

何時該導入融合算子 (Fused Kernels)？如何正確啟用 Flash Attention 與 torch.compile 編譯注意力機制？如何在 Activation Checkpointing、Offload 與運算速度之間取得平衡，避免顧了顯存卻犧牲吞吐量？

InfraRSI 突破傳統純調參（Knob Tuning）的局限，自動引入融合算子（Fused Kernels）、編譯注意力機制（torch.compile）及顯存平衡策略。官方實測平均提速達 1.83×，MFU 由 17.4% 大幅拉升至 30.0%。

RSI 經嚴格驗證的成功方案會寫入知識庫。跨 GPU 硬件遷移時能直接沿用歷史經驗，大幅縮短摸索至效能峰值的時間。

嚴謹驗證的機制包括內置 16 項不變量檢驗，確保數據量、Optimizer Steps 完全一致且 Loss 偏差在容許範圍內；配合雙模型交叉審查（一個寫 Patch、另一個 Code Review）及背靠背複測，杜絕訓練異常。

廣泛支援並相容 Megatron-Core、FSDP2、DeepSpeed 等主流框架；後端可直接串接本機已登入的 Claude Code、Codex CLI，或各類 OpenAI 相容 API 與自建 vLLM。

快速上手，執行單一 Bash 指令即可開始運作：

infrarsi optimize ./train.sh --llm codex-cli

啟動時會透過互動式問答確認設定，並支援以自然語言下達限制（例如「不能改動 optimizer」、「batch size 不可大過 4」）。系統驗證完成後，會直接輸出最佳化腳本 infrarsi_optimized.sh 與審核完畢的程式碼補丁，讓團隊以極低門檻榨盡 GPU 算力。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, Qwen, OpenAI, DeepSeek, 工具, Python, 庫, Anthropic

WorldFoundry：影片、3D 世界放進同一模型工作流

2026 年 11 月 10 日

研究團隊將會可以用同一套工作流探索模型、執行生成、檢查產物及比較評測結果；不同模型的輸入方式與評測協議仍各自保留。

WorldFoundry，一套用於影片、3D 與 4D、具身動作及互動式世界系統之可重現推論與評估的開源基礎設施。WorldFoundry 把影片生成、互動世界、3D／4D 重建及具身動作模型放進同一套推理與評測工作流，屬於開源框架。它處理的問題是：模型種類繁多，如何整理執行條件、檢查生成結果，並在保留各自協議的情況下比較評測資料。

推理可透過命令列、終端介面或瀏覽器版 Studio 執行。Studio 亦可檢視任務狀態、生成媒體與幾何資料，評測則以模型和基準的組合執行，並整理正規化指標、就緒狀態及資格評分卡。

它沒有把不同模型硬塞進相同的評測方式，共享的是目錄、素材格式與結果計算流程，原生輸入、執行語義和評測協議仍按模型保留；評分亦區分文件宣告的支援、操作就緒程度與已驗證表現，避免把列入目錄或展示範例當成基準成績。

執行環境要求 Linux 和支援 CUDA 的 NVIDIA GPU；預設統一環境需要支援 CUDA 12.8 或以上的驅動。推理、Studio、評測及開發共用 CUDA 環境，但 ABI 或模擬器等個別模型需求可能需要不同環境。

目錄涵蓋影片、互動世界、3D／4D、VLA／VA／WAM 等模型類別。
可在 CLI、終端介面及瀏覽器版 Studio 執行目錄內的推理流程。
生成影片、幾何資料與執行紀錄可供檢查，亦可在生成後重新評分。
比較結果時需留意各模型仍採用不同輸入方式與評測協議。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, AI productions, 模型, 世界模型, NVIDIA, DeepSeek, Video, VLA, World-Action Model, 框架, 3D, Linux

PCBRouteAgent：讓 AI 規劃並修正電路板佈線

2026 年 11 月 10 日

PCBRouteAgent 把全板佈線規劃交給多模態代理，再以 KiCad 原生路由器執行並回報失敗原因。它在 247 塊電路板上的測試，也揭示連線完成不等於設計規則全數過關。

PCB 佈線不只是把焊盤連起來，還要避免走線互相阻擋，並符合間距、線寬等設計規則。PCBRouteAgent 是一個多模態代理框架，讓大型語言模型（LLM）負責安排連線順序、路徑和層次，再由 KiCad 的原生推擠式路由器（push-and-shove router）處理具體走線；遇到障礙時，執行結果會回傳給規劃器，供它調整策略。

這種分工讓代理不必單靠模型逐段猜測幾何路徑，也保留全板層級的規劃能力。項目以 PCBWorld 的 247 塊電路板測試，使用 PCBWorld 官方評測器檢查連線是否完成，以及 KiCad 是否回報設計規則錯誤；電氣連通完整仍不足以代表所有訊號限制都已符合，案例亦顯示前段走線可能堵住後續連線。

• Opus 版本在 D2、D3-A、D3-B、D3-C 的 clean pass 分別為 100%、94.9%、100% 和 40%，不同測試集的落差明顯。
• 使用相同 Haiku 模型骨幹比較時，框架提升完成度，整體模型呼叫約減少 131 倍，API 成本約低 4.3 倍。
• 測試以固定元件位置、網表及設計規則的 KiCad 電路板為輸入，輸出仍是 KiCad 格式的已佈線電路板。

這套流程適合研究 PCB 自動化、評估模型代理能力，或需要批次比較佈線結果的工程團隊；但 D3-C 的 clean pass 仍只有 40%，不能把代理輸出的完整連線直接當成符合工程要求的成品。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, API, 框架, Anthropic

LowRAM：用預測壓縮長文本 KV Cache

2026 年 11 月 10 日

長文本推理想慳顯示記憶體，不一定要保留每筆快取。LowRAM 用預測重建資料，但壓縮幅度與答案質素仍要取捨。

LowRAM: up to 26.9× KV-cache compression, retaining 94.5% of the uncompressed LongBench score on Mistral-7B prompts over

自回歸解碼依賴 KV 快取，其記憶體占用量會隨上下文長度呈線性成長，並限制批次大小與吞吐量。

現有的後訓練方法會利用詞元、層與特徵維度之間的冗餘，或降低數值精確度。LowRAM 找到一個互補的維度：在每個注意力頭內，值在很大程度上可由其對應的鍵預測。我們利用這一點採用值快取攤銷，在測試時僅需為每個注意力頭配備輕量級預測器，且只儲存其重建效果最差的詞元之殘差，即可達到近無損的 4 倍值壓縮。

預測器可透過元學習初始化，以大幅降低預填充開銷；也可在容許一次性成本的情境下從頭擬合，例如多查詢推理。我們將值攤銷與跨層低秩鍵壓縮結合，形成 LowRAM——一套非對稱壓縮管線，在三個模型系列中皆能維持接近無損的表現。LowRAM 在每個解碼步驟僅重建選定子集的 KV 配對，因此能將解碼開銷降至最低，並在 4 倍壓縮下實現最高 5 倍的峰值解碼吞吐量。

項目的 CompressedCache 可接入支援 Transformers 的模型流程，keys 與 values 能分別設定壓縮方式，不限於單純量化。

跨層壓縮 keys，減少重複儲存。
可配合量化及 token eviction，進一步縮小快取。
提供預訓練預測器及 Llama、Mistral 範例。

測試前須準備 Python 3.12、CUDA GPU、Git LFS 及模型存取權限；預設 Llama-3.1-8B-Instruct。文件建議由 4K-token 範例開始，但提供的節錄未包含完整安裝及執行步驟；網站的 128K 展示則是錄製結果，並非即時推理。

Mistral-7B-Instruct-v0.3 在超過 10K tokens 的測試中，結合量化與淘汰可達 26.9 倍快取壓縮，保留未壓縮 LongBench 分數的 94.5%。這不是準確率，也不代表整體 GPU 記憶體縮小同樣倍數；團隊仍須以自己的文件檢查答案細節與速度。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, 工具, LLaMa, Python

NVidia Open-H3-Regenerate-2K：用三步擴散將影片草稿精修至 4K

2026 年 11 月 10 日

用 H3 或其他影片模型生成草稿，再把細節補到高解像度；這個開源項目讓影片精修不再只限於官方 API。

人物面孔、衣料紋理或樹葉細節，在低解像度影片放大後容易變得模糊。Open-H3-Regenerate-2K 是一個開源影片精修項目，接收 H3 或其他影片模型產生的低解像度草稿，重新繪製細節，輸出可達原生 4K，適合想保留原有畫面與動作、同時提升清晰度的創作者和影片工作流程。

支援 5 至 15 秒片段及 768P、1080P、2K、4K 輸出。精修階段以 H3 擴散模型進行三步去噪，毋須先解碼成影片再重新編碼。項目保留 H3 Transformer 和影片 VAE 的原有權重，只加入經訓練的 Refiner LoRA。

效能測試中，單張 B200 GPU 配合 SoL-Engine，處理 5 秒 2K 片段需時 22.45 秒；官方 API 測得 87.26 秒。RefinerBench-150 評測中，項目在 UniPercept 三項指標及 VBench 的美感、成像品質和主體一致性得分較高；200 次盲測判斷中，87% 偏好本項目輸出。這些結果反映特定測試條件，其他硬件或片段的速度與畫質未必相同。

可把 384P、512P、576P 或 768P 草稿精修至最高 4K。
支援 H3 草稿，也可輸入其他影片模型生成的影片。
三步擴散精修，直接放大潛在表示，避免解碼後重新編碼。
官方 API 不提供模型權重；開源版本讓項目使用者可自行執行或調整精修流程。

另提供 Open-H3-Regenerate-2K-IC 模型，提供模型檔案。開始前仍需查閱相關程式碼與模型文件確認硬件需求。

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 視頻模型, 模型訓練, API, Video, 影像處理, Audio, 提示詞, Content Creator, Discord, 3D, MiniMax, LoRA

Page 1 of 189

1 2 3 … 189 Next »