InferNews

JCA 讓文字生成可重播的 3D 動作與影片

2026 年 10 月 22 日 Share to X Facebook Copy link

文字提示不只生成畫面，JCA 亦同步產生可重播的 3D 動作，並支援場景及關鍵影格控制。

文字生成影片時，動作通常只留在畫面裏，難以直接套用到指定的 3D 角色，或放回原有場景。NVIDIA Research 的 Joints, Camera, Action!（JCA）同步生成影片、3D 骨架動作與鏡頭資訊，讓動作可以重播，並對應到 3D 場景。

JCA 支援不同骨架結構，不限於人形角色。輸入圖片可令動作回應周邊環境，加入少量關鍵影格則可控制動作軌跡；模型亦支援由影片還原骨架動作，或由骨架動作生成影片，適合 3D 資產動畫、場景化影片製作和動作擷取。

• 文字提示可生成同步的影片與 3D 動作。
• 輸入圖片和關鍵影格可提供場景及動作控制。
• 支援不同骨架結構，並可進行影片與動作之間的轉換。

模型以圖編碼器描述骨架，並讓獨立的動作模型與預訓練影片生成器透過少量 cross-attention layers 交換資訊。動作模型可先利用較易取得和擴增的純動作資料學習；它亦會定位影片中的關節，以推算鏡頭位置，協助把 3D 動作放回場景。

訓練資料接近 20 萬組配對，涵蓋人類與機械人影片，以及經整理、確保動作有效的 3D 資產場景影片。研究團隊表示，評估中 JCA 比以影片生成為先的流程更貼合文字描述，動作也能回應場景；原文沒有列出量化指標，效果幅度仍難以比較。

項目主頁

Categories: AI productions, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Image, World-Action Model, 教學, 3D, 動畫

---

Google Classroom 用 Gemini 摘要學生如何使用 AI 筆記本

2026 年 10 月 22 日 Share to X Facebook Copy link

老師派出 AI 筆記本後，終於可以了解學生如何使用，而不只知道作業有沒有交。Gemini 會整理全班的參與情況、常見問題和個別對話紀錄。

學生完成 AI 筆記本作業後，老師可以透過 Gemini 生成的摘要，了解全班怎樣使用這個學習空間、哪些內容較易掌握，以及哪些地方仍有疑問。這項功能面向 Google Classroom 的教師主導式 Gemini Notebook，處理的是派出 AI 作業後難以掌握學生學習過程的問題。

摘要提供班級整體參與情況、學生對話中的常見主題，以及個別學生的聊天紀錄。老師可先用摘要掌握共同情況，再查看原始對話核對細節；學生亦會在筆記本內收到通知，知道對話內容會向老師開放。

學校管理員則可在 Admin console 設定 Gemini Notebook 的外部分享權限，包括 Trusted Domains。這適合跨校合作教學，但可分享範圍仍由學校管理員控制；來源沒有提供功能推出時間表或使用設定步驟。

• Gemini 摘要班級使用情況與常見學習問題。
• 老師可查閱個別學生的對話紀錄，核對摘要內容。
• 學生會收到對話可供老師查看的通知。
• 管理員可透過 Trusted Domains 控制跨校分享。

對需要檢視全班學習狀況、跟進個別疑問，或與其他學校協作的教師和管理員，這項更新可減少逐一翻查對話的需要。它提供的是使用情況整理與檢視工具，不能單憑摘要取代老師對學生理解程度的判斷。

項目主頁

Categories: Google, Gemini, 教學, 工具, 新聞

---

Mistral 與 NVIDIA 以 Physics AI 加速工業設計

2026 年 10 月 22 日 Share to X Facebook Copy link

Mistral 與 NVIDIA 合作建立 Physics AI 工作流程，串聯設計、3D 模擬與 AI 訓練，縮短航空、汽車和半導體產品的驗證週期。

工程師處理複雜產品設計時，往往要在修改方案、執行物理模擬和整理結果之間來回切換。Mistral 與 NVIDIA 正合作建立 Physics AI 工作流程，將設計、模擬及 AI 訓練連接起來，縮短航空、汽車和半導體項目的驗證週期。

合作內容結合語言模型 Mistral Large 4、Mistral 的 physics AI，以及 NVIDIA CUDA-X、Warp 軟件庫和 Omniverse 3D 模擬平台。語言模型負責理解工程軟件和設計要求，物理 AI 則用於處理模擬相關工作；原始資料未交代完整操作流程，因此不能視為即時可用的安裝方案。

Mistral Large 4 約有一萬億參數，使用 3,800 枚 Grace Blackwell GPU 在歐洲訓練，預計於十月底以 open-weight 模型形式推出。合作雙方亦計劃公開 benchmark 和 open dataset，用來測試及比較 Physics Model，以及能夠操作工程軟件的 AI agents。

這個方向對需要大量模擬迭代的工程團隊較有吸引力，但成效仍取決於物理模型的準確度、工程資料質素，以及 AI 能否可靠地使用專業軟件。現階段較清楚的重點包括：

• 把設計、3D 模擬和 AI 訓練放進連續工作流程
• 結合 Mistral Large 4 與 Mistral physics AI
• 使用 NVIDIA CUDA-X、Warp 及 Omniverse 支援工程模擬
• 針對航空、汽車和半導體設計場景
• 透過公開 benchmark 和 open dataset 比較模型及 AI agents

項目主頁

Categories: NVIDIA, 新聞

---

DeepSeek Harness(DSH) 的「可視化插件市場」

2026 年 10 月 21 日 Share to X Facebook Copy link

把外掛搜尋、相容性核對和整理放進 DeepSeek Harness，並讓同一目錄接入 Discover。

DeepSeek Harness 的 dsh-market 是外掛市集及目錄索引，簡單講，就似 VS Code 嘅 Extensions 頁面：你可以喺介面搜尋、安裝、更新同管理插件，唔使每次自己打指令。方便搜尋社群外掛、核對相容條件並一鍵安裝。

目錄有 4,200 多個項目，支援分類、星數、熱門／最新排序和雙語介紹。相容提示讀取 engines.dsh 或 lockstep @deepseek-ai/dsh-* peers；篩選器只隱藏已確認不匹配的項目，資料缺漏時仍會保留，避免誤判。

dsh 0.2.1 起可在 Discover 加入 npm 提供的 format-1 索引，較能配合主機 15 秒載入時限；GitHub Pages 複本在部分網絡可能超時。

• 官方桌面版要透過應用程式內的 Settings → Plugins 安裝。
• 討論串採用 GitHub Discussions 和 giscus；閱讀免登入，發文需 GitHub 帳戶，開啟時會連接 [redacted] 及 GitHub。
• 收藏、主題及分組資料存於個人檔案的 state.json；群組可統一開關外掛。

需要 dsh web 0.1.0-rc.6 或以上版本，安裝後須重新啟動。

GitHub

Categories: 開源, Agentic, DeepSeek, Image

---

CoEvo-RSI：讓模型跟上會進化的 Agent Harness

2026 年 10 月 21 日 Share to X Facebook Copy link

CoEvoX 讓模型與執行框架同步演化，改善 AI Agent 的能力與工作流程互相錯配及自我進化(RSI - Recursive Self-Improving)的問題。

當 Agent 的執行流程不斷改變，模型可能未學懂新要求，也可能因 Harness 限制而用不出原有能力。CoEvoX 屬於 LLM agent 的模型—Harness 共演框架，透過共同演化歷史檔案，協調模型檢查點、執行框架與實驗結果。

每輪流程由 meta-agent 編輯新 Harness，從歷史檔案選擇或合併模型 checkpoint，再用拒絕取樣軌跡進行 SFT；只有通過驗證的改善組合才會晉升。TIMR（Turn-level Interface Mismatch Rate）用來診斷逐回合的介面錯配，亦令模型選擇不再只看單一模型能力。

• Qwen3.5-9B 經 CoEvoX 調整後，部分失效歸因測試超越更大型模型
• 評估涵蓋多代理失效歸因、角色感知 text-to-SQL 及智能家居指令
• Held-out 測試避免同時參與訓練與演化選擇
• 結果並非全面領先，部分演算法生成或 When 指標仍落後其他方法

失效歸因結果中，CoEvoX 在 Hand-Crafted 的 Who、Pro 的 Who，以及 TraceElephant 的 Who 分別取得 68.39%、69.43% 和 70.78%，但在 TraceElephant When 只有 28.92%，低於 GSPO 的 38.36%。這反映共演化能改善特定工作分工，卻未必對所有推理步驟同樣有效。

項目較適合研究 recursive self-improving agents、模型訓練及 Harness 設計的團隊，用來測試模型與工作流程是否互相配合。提供的資料沒有完整安裝、執行指令或部署流程，亦不應直接假設可隨意下載；目前較合理的理解是把它視為附有實驗框架與評估方向的研究項目。

GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, 框架

---

StreamingSwap 把影片換臉推向 20 FPS 即時串流

2026 年 10 月 21 日 Share to X Facebook Copy link

StreamingSwap 針對長片換臉的身份穩定與速度取捨，透過較短上下文支援單卡即時處理。

長時間影片換臉最難維持的不是單幀效果，而是身份一致、原有動作和畫面細節能否一路穩定。StreamingSwap 是一個參考圖像引導的影片換臉模型框架，處理把來源身份轉移到目標影片、同時保留目標人物屬性與動態的問題。

它分兩個階段改善速度與穩定性。Face-RoI Generation 只集中處理臉部區域，配合按噪聲程度調整身份與重建比重的 Joint Rec-ID Loss；其後以 Short-Context Rollout Training 使用模型生成的歷史畫面，減少串流生成中的誤差累積。這套方法針對換臉只改變身份、其他視覺內容大致不變的特性，補足單靠 flow-matching supervision 對身份差異不夠敏感的問題。

提供的結果包括：
– 單張 NVIDIA RTX 4090 達到 21.174 FPS 的端到端吞吐量
– 評估影片最長達 10 分鐘，並展示 19 分鐘、20 FPS 取樣的直播串流測試
– HumanFaceVid 包含 1,000 小時電影風格訓練資料，以及各 200 段短片和長片評估集
– 研究結果在身份轉移和視覺質素之間取得具競爭力的平衡，但資料建構程式和訓練資料仍標示為準備中

電影後期、直播特效和長片角色替換等情境，較能受惠於這種空間與時間上下文都較節省的做法；單卡 RTX 4090 的測試結果亦令即時串流更接近可行範圍。項目提供的是研究模型與展示資料，原始資訊未交代完整安裝指令、未有直接下載的模型權重或訓練資料，因此不宜當成已可隨意下載使用的成品。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, NVIDIA, Video, Image, 框架, Dataset 數據集

---

SWIFT 把擴散模型的訓練誤差轉成性能優勢

2026 年 10 月 21 日 Share to X Facebook Copy link

有限訓練令擴散模型偏離理想預測，SWIFT 從較弱模型找出偏差方向，再把訓練目標推向更準確的位置。ImageNet-256 上，它在不改採樣器的情況下取得具競爭力的 FID。

擴散模型訓練時間有限，預測結果往往未能到達理想的後驗平均值；SWIFT（Self-guided Weak-to-strong dIFfusion models via Target extrapolation）利用這種可預測的偏差，改善模型生成影像的能力。它適合關注影像生成品質、又希望保留原有推理流程的研究者與模型開發者。

SWIFT 先使用一個凍結的弱模型，估計目前模型會在哪個方向偏離理想預測，再把訓練目標沿相反方向外推。訓練時改變的只有預測目標，損失函數、權重、網絡架構及採樣器都維持不變；使用時無須更換原有採樣器。

在 ImageNet-256 評測中，SWIFT 不使用 guidance 時的 FID 為 1.15，使用 guidance 時為 0.99。研究亦在配對的 DINOv2-B 設定下比較訓練進度，SWIFT 在訓練過程中持續領先基準模型。

• 以凍結的弱去噪模型估計訓練偏差方向。
• 將乾淨樣本與弱模型預測之間的差距用來外推回歸目標。
• 保留原有模型架構、損失設定及採樣器。
• ImageNet-256 的 FID 為 1.15（無 guidance）及 0.99（有 guidance）。

這種方法針對的是有限訓練預算下的模型誤差，並非更改生成時的採樣流程。現有內容未提供完整安裝或使用步驟，採用 SWIFT 前仍需查閱論文及相關資源確認實作細節。

項目主頁

Categories: 南京大學, 阿里巴巴, 模型, 模型訓練, Image

---

PhysSkin++ 令 3D 模型郁得唔再硬掘掘！

2026 年 10 月 21 日 Share to X Facebook Copy link

PhysSkin 把靜態 3D 形狀轉成可泛化的物理動畫控制，減少每個模型重新訓練的成本。

不同模型形狀、網格密度甚至空間表示法各異，物理動畫往往要重新建立變形控制。PhysSkin 屬於 3D 動畫模型，透過自監督 Neural Skinning 學習連續 Skinning Fields，讓不同形狀可以共用即時物理動畫能力。

模型先用 transformer-based shape encoder 讀取形狀，再由 cross-attention field decoder 產生與形狀相關的變形子空間；physics-informed self-supervised objectives 則以物理約束和正交性要求取代完整模擬軌跡標註。這個組合針對的是泛化能力與運算速度之間的取捨，而不是單純追求更細緻的離線模擬。

README 提供 Python 3.11、PyTorch 2.7.1 等環境版本，以及資料目錄、physskin_vis.ipynb 視覺化筆記本和訓練流程。資料包含 (1, 256, 768) 的 float32 latents 與三維內部點，項目亦列出預訓練 checkpoint 路徑；原始資料沒有交代公開下載方式，不能因此假設模型可隨意取得。

• 可跨不同形狀與 discretization 使用連續 Skinning Fields
• 以自監督物理目標減少動畫標註依賴
• 支援即時 physics-based animation 的研究與互動控制場景
• README 沒有提供具體 FPS、誤差或同類方法差距

對動畫研究、3D 內容工具及需要碰撞互動的圖形團隊，PhysSkin 更適合用作研究原型或既有 rig 的物理補強。配套的 PhysSkin++ 描述進一步延伸至 meshes、point clouds、NeRFs 和 3D Gaussians，但這些能力不應直接當成本 GitHub 項目中同一 checkpoint 已完整提供的功能。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, 工具, 3D, Python, 動畫

---

SolarRenderer：Minimax H3 四步完成影片

2026 年 10 月 21 日 Share to X Facebook Copy link

SolarRenderer 將遊戲引擎或智能體輸出的結構訊號，於 MiniMax-H3 上以四步推理生成風格統一的影片，並以區塊串流方式即時輸出畫面。

過往要做「結構可控」的影片生成，往往要為每種輸入（灰盒、語義圖、骨骼、深度）各自訓練一支分支模型。SolarRenderer 試圖打破這個分工限制：它以兩組 LoRA 在 MiniMax-H3 上做 post-training，無需 condition-type label，純粹由 prompt 描述結構本身，再交由模型自行解讀。同一段結構影片，配合首幀與文字描述，可以分別輸出寫實、動漫、像素或水墨等風格。

更直接的價值在於速度與即時性。對比 50 步取樣，SolarRenderer 的四步推理聲稱快 12.3 倍，並在影像質素與結構保真度上同時達標。配合兩組 LoRA 的 block-causal 版本，影片可以逐區塊即時生成，每完成一塊便即時輸出，等候延遲約 0.7 秒出一個 17 幀區塊，整體滯後約 1.1 秒。對 agent 互動或即時預覽這類工作流，這個差距幾關鍵。

訓練資料與評估同為開放：weights、訓練資料，以及涵蓋 208 個高難度案例、53 段 held-out 影片的 benchmark 套件，連同評分代碼、輸出結果與裁判評語一併釋出。項目建基於 SolarWM 框架，並非隨意下載的開源玩具，但對從事可控影片生成、世界模型或 agent 影片預覽的研究者與團隊而言，是一個值得排入評估名單的選項。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, AI productions, 模型, 世界模型, 模型訓練, Video, Image, 框架, Dataset 數據集, MiniMax, LoRA

---

FocusGUI 自動揀對的訊息做 GUI 代理

2026 年 10 月 21 日 Share to X Facebook Copy link

南洋理工大學與阿里共同發表的 FocusGUI，主打用極少可訓練參數處理多模態 GUI 代理嘅分心問題。你能把它理解成幫現有多模態模型動態挑選畫面、音訊、影片當下最相關訊息嘅外掛模組。

南洋理工大學與阿里巴巴合作的 FocusGUI，試圖解決多模態 GUI 代理一個很具體的困擾：畫面、音訊、影片、互動紀錄同時湧進來，模型往往被不相關的訊息干擾，導致操作軌跡逐步失控，研究團隊稱之為「Sequential Distraction」。FocusGUI 的回應方式相當克制——它是一個輕量的 adapter（適配器），只在每一步動態替當前決策挑選最相關的多模態證據，再壓縮成低維潛向量，最後透過零初始化的殘差注入到凍結 decoder 的嵌入空間中。原始的 Transformer decoder 與語言模型頭完全不被替換，背骨模型也保持凍結。

它和一般做法的主要差別，是不把整段完整觀察平均塞進去處理，而是針對每一步決策參考做「step-adaptive prioritization」。頻道分解先拆解當下觀察裡互補的證據來源，緊接著做加權，再壓縮成低維表示，最後用殘差對齊方式回接到動作生成邊界。輸出仍以結構化 JSON 形式自迴歸生成，方便整合到既有的 GUI 代理 pipeline。對於已有穩定 GUI 代理系統、想提升多模態場景精準度但不想重新訓練底層模型的團隊，FocusGUI 提供了一條低侵入式的升級路徑。

對開發者而言，這代表幾個直接的好處：訓練時只需要動作標註，不依賴模態相關性標註；可訓練參數只有 1.15 至 1.45 百萬，卻在四款多模態背骨模型上把 Type Match 提升 33.2 個百分點，Exact Match 從原本的 11.2% 提升至平均 33.5%，相對於凍結底層提升約三倍，並在 24 個測試場景全部取得最佳表現。對比目前最強的增強方法，Type Match 仍領先 30.1 個百分點。

項目適合負責多模態代理研發、GUI 自動化測試、或在手機與桌面環境構建 Agentic 流程的團隊。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, AI productions, 模型, 多模態模型, 模型訓練, Video, Audio

---