InferNews

REA：讓機械人執行動作時不必等待 AI 思考

2026 年 11 月 3 日 Share to X Facebook Copy link

機械人控制常要在慢速推理與即時動作之間取捨，REA 透過路由與復原機制，讓執行中的控制政策不必停下來等候大腦回應。

機械人執行動作時，若每一步都要等 AI 完成較慢的推理，控制就可能停頓。REA（Routed Embodied Agent Runtime）是為具身智能代理設計的執行框架，讓負責推理的「大腦」與快速控制的「小腦」非同步協作，並在需要時路由任務或復原執行流程。

這種安排適合需要連續動作、同時又要處理複雜指令的機械人工作流。REA 可協調 VLA（Vision-Language-Action）模型與程式控制政策，讓系統按任務選用不同控制方式；推理延遲不會直接令正在執行的控制政策停下來。

評測結果包括：在 3,000 個 LIBERO-Pro 測試回合中取得 95.9%，控制步數減少 25%；在 RoboTwin 2.0 中，結合 VLA 與程式政策取得 86%。頁面亦稱，REA 在 BEHAVIOR-1K 與真實 Unitree G1 測試中解決的回合數最多，但沒有提供這兩項測試的具體數字。

• 推理與快速控制非同步進行，執行中的政策毋須等待大腦回應。
• 透過路由與復原機制，協調不同類型的控制政策。
• RoboTwin 2.0 評測結合 VLA 與程式政策，結果為 86%。
• 項目頁需啟用 JavaScript 才能查看互動圖表；提供的內容沒有安裝或下載步驟。

REA 適合研究機械人長流程任務、異質控制政策協作，以及推理延遲如何影響動作連續性的團隊。現有內容提供多項基準測試結果，但未列出各項實驗設定與比較基線，閱讀數字時仍需留意這些資訊限制。

項目主頁 · 模型

Categories: Agentic, 模型, 視覺模型, 多模態模型, VLA, Robotic, 框架, Discord

---

System 1+2：AGI 也要先估互動價值再花算力

2026 年 11 月 2 日 Share to X Facebook Copy link

多想幾步、多試幾次，都有成本。研究構想讓 AI 先估計哪些互動有價值，再投入資源執行。

AI 代理搜尋資料、執行程式或讓機械人試走一步，都要付出成本，卻未必帶來有用結果。清華大學團隊提出 System-1／System-2 協同設計構想，希望在執行前先篩選值得投入的互動。

成本較低的 System-1 按預期價值排列互動的優先次序，再由成本較高的 System-2 執行較困難的工作。這個構想把資源分配提前，讓增加推理、訓練或探索次數之前，多一道價值判斷。

它涵蓋的場景包括：

• 語言模型推理：判斷哪些推理步驟值得繼續投入。
• AI 代理：篩選搜尋、程式執行及應用程式介面（Application Programming Interface，API）呼叫。
• 機械人與強化學習（Reinforcement Learning，RL）：優先探索可能提供學習訊號的經驗。

對互動成本高、數據取得慢的研究與開發工作，這個構想提供了分配預算的思路。不過，所提供節錄未交代價值預測器的具體實作或量化結果，仍未能判斷它能節省多少成本，以及會否錯過有用的探索。

項目主頁 · Paper

Categories: 清華大學, Agentic, 模型, 模型訓練, API, World-Action Model, Robotic, 框架, 軟件, 編程, AGI, 強化學習

---

Wizard：讓 AI 即時改動遊戲世界與戰鬥規則

2026 年 11 月 2 日 Share to X Facebook Copy link

Wizard 讓玩家用指令改變場景、角色和戰鬥狀態，再即時生成連貫影片。它適合探索互動遊戲原型與可控世界模型的創作方式。

改變地形、召喚敵人，甚至令角色變身，Wizard 都能把這些操作整合到即時遊戲畫面中。這個世界模型項目以代理控制修改遊戲狀態，再由影片生成模型呈現變化，目標是讓互動不只限於移動角色，也能改動環境與戰鬥規則。

使用者可透過按鍵、文字指令或單張畫面控制世界。場景幾何、角色骨架、動作和戰鬥狀態會分開記錄，因此系統可以處理平台升降、地面變形、角色攻擊與受傷等變化；影片生成器則以每秒 24 幀輸出畫面。項目亦稱，展示中的場景和角色都是模型未曾見過的內容。

整個流程分成快速建置和遊戲期間的控制。建置階段會重建場景與角色、配置骨架並整理動作；遊戲期間，代理更新幾何、動作和戰鬥狀態，再交由 Wan2.2-TI2V-5B 生成影片。文字指令會轉成幾何操作程式，戰鬥則由狀態追蹤、攻擊規劃和規則控制器處理。

• 適合想測試可互動遊戲場景、角色動作及戰鬥變化的研究者與創作者。
• 可用文字指令、按鍵或畫面輸入控制世界，也能比較生成影片與場景代理畫面。
• 每秒 24 幀生成，並以兩步去噪處理；項目描述的建置階段少於五分鐘。
• 程式碼尚未公開，現有資料亦未提供下載或使用流程。

Wizard 把可明確追蹤的遊戲狀態與即時影片生成結合，適合探索「能否直接操控世界規則」這類互動設計。它的應用仍受限於目前展示和程式碼尚未開放的狀態，外部使用者暫時難以自行驗證或整合。

項目主頁

Categories: 騰訊, Agentic, AI productions, 模型, 視頻模型, 世界模型, Qwen, Video, Image, 框架, Content Creator, 動畫

---

FrameForge「換場景、不換主角」統一三種影像生成

2026 年 11 月 2 日 Share to X Facebook Copy link

FrameForge 把 HunyuanVideo 1.5 的影片時間帶入影像生成，讓同一套模型處理主體生成、邊緣圖生圖和指令式編輯。

同一張參考圖可以用來保留主體、遵循 Canny 邊緣結構，或按照文字指令改變內容，但三種任務對「要保留多少、要改變多少」的要求並不相同。

FrameForge 是一個「給它一張參考圖，再用文字指示生成或修改圖片」的 AI 研究專案。它的特色是借用影片模型理解畫面變化的能力，來處理靜態圖片。

它用同一個模型處理三種工作：

功能	你提供什麼	可以做什麼
參考主體生成	一張人物、動物或物件的參考圖，加上文字描述	保留主體的辨識特徵，重新生成不同場景，例如把同一隻狗放到海灘上
邊緣圖轉圖片	一張 Canny 邊緣圖，也就是描出物件輪廓的線條圖，加上文字描述	依照既有輪廓、姿勢與構圖生成完整圖片
文字指令修圖	原始圖片，加上修改指令	改變動作、加入物件或轉換風格，例如「把貓的動作改成睡覺」，同時盡量保留其餘內容

這三種功能分別適合「保留是誰／是什麼」、「保留畫面結構」以及「修改指定內容」的需求；不是每次都從文字重新生一張毫無關聯的圖。

技術上有兩個重點：
– MoTE：動態選擇不同的虛擬時間間隔，對應不同程度的畫面變化。
– CoTR：加入一個潛在中間狀態，作為原圖轉換到目標圖的中間路徑。

官方已提供推論程式及模型下載方式，環境需要 Linux、Python 3.10 和支援 CUDA 的 GPU；公開流程以 512 × 512 輸入及輸出圖片、50 次去噪步驟運行，部分模型下載也需要先申請存取權。

注意「同一個模型整合三類圖片工作流程」，可作為評估自建圖像生成／編輯服務的 PoC 起點。官網目前提供的是研究結果與部署入口，不能直接視為已具備完整產品能力。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, NVIDIA, Stable Diffusion, Video, Image, 影像模型, Linux, Python, 庫, 中國, LoRA

---

IIT：讓小學生用簡單指令與 AI 對話

2026 年 11 月 2 日 Share to X Facebook Copy link

香港小學將逐步引入 IIT，讓七歲學生以簡單提示或指令與 AI 交流。

七歲學生將有機會用簡單提示或指令，與人工智能（artificial intelligence，AI）作簡單「對話」；香港小學由 2028 年 9 月起逐步引入 Information and Innovation Technology（IIT）新科目，回應數碼素養、創意及創新科技學習需要。

課程《Information and Innovation Technology Curriculum Framework for Primary Schools (Provisional Draft)》，AI 是其中一項重點。學生先認識相關技術，再以簡單命令與 AI 互動，學習重點不只接觸工具，也包括培養好奇心及對創新科技的興趣。

對學校而言，IIT 提供一個讓學生較早接觸 AI 的課程位置；對學生而言，互動形式把抽象的 AI 概念拉近到提問、下指令和接收回應等熟悉行為。資料未有交代課堂會採用哪些 AI 系統、設備、評核方式或具體教學活動，亦未提供安裝、下載或使用流程。

• 由 2028 年 9 月起在香港小學逐步推行
• 學生年紀可低至七歲
• 以簡單提示或指令與 AI 作基本互動
• 目標包括提升數碼素養、創意及對創新科技的興趣

目前公布內容屬臨時課程框架草案，實際推行安排仍可能隨後續課程設計而調整。家長、教師和教育科技項目策劃者可先把它視為小學 AI 素養教育的方向訊號，但現有資料不足以判斷課程深度或學生可使用的系統範圍。

項目主頁

Categories: 框架, 教學, 香港, 工具, 新聞, 中國

---

DSH Superagent Prototype 超級智能接單、改碼並自動回覆團隊

2026 年 11 月 1 日 Share to X Facebook Copy link

團隊在 GitHub 的改碼工作，將會由代理獨立處理並回覆成果。

DeepSeek Harness 透過 dsh-superagent 套件，讓團隊在 GitHub 交辦工作後，由編程代理獨立處理工作，再於原對話回覆。這個研究原型服務單一GitHub Repo，亦可選接 Feishu。

先留意：作者明確標示佢係研究原型，唔係正式 DeepSeek 產品，亦未達 production-ready；首次試用唔好直接駁客戶正式 repo。

dsh-superagent 能減少團隊打擾納入工作流程：只有獲授權者提出要求，或團隊規則允許，代理才會行動；需要人手介入或有可用成果才發言。

• 獨立處理每個工作項目
• 網頁面板集中展示待人手處理事項
• 按 SETUP.md 由編程代理協助安裝及配置

維護單一儲存庫的團隊可用它試驗代理協作，但設定涉及多個步驟；006 Deployment 文件涵蓋手動設定、升級及故障排查。開發檢查包括型別檢查、測試及建置，未提供量化效能結果。

GitHub

Categories: 開源, Agentic, DeepSeek, 庫, 編程

---

ai-manju-skills 一句故事點子延伸成動漫製作流程

2026 年 11 月 1 日 Share to X Facebook Copy link

由企劃、分集劇本一路寫到分鏡提示詞和發布文案，這套模板把 AI 漫劇製作拆成可逐步推進的工作流程。21 種題材可供選用，但測試覆蓋程度不一，生成內容仍需自行檢查。

由一句故事點子開始，創作者可以逐步整理出企劃、人物與世界設定、分集劇本、分鏡和影片提示詞，再準備封面及發布文案。ai-manju-skills 是一套 AI 漫劇創作模板，針對製作流程中不同階段的內容整理，提供 21 種題材的 SKILL.md，不需要安裝依賴。

流程分成五部分：企劃案、人物與場景等資產提示詞、分集劇本、分集導演手冊，以及發布包。預設規格為 30 集、每集約 4 分鐘和 9:16 直屏，亦可以在故事點子中指定其他設定；篇幅較長的輸出會分批生成，再用「繼續」推進。這讓創作者能逐段修改內容，而不是一次處理整部作品。

模板可貼到 DeepSeek 等聊天工具使用，也支援 Claude Code 和 WorkBuddy。聊天工具的做法是選定題材、貼上完整模板，待模板就緒後再提供故事點子；一部劇建議使用獨立對話，減少不同故事設定混在一起。Claude Code 則可把所需題材資料夾放入 ~/.claude/skills/；使用其他影片工具時，提示詞用 {{Mixed N}} 引用第 N 張參考圖，換工具時需改成相應寫法。

目前版本已在 WorkBuddy 測試；玄幻修仙版曾作實際使用測試，宮斗、宅斗、年代文、系統無限流、總裁甜寵、重生復仇和職場商戰完成安裝檢查或階段試跑，其餘題材尚未逐一測試。模板要求人物和設定保持原創，但生成內容的品質、版權和平台合規仍需創作者自行把關，懸疑刑偵與民俗怪談亦要留意平台規則及 AI 生成標示。

• 21 種題材模板，涵蓋幻想、古代、現代和類型片。
• 由故事企劃延伸至劇本、分鏡提示詞和發布文案。
• 可在聊天工具、Claude Code 或 WorkBuddy 使用，毋須安裝依賴。
• 預設每部 30 集、每集約 4 分鐘，可按故事需要調整。
• 測試並未涵蓋全部題材，發布前須自行核對內容與平台要求。

GitHub

Categories: 開源, AI productions, DeepSeek, Video, 提示詞, 工具, Content Creator, Anthropic, Skill 技能

---

Project Suncatcher 太空軌道上的 TPU 首次 AI 回覆

2026 年 11 月 1 日 Share to X Facebook Copy link

Google 的原型衛星首次從軌道上的資料中心級 TPU 傳回 AI 回應。

把 AI 運算設備送上軌道後，能否收到它傳回的回應？Google 的 Project Suncatcher 原型衛星已達成這項「Hello World」里程碑：軌道上的資料中心級 TPU 首次送出 AI 回應，證明相關設備至少完成了一次在太空中的運算與通訊。

這次成果處理的是太空運算的一個基本環節：不只把設備送入軌道，還要讓它執行 AI 工作並把結果傳回。對研究人員而言，這提供了測試軌道運算鏈路的起點；對一般使用者而言，暫時還不是可直接使用的服務。

Our first response from the Project Suncatcher prototype satellite.

目前公布的資訊聚焦於首次成功回應，未交代長時間運作表現、運算規模、通訊穩定性或成本。因此，這項里程碑不能單獨證明太空資料中心已具備商業可行性，後續仍要看設備能否持續運作，以及整體系統如何擴展。

• 原型衛星在軌道上搭載資料中心級 TPU。
• TPU 首次傳回 AI 回應，達成「Hello World」里程碑。
• 公布內容未提供長期運作、成本或擴展能力的數據。

Project Suncatcher 目前呈現的是一次早期技術驗證，適合關注 AI 基礎設施、衛星及太空運算發展的讀者留意。它能否由單次回應走向可靠、可持續的運算服務，仍有待更多測試結果。

項目主頁

Categories: Google, Gemini, 新聞, 安全

---

RGB MoCap：把影片動作變成可編輯角色動畫

2026 年 11 月 1 日 Share to X Facebook Copy link

拍一段影片即可重建人體動作，再修正接觸點、套用角色並匯出動畫。

拍攝一段人物影片後，RGB MoCap 會重建人體動作，讓你在 3D 預覽中檢查身體網格與骨骼，再輸出可編輯的人體動畫。這個項目屬於本地運行的 Windows 動作捕捉工具，主要處理由普通影片取得角色動作、修正滑步，以及套用到不同角色格式的工作。

它不只追蹤身體，還提供腳掌和手掌接觸修正，接觸時間可以手動調整；動作可重新套用到 Mixamo FBX、VRM 和 PMX 人形角色，並輸出 FBX，亦可選擇是否連同網格一併匯出。多個 AI 模型的結果能分開保存，方便比較和重做。

安裝需要 Git for Windows、Blender、FFmpeg，以及 ExMR、FlowHMR、GVHMR 等模型運行環境；模型權重和註冊的人體檔案要在 Model Manager 另行準備，部分模型需要帳戶登記和手動下載。MAMMA 與 PromptHMR 屬於可選運行環境，另需 Visual Studio 2022 C++ Build Tools、Windows SDK 和 CUDA Toolkit 12.8；PEAR 則可用於 webcam 或影片中的單人即時身體及手指骨骼預覽。

• AI 處理在本機完成，適合重視素材私隱的 Windows 使用者
• 支援多人重建、動作骨骼預覽和 Multi Cam MoCap 工作流程
• 接觸修正可減少滑步，但仍需人工檢查時間點和追蹤結果
• 角色重定向涵蓋 Mixamo FBX、VRM、PMX，方便接入 3D 製作流程

提供安裝、更新、模型準備和恢復指引，也附有動作捕捉及角色重定向示例。適合視為可本地測試的製作工具，而不是已有完整性能保證的商用捕捉系統；動畫師、VRM／PMX 角色創作者，以及需要把影片動作帶入 Blender 的團隊會較容易受益。

GitHub

Categories: 開源, AI productions, 模型, NVIDIA, API, Video, 工具, Content Creator, 3D, 庫, 動畫, Dataset 數據集

---

agent-desktop：讓 AI 代理讀取並操作桌面應用程式

2026 年 11 月 1 日 Share to X Facebook Copy link

以 OS accessibility tree 取代像素定位，讓 AI 代理操作桌面應用程式並逐步核對結果。

要讓 AI 代理操作桌面應用程式，agent-desktop 讀取 OS accessibility tree，以 ref 指向按鈕、輸入框等元素，再用 JSON snapshot 核對結果。這個跨 macOS、Windows、Linux 的 CLI 與 C library 不靠 pixel matching，將控制循環留在 agent。

可透過 npm 安裝並先確認 version；macOS 要 Accessibility permission，Linux 要 graphical session 及 at-spi2-core，Windows 受終端機 integrity level 限制。macOS command host 保留 native accessibility objects，減低舊 identifier 誤連到已移除元素的風險。

• 適合：需要 AI 控制桌面軟件、並自行編排 agent 的團隊。
• 限制：沒有 benchmark 或成功率；JEV helper 與 native CLI 分開，headless calls 亦禁止 foreground activation 和 synthesized input。
• 私隱：snapshot、screenshots、剪貼簿及 debug artifacts 可能含私人內容，不應放入公開 logs。

項目更像桌面操作底層而非完整代理，是否適合取決於目標程式的 accessibility 支援、權限和資料處理方式。

GitHub

Categories: 開源, Agentic, 軟件, Mac, Linux, 庫, Dataset 數據集

---