CineRecon 以 Blender 重建實景影片

2026 年 10 月 15 日 Share to X Facebook Copy link

CineRecon 將影片重建變成可檢驗的 Agent 任務，要求模型由參考影片建立可編輯、可動畫化的 Blender 場景。

由完整參考影片出發，Coding Agent 透過 Blender MCP 撰寫及修改 Python，反覆比對渲染畫面，再建立包含幾何、材質、角色動作與鏡頭動畫的可編輯場景。CineRecon 屬於影片重建 benchmark，處理的是模型能否將時間連續的影像內容還原成可修改的 3D 工作成果，而不只是產生相似畫面。

項目以三個重建層級拆開能力差異：Proxy 只要求位置、互動及鏡頭運動，Simplified 再保留可辨認形狀和主要外觀，Detailed 則加入特色形狀、材質和細節。三個層級都要求相同的主體動作、事件及攝影機行為，方便分辨模型是只掌握構圖，還是能重建完整視覺內容。

• 50 段參考影片，切分成 360 個評估片段
• 35,836 筆獨立 checklist 記錄，按層級擴展至 49,668 項檢查
• 評估 Camera、Static、Dynamic 三類一致性
• 支援畫面選取、時間戳對齊、並行評分、續跑及分數彙總

評分由獨立 VLM judge 對齊參考與渲染影片，按片段 checklist 檢查 11 個類別，並以 Camera、Static、Dynamic 三個同等權重維度計算結果。這比單一影像相似度更能揭示鏡頭是否跟足、物件是否保持穩定，以及動作和事件有沒有在正確時間發生。

測試需要 Python 3.10 或以上，支援 Linux 及 macOS；項目提供資料、提示詞、驗證工具和離線 smoke test，但不包含 Agent launchers。團隊可先用離線流程確認資料與評分管線，再接駁 Blender MCP 和隔離 worker 執行重建；研究模型能力時，CineRecon 的價值在於把「看似相似」拆成可追蹤的鏡頭、靜態內容和動態內容，而不是只比較最後一段影片。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, 模型, 視覺模型, Video, Image, 提示詞, Vibe Coding, 工具, Mac, 3D, Linux, Python, 編程, Anthropic, 動畫, Dataset 數據集

---

tabulaflow：自然語言查數據(text2SQL)

2026 年 10 月 13 日 Share to X Facebook Copy link

TabulaFlow 讓使用者用自然語言分析、轉換和視覺化多種數據，並可由圖表追查背後的資料表與查詢。它適合需要跨資料來源探索數據、又要保留分析脈絡的團隊。

想查詢資料庫、整理檔案或探索 Hugging Face 數據集時，使用者可以用自然語言描述分析目標，再由 TabulaFlow 這個開源 Python 數據代理程式處理查詢和圖表。它支援 SQL 和圖形資料庫、檔案、Wikidata 及網頁，適合研究、數據分析和需要把數據功能整合進應用程式的團隊。

與以檔案和 Shell 為核心的編程代理不同，TabulaFlow 把表格當作主要工作單位。代理程式負責產生查詢和視覺化規格，系統則處理資料解析和圖表呈現，減少模型直接拼接資料值或 HTML 的需要；核心數據工作亦可在關閉 Shell 和檔案存取時運作。它仍能編寫程式、執行 Shell 指令和瀏覽網頁，但這些能力不是數據工作的必要條件。

每張視覺化結果都能查看所用的資料表，而資料表亦保留產生它的查詢，方便核對結果來源和重現分析。這對需要審視數據處理過程的團隊有幫助；不過，查詢是否符合使用者原意，仍會受問題描述和模型判斷影響，追蹤來源不等於保證結果正確。

項目提供互動式消歧、資料庫對話、研究資料庫建立及圖形數據查詢等示範。研究者亦可用配套工具進行 text-to-query 實驗；ARCS 是用來評估 SQL 問題歧義處理的基準，不是 TabulaFlow 本身的效能分數。文件列出安裝方式為透過 uv 安裝並設定模型供應商金鑰，支援哪些模型則需查閱其模型文件；提供的資料未列出完整操作流程或各資料來源的設定細節。

• 支援資料庫、檔案、Hugging Face datasets、Wikidata 和網頁等來源。
• 以查詢和視覺化規格驅動分析，資料解析及圖表呈現交由系統處理。
• 圖表、資料表與來源查詢之間保留可追溯關係。
• 適合數據分析、研究及建立數據應用程式；結果仍需按資料和查詢目的核實。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 工具, Python, 庫, 編程, Dataset 數據集

---

Motion2MixamoRig：把真人動作搬入 Mixamo 角色的開源工具

2026 年 10 月 13 日 Share to X Facebook Copy link

Motion2MixamoRig 將單人影片或照片姿勢轉成 Mixamo 角色動作，直接輸出可供 Blender、Unity 使用的 3D 檔案。

把單人動作影片或一張姿勢照片套到 Mixamo 角色上，Motion2MixamoRig 便可輸出預覽影片及帶蒙皮的 .glb 角色檔，減少遊戲開發者重新製作基礎動作的工序。它屬於 3D 動作轉移工具，處理的是真人影像與已綁定骨架角色之間的動作銜接問題。

流程以 SMPL-X、GVHMR 等模型先從影像估計人體動作，再將結果映射到 Adobe Mixamo rig；模型不負責生成全新動作，而是把影片或照片中的姿勢重建後套用到指定角色。輸出可放入 Blender 或 Unity，仍要留意單人畫面、遮擋、鏡頭角度及原角色骨架會影響結果。

模型權重首次執行時約需下載 5 GB；原始資料沒有提供正式性能基準或準確率數字。項目目前仍屬 experimental，0.1.0 提供 command-line pipeline，亦附有 Blender 4.2+ Extension，並在外部 Python 環境執行同一套流程。

• 支援影片動作及單張照片姿勢
• 輸出預覽影片與 .glb 檔案
• 兼容 Blender、Unity 工作流程
• 需要單人素材及外部模型權重

遊戲原型、角色動畫測試及需要快速重用真人動作的團隊較適合採用。ffmpeg 並非流程必需，但缺少它會令輸出影片沒有聲音，並可能無法在瀏覽器播放；對需要穩定製作級動畫的人員而言，仍要自行檢查骨架映射、腳部滑動和遮擋造成的誤差。

GitHub

Categories: 開源, AI productions, 數字人, 模型, Video, Image, Audio, 工具, 3D, Python, 庫, 動畫

---

YuE2 Studio 由樂譜到成曲：讓 AI 音樂可編輯重做

2026 年 10 月 13 日 Share to X Facebook Copy link

YuE2 Studio 先把風格與歌詞寫成可修改樂譜，再生成完整人聲歌曲，讓 AI 作曲不再只剩一個音訊檔。

由風格描述和歌詞開始，YuE2 Studio 會先產生旋律與和弦樂譜，再演唱成最長約 10 分鐘的完整歌曲。這個項目屬於本地執行的 AI 音樂製作軟件，處理的是生成歌曲後難以修改編曲、旋律和聲部的問題。

YuE2 由 M-A-P 開發，先以 ABC notation 記錄 composition，再輸出歌曲；使用者可以閱讀及編輯樂譜，之後以相同 composition 重新渲染不同聲音。它不是只提供一次性音訊生成，而是把 score 帶回製作流程，較適合需要反覆改歌詞、旋律或配器的創作者。

項目建基於 yue2.cpp，一個原生 C++/CUDA port；桌面介面則採用 Rust、React 和 Tauri，執行路徑不需要 Python、Node.js 或 launcher。Windows 提供安裝程式及 portable folder，支援離線運行；NVIDIA 顯示卡需要至少 6 GB VRAM，AMD 和 Intel 透過 Vulkan 的支援仍屬 experimental。

• 先寫樂譜再生成演唱，保留 composition 的修改空間
• 支援歌曲、stems、MIDI、lyric sheets、scores 和 videos 的檔案管理
• 內置十段 equalizer，並提供 Winamp 頻率配置預設
• 可在本地 GPU 執行，毋須依賴線上音樂服務

它較適合有歌詞、曲式或編曲要求的獨立音樂人、內容創作者，以及需要離線處理素材的團隊。硬件限制亦相當直接：NVIDIA 6 GB VRAM 是較穩妥的起點，非 NVIDIA 顯示卡則要接受 Vulkan 路徑仍可能不完整。

GitHub

Categories: 開源, NVIDIA, Audio, 軟件, 工具, Content Creator, Mac, Python, 音樂, 廣東話

---

Video-RSI：不改模型權重，讓影片代理自行進化

2026 年 10 月 13 日 Share to X Facebook Copy link

Video-RSI 透過改寫提示詞、工具、記憶與執行邏輯，提升影片理解代理的準確度及取樣效率。

影片理解代理遇到答錯問題時，未必需要重新訓練模型。Video-RSI 是一個開源框架，讓代理重新檢視影片，補充視覺、字幕及 OCR 證據，再把失敗原因轉化為可重用的程式修改；模型權重則保持不變。

項目由 Solver 和 Editor 配合：Solver 執行影片問答，Editor 調查失敗案例，並演化 prompts、tools、memory 及 execution logic。相比只調整模型參數，這種做法把改善集中在可執行 harness，較適合需要快速反覆修正工作流程的研究團隊。

• 透過額外視覺、transcript 及 OCR 證據分析錯誤
• 以 accuracy 和 visual-frame cost 共同篩選修訂版本
• 提供 Initial harness、final harness、inference 及 evolution framework
• 預設支援 DeepSeek-V4-Pro 和 Qwen3.6-Plus 等 OpenAI-compatible service 模型

評測會在私有 Gate set 以答案準確度及視覺影格處理成本配對選擇版本。項目資料所述結果指向更佳的 accuracy–efficiency trade-off：演化後 harness 在維持競爭力準確度的同時，處理較少影格，但未有公開具體分數或基準逐項差距。

要測試項目，需要 Linux、Python 3.12、兼容 API 服務，以及本地 RapidOCR 3.9.2 PP-OCRv6 small detection and recognition models；影片輸入採 JSONL，包含問題、選項、片長及絕對路徑，也可載入 faster-whisper large-v3 產生的 transcript。需要留意，允許 provider calls 會使用付費模型 API，因此成本控制和本地 OCR 準備是部署前的重要取捨。

項目主頁 · GitHub

Categories: 開源, 模型訓練, Qwen, DeepSeek, API, Video, 提示詞, 框架, 工具, Linux, Python

---

RSI-Anything：用世界模型推動跨領域遞迴自我改進

2026 年 10 月 12 日 Share to X Facebook Copy link

RSI-Anything 把預測、行動回饋與學習串成循環，讓同一套框架應對程式修復、GUI 操作及實驗規劃。

當系統需要由多個候選行動中揀選較佳方案，RSI-Anything 會先預測後果，再透過外部評估修正下一輪決策。它屬於建基於世界模型的通用框架，處理的是模型如何利用互動經驗持續改善，而不只是在單次任務中產生答案。

框架以 JEPA-Anything 作為預測基礎，將候選生成、預測引導選擇、外部評估、學習和保留成果串成「Propose → Predict → Select → Evaluate → Learn → Retain」循環。不同領域可自行定義狀態、行動、預測目標和回饋，因此同一流程能延伸至 code repair、GUI interaction、laboratory planning、reaction optimization 及 immune science。

可從以下幾點理解其價值：
– 以世界模型預測行動後果，減少只靠試錯作決策的需要
– 以外部回饋檢驗選定行動，將經驗帶入下一輪學習
– 支援程式修復、GUI 操作和實驗規劃等不同工作情境
– Hugging Face 提供 RSI-Anything 數據集，包含 image、text 及 3.2k rows，分為 train 3k 與 test 200

資料集包括 historical_actions、candidate_next_actions、reasoning 和 next_action，較適合研究候選行動選擇及實驗流程推理；項目未在所提供內容中列出具體性能數字，因此應先視為研究框架與資料資源，而非已證實能普遍自我提升的成熟系統。

項目主頁 · GitHub

Categories: 開源, 模型, 世界模型, Image, 框架, Python, Dataset 數據集

---

ComfyUI-VoiceWorkbench：本地語音工作台：逐句修正音高與節奏

2026 年 10 月 11 日 Share to X Facebook Copy link

不用剪碎音檔，便可逐句調整音高、字詞時長、停頓和尾音，並比較不同錄音版本。

想修正一句旁白的語速、音高或句尾拖音時，ComfyUI-VoiceWorkbench 讓你在完整錄音上直接編輯，毋須把每個字剪開再重新拼接。這個項目屬於本地語音編輯工具，實際處理的是生成語音和錄音後期微調之間的卡位；編輯器可作為 ComfyUI 底部面板使用，也能獨立在本機運行。

聲音處理採用一次 Praat resynthesis pass，同時套用整段錄音的時長和音高變化，未修改的預覽則保留原始 WAV bytes。介面可調整 0.75 至 1.25 倍全局速度、全局音高及最多 64 個局部曲線點，亦能處理現有停頓和可靠的 voiced ending；編輯完成後可比較 Original、Edited 與不同生成 take，再回到較早版本。

• 不用下載模型：內置例子可直接開啟和編輯，Windows 亦可調用已安裝的英文系統語音。
• 適合本地工作流：支援 Python 3.10 或更新版本，並可接入 ComfyUI custom nodes。
• 保留人工判斷：字詞邊界只是估算，無聲或不穩定區域不能可靠提供音高目標。
• 有明確範圍限制：單聲道錄音約 0.15 至 60 秒，AI take 最多 200 字元；服務只綁定 loopback，並非公開共享伺服器。

可選的本地適配器把能力延伸至語音生成和表演編輯：IndexTTS2 支援參考聲線及情緒生成，AuK Base 用於整段錄音的表演編輯，Qwen3 forced aligner 則協助估算字詞邊界。這些元件不是開啟基本編輯器的必要條件，系統語音也不提供聲線複製或情感控制。

適合旁白製作、語音原型和 ComfyUI 使用者處理少量錄音，而不是多人共用的雲端配音平台。尾音延長最多 200 毫秒，目標音高及 voiced 區域亦有上下限；自動對齊不代表每個字都讀得正確，接受修改前仍要逐段聆聽。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, Audio, 工具, Python, 語音

---

OneSearch-VL：多模體視覺 deep research agent

2026 年 10 月 10 日 Share to X Facebook Copy link

由單張相片到影片片段，OneSearch-VL 會找出視覺線索、搜尋外部資料，再把證據串成可核對的答案。

由一張相片、相片集合到影片片段，OneSearch-VL 會先定位視覺線索，再檢索外部知識，將相關證據組合成答案。它屬於多模態 deep research agent，處理的是影像內容理解與資料查證之間難以銜接的工作。

核心是 Visually Grounded Evidence Graph（VGEG），把視覺錨點、來源支持的事實和產生答案所需的操作連在一起。VGEG 亦支援資料建立及驗證；Evidence-aware Visual-Grounded Rubric reward（EVGR）則在強化學習中監督證據是否可追溯，以及答案有沒有真正對應影像內容。

項目提供 OneSearch-MI-Bench 和 OneSearch-Video-Bench，分別面向多圖及影片研究能力。輸入資料未列出具體分數或模型名稱，因此不能把它描述成已全面勝過其他視覺研究方案；它較適合用作研究原型、訓練資料管線和 agentic workflow 的基礎。

OneSearch-VL 包含 Agentic SFT、Agentic RL、推理及評估相關目錄，並標示 Python 3.11+；先準備模型、資料集和外部工具，再執行訓練或評估流程。對需要查核圖片來源、比較多張圖片，或從影片整理證據的研究團隊，這種統一處理方式較容易整合到既有工作流，但部署成本和工具依賴仍要自行確認。

• 同時支援單圖、多圖集合及影片
• 以 VGEG 統一視覺線索與外部證據
• EVGR 強調證據可追溯及視覺對齊
• 提供多圖與影片專用 benchmark
• 支援 SFT、RL、推理和評估流程

GitHub · 模型

Categories: 開源, Agentic, AI productions, 模型, 視覺模型, 多模態模型, 模型訓練, Video, Image, 工具, Python, 庫, Dataset 數據集, 強化學習

---

EBG 紀錄長流程 AI 代理的決策

2026 年 10 月 10 日 Share to X Facebook Copy link

代理做得越多，監察越難。EBG 將分散在訊息、程式及工具結果中的證據，整理成可核查的行為關係圖。

長流程 AI 代理執行軟件工程工作時，使用者往往難以判斷哪些決定會影響結果。Evidence-Grounded Behavior Graph（EBG）是一套 training-free 監察方法，將來源連結證據整理成行為、範圍與關係，協助監察者追查代理做過甚麼，以及相關證據藏在哪裏。

EBG 不只記錄操作次序，而是以 task-oriented views 把要求、觀察到的行為和可能後果連起來，讓人集中核實具影響力的決定。這比逐段翻查訊息、程式碼、工具輸出及中間產物更適合長流程工作，但它仍需要可靠的來源證據和監察模型作判斷，並不會自動保證結論正確。

項目同時提供 AgentMonBench，涵蓋 SpecGAP、SilentSwap 和 FeedbackTrace 三個子集，各有 100 個例子；主要實驗使用 FeedbackTrace Long 的 100 個樣本。基準從兩個方向測試代理監察能力：要求與行為是否一致，以及能否找出需要使用者核實的重大自主決定；網站亦展示八個模型的結果，但儲存庫沒有在摘要中列出完整分數。

• Python 3.11 或以上可執行 EBG，FeedbackTrace 建構需要 Python 3.12，SilentSwap 另需 Docker。
• scripts.demo 可離線建立合成圖，不需憑證或基準資料，測試結果會儲存至 outputs/demo/。
• 公開資料包括完整評估輸入、Gold annotations 和樣本清單；預測及 judging 則需自行提供 endpoint、模型 ID 和憑證。

對研究AI 安全監察及軟件工程團隊來說，EBG 的把「代理做了甚麼」轉化成可追溯的證據結構。它目前仍是 under review at ICLR 2027 的研究項目，較適合作為可重現的研究基礎及監察流程原型，而非即插即用的生產系統。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, API, 軟件, 工具, Python, 庫, 安全, 中國, Dataset 數據集

---

AgentGarten 以神經渲染器打造可演化的 AI 世界

2026 年 10 月 10 日 Share to X Facebook Copy link

AgentGarten 讓智能體在由程式控制狀態與規則、再由神經渲染器生成畫面的世界中反覆學習，兼顧可控性與視覺真實感。

讓智能體在同一個世界反覆試錯，關鍵不只在模型能力，也在環境是否真的記得狀態、遵守規則，並以接近真實的畫面回應行動。AgentGarten 屬於面向 Agentic 系統的互動環境與神經渲染器項目，處理的是可執行世界難以同時兼顧規則一致性、視覺質感與即時速度的問題。

世界中的物件、目標和變化由程式保存，程式輸出的 depth 或 surface normals 則交給共享 neural renderer 生成智能體看到的畫面。renderer 以 NVIDIA Cosmos3-Nano 為基礎，先用 bidirectional rectified-flow 訓練完整影片，再以 autoregressive block-causal 方法配合 teacher forcing 或 diffusion forcing 生成後續畫面，最後透過 Adversarial Forcing 將模型蒸餾成較少步驟的學生模型。

目前公開內容集中在 neural renderer、訓練配方及 streaming inference；code worlds 和完整 agent practice loop 仍會逐步加入。試用需要 Python 3.11 或以上、PyTorch 2.9 或以上，以及 CUDA 主機，較適合研究智能體、模擬環境或自製互動遊戲的團隊，而非只想即時調用一個現成聊天模型的讀者。

• 可控狀態：規則和世界變化留在可檢查、可修改的程式內。
• 統一視覺介面：只要提供幾何條件，同一世界可以切換不同視覺風格。
• 即時能力：官方資料指在單張 H100、480×832 解析度可超過每秒 30 幀。
• 學習閉環：智能體每輪把經驗整理成 playbook，交給後續輪次繼承。

這種做法以幾何條件取代為每個世界重新製作完整視覺資產，換來較高彈性，但畫面質素仍取決於 renderer 訓練資料、條件輸出和硬件。項目展示的 shelter、bridge 及 companion dog 場景說明它可支援 self-play RL；不過完整程式世界尚未全部公開，現階段更適合作為研究原型和 renderer 實驗基礎。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 模型訓練, NVIDIA, Video, Python, 強化學習

---