Verus-Insight 分析可見瑕疵：影片真假判斷有跡可尋

2026 年 10 月 24 日 Share to X Facebook Copy link

Verus-Insight 不只判斷影片是真還是假，亦會逐步規劃檢查項目、核實畫面證據，再整理成結構化結論。這套開源模型適合研究影片偽造分析及可解釋檢測的團隊評估。

檢查 AI 生成影片時，單有真假標籤未必足以說明判斷依據。Verus-Insight 是一個影片瑕疵檢測模型，會按影片內容制定檢查準則、核實畫面中是否看得到相關瑕疵，再把觀察結果整合成真假判斷，讓分析不只停留在分類結果。

模型建基於 Qwen3-VL-8B-Instruct，採用「檢查規劃、證據核實、證據整合」流程。訓練方法以人工標註作錨點，涵蓋 Context → Rubric → Audit → Aggregation；這套流程旨在讓模型按影片內容提出檢查項目，並以可見證據支持結論。程式庫提供的是推理版本，並非可直接執行的訓練套件。

Verus-Bench 包含 192 段真實及 AI 生成影片，各佔 96 段，另有 320 項人工標註瑕疵，分屬 17 個類別。資料集可用來檢視模型能否找出細節瑕疵，但目前提供的資訊沒有列出具體評測分數，因此不宜據此判斷它比其他模型準確多少。

程式庫支援 Transformers、vLLM 推理，亦提供影片、圖片或影格序列輸入，以及批次推理與結果續跑功能。使用者可按文件準備 Linux、CUDA 環境並下載模型；Transformers 測試配置使用一張 H100 80GB GPU，但這只是已驗證配置，並非最低硬件要求。程式庫沒有提供訓練指令或訓練配方。

• 適合研究影片偽造、視覺瑕疵分析及可解釋檢測的團隊。
• 可由單一輸入測試，也可批次處理已整理的資料清單。
• Verus-Bench 提供人工標註，方便檢視瑕疵定位與影片層級判斷。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, NVIDIA, Video, Image, Linux, 庫, Dataset 數據集

---

LaLa-World 用自然語言連接機械人規劃

2026 年 10 月 23 日 Share to X Facebook Copy link

以文字描述動作，模型便可從模擬、機械人、圖片和影片學習並預測未來畫面，讓規劃不必為每個任務各自訓練世界模型。

只用文字描述動作，就能讓同一個世界模型從模擬、機械人、圖片和影片學習，並預測行動後的視覺變化。LaLa-World 是語言條件式潛在世界模型，目標是減少不同領域各自訓練模型的需要，支援跨場景規劃；它亦可微調成 LaLa-Policy，同時預測機械人動作和未來表徵。

關鍵做法是把自然語言當成共通的動作介面，再於潛在空間預測未來視覺表徵，而不是直接生成完整影片。研究結果指，加入圖片和影片資料可改善規劃能力，亦令模型較能適應不同動作措辭；這讓研究團隊可以把多種來源的資料納入同一套規劃流程。

• 在平均 MPC 規劃 LaLa-World 優於按領域或任務分開訓練的潛在世界模型。
• 與採用相同條件的 RAEv2 影片生成模型相比，規劃表現相若，訓練成本低 6 倍，規劃速度快 13.9 倍。
• LaLa-Policy 在 LIBERO 和 RoboCasa 的結果可與 Cosmos Policy 比較，推理速度最高快 5.5 倍。
• 跨模態資料可提升規劃表現及對動作措辭的穩健性，對需要跨模擬與真實機械人資料研究的團隊較有吸引力。

這些結果令項目適合用作機械人規劃與政策學習研究，尤其是希望整合影片資料、減少逐個任務訓練成本的團隊。不過，GitHub 儲存庫目前仍在補齊內容：環境設定和資料準備程式已提供，LaLa-World 訓練及規劃評估程式、預訓練檢查點和解碼器則尚未公開，因此現階段未能按完整流程重現結果。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 世界模型, 模型訓練, Video, Image, 庫

---

ShotVerse2.0：讓影片生成更有電影感

2026 年 10 月 23 日 Share to X Facebook Copy link

從文字生成影片時，角色衣着、場景和鏡頭動作往往難以同時維持一致。FAPL 訓練多模態語言模型理解影片生成所需的時間線索，並支援分項控制。

文字生成影片時，模型不只要描寫眼前一幕，還要推斷未提供的時間變化，並在角色、場景、動作和鏡頭之間維持一致。FAPL（Factor-Aware Predictive Learning，因素感知預測學習）是一套訓練方法，旨在讓多模態大型語言模型（Multimodal Large Language Model，MLLM）的表示真正參與影片生成，而非被解碼器繞過。

它以 UniVideo 的 13B Video DiT 為基礎，不改動模型架構，而是分三階段訓練：先令 DiT 以 MLLM 潛在表示作為內容條件，再透過成對的因素編輯資料，教模型只改指定內容、保留其他因素；最後固定 DiT，訓練 MLLM 與連接器，讓只有文字或文字加完整影片的輸入都能對應同一影片目標。這讓方法同時處理文字推斷影片細節，以及按因素選擇性控制的需求。

研究報告的評測中，FAPL 把 Motion Order 由 48% 提升至 61%，∩-Acc 由 42% 提升至 58%，FaceSim-Arc 則由 0.451 升至 0.523。展示案例亦呈現角色衣着和外觀較能維持一致；不過，這些數字來自指定評測，不能直接視為所有提示詞或影片情境下的保證。

目前較適合研究影片生成、希望改善多因素控制的團隊參考。GitHub 資料標示程式碼、模型權重及 CineFactor-10K 評測提示仍待發布，因此暫未能按儲存庫提供的資料安裝或重現訓練；現階段可先閱讀論文及項目網頁了解方法與示例。

• 以 MLLM 潛在表示作為影片生成的內容條件。
• 分開訓練內容 grounding、因素控制與有限輸入預測。
• 可針對角色、場景、動作或鏡頭變更，同時保留其他因素。
• 在所列評測中，動作順序、因素準確度與人臉相似度均有提升。
• 程式碼、權重和評測提示尚未發布，現階段無法依實驗。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Video, 提示詞, 香港, 庫

---

Agent4Sci 把 AI 編程代理放進真實科學實驗場

2026 年 10 月 23 日 Share to X Facebook Copy link

AI 編程代理能否在有限算力、沒有人工協助的情況下，超越論文已發表的最佳結果？Agent4Sci 讓代理在真實機器學習科研任務中接受長時間測試，並檢查成果是否可信。

面對一篇研究論文、程式碼、訓練資料和指定指標，AI 編程代理能否在固定算力內推進結果？Agent4Sci 是一個長時間測試與評估工具，涵蓋 11 個科學領域的 20 個基準和 25 項任務，檢視前沿代理在沒有人工協助下能否超越已發表的最佳表現。

它不以排行榜為目標，而是讓代理在標準化環境中修改程式、執行實驗和提交成果。每項任務會先核對已發表的基準結果、修整資料切分，並封存測試集；代理只能查看訓練及驗證資料，避免直接利用測試答案調整結果。

評估分成三步：代理進行實驗並提交成果，另一個代理在封存的測試集上評分，第三個代理則審查過程有否選擇性呈報、測試資料污染、操弄指標或硬編碼輸出。這種分工有助分辨模型進步是否來自有效研究，而非鑽評測漏洞；但長時間實驗本身結果波動較大，作者也提醒應把結果視為研究能力的探測，而不是穩定排名。

• 覆蓋 20 個基準、25 項任務及 11 個科學領域。
• 以固定運算預算測量代理相對於已發表最佳結果的進步幅度。
• 測試集封存，並由獨立階段評分及審查評測操弄風險。
• 提供 research、experiment 和 checklist 工作流程，分別支援文獻引導構思、實驗安排及定期檢查研究方向。

研究團隊、AI 代理開發者及機器學習科研團隊，可用它檢查代理能否在真實程式碼和資料條件下完成持續實驗，而不只是產生看似合理的修改。儲存庫提供 agent4sci run 執行評估流程，另有後端與自建基準容器的說明；提供的資料未列出完整安裝及模型預設細節，因此無法據此判斷所需 API、算力配置或具體執行時間。

GitHub

Categories: 開源, Agentic, 模型, 模型訓練, API, 工具, 庫, 編程

---

PrismaCoder 的多模態生成

2026 年 10 月 23 日 Share to X Facebook Copy link

多模態程式碼智慧將程式的符號世界與其執行所產生的視覺世界連結起來。

從文字或視覺輸入生成圖表、網頁、示意圖、文件和動畫，PrismaCoder 是一系列開放的多模態程式碼模型，處理的不只是程式能否執行，也包括輸出畫面是否符合要求。這對需要快速製作圖表、前端介面或科學文件的開發者和研究團隊，提供了涵蓋多種視覺程式任務的模型選擇。

它的訓練流程 PrismaForge 會為每項指令建立評分規準，分開檢查程式碼與渲染結果，再用相同規準篩選訓練資料及提供強化學習獎勵。這做法把「程式寫得對」和「畫面呈現得對」分開衡量，減少只靠整體印象評分所帶來的偏差。

模型以 Qwen3.5 為基礎，提供 9B 和 35B-A3B 兩種規模，並各有監督式微調（SFT）及強化學習（RL）版本。PrismaCoder-2M 資料集涵蓋圖表生成與重建、網頁介面、互動示範、向量圖像、科學文件及化學圖形等任務；評估工具包括 VisPlotBench 和 ChemDraw。

• PrismaCoder-9B 的 SFT 與 RL 權重均可取得；35B-A3B 的 RL 權重仍在上載中。
• 項目網站稱模型在圖表、前端頁面和半結構化文件任務中領先開放模型，並能匹敵或超越部分專有系統；具體分數需查看網站或論文。
• 儲存庫已提供格式專屬執行與渲染檢查、多模態資料合成，以及 Python、SVG、HTML 的文字評分工具；PrismaForge 完整評分與資料篩選流程，以及 SFT、RL 訓練腳本仍未完成。

模型權重和資料集可經 Hugging Face 項目頁取得；不過，儲存庫目前未提供完整訓練流程，35B-A3B 的 RL 權重亦未上架。想先驗證生成品質的團隊，可參考 VisPlotBench、ChemDraw 評估程式和互動示例；若要自行重現訓練，則要留意腳本尚未開放。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, Image, 工具, Python, 庫, 動畫, Dataset 數據集, 強化學習

---

DONIC：基於人類示範的通用型靈巧雙手追蹤控制

2026 年 10 月 23 日 Share to X Facebook Copy link

DONIC 讓一個控制策略同時操作兩隻靈巧機械手，模仿人類雙手示範。模擬測試中，即使遇上訓練時未見的物件，也毋須微調便能完成追蹤。

模仿雙手操作時，難處不止是讓每隻手跟上動作，還要同時配合物件的位置與接觸方式。DONIC 是一套靈巧雙手追蹤控制策略，讓同一個策略控制兩隻 Wuji 機械手，依照人類雙手示範操作物件，並嘗試泛化到未見軌跡和未見物件。

它以五個公開手部與物件資料集，以及 BiHOI 訓練。BiHOI 收錄 1,575 段雙手互動序列，涵蓋 229 件物件和 14.77 小時操作紀錄；研究團隊使用 32 部校準相機拍攝，再重建雙手與物件動作。對機械人研究團隊而言，這套資料處理流程有助把多視角人手示範轉成可供機械手學習的動作參考。

訓練方法亦針對雙手配合調整：每隻手按示範所要求的接觸方式獲得獨立獎勵，避免一隻手的進度掩蓋另一隻手的失誤；PPO（近端策略最佳化）則配合行為克隆，並把經回放驗證的成功操作加入示範資料，供後續訓練使用。這比只追蹤手部姿勢更重視物件與兩手接觸，但結果仍取決於示範資料和模擬環境能否涵蓋目標操作。

在 Isaac Gym 模擬測試中，DONIC 對未見軌跡的成功率為 86.79%，對未見物件則為 57.32%，均毋須微調。相較研究團隊以相同資料池訓練的 DexTrack 與 Dexplore 雙手改編版本，成功率分別高出 77.36 和 45.73 個百分點；加入 BiHOI 後，兩項成功率再升至 88.68% 和 59.76%。這些是模擬結果，不能直接視為真實機械人環境的表現。

現階段較適合把 DONIC 視為研究原型，而非可直接安裝運行的完整控制工具：訓練與評估程式碼、策略檢查點及 BiHOI 資料集尚未公開，已提供的是 BiHOI 處理流程。現有內容可讓研究團隊檢視資料建構方式與模擬結果，但要重現策略或在實體機械手上測試，仍需等待相關程式碼、模型及資料釋出。

• 模型權重、MANO 資產和資料集不會在此處分發，並且仍受其原始許可的約束。
• 單一策略同時控制兩隻 Wuji 靈巧機械手。
• 訓練資料結合五個公開資料集與 BiHOI 多視角雙手互動紀錄。
• 模擬中未見軌跡成功率為 86.79%，未見物件為 57.32%。
• 加入 BiHOI 後，兩項成功率分別升至 88.68% 和 59.76%。
• 訓練與評估程式碼、策略檢查點及 BiHOI 資料集仍未公開。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, 工具, Dataset 數據集

---

TextRIRO：修改文字內容並保留原始風格

2026 年 10 月 23 日 Share to X Facebook Copy link

讓圖片中的文字換內容、留風格，但處理範圍限於裁切文字區域，項目暫時只是作為研究，因此生成解像度亦有限制。我仍為這研究有助 Diffusion Model 發展更多的應用

招牌或包裝上的字換了，仍希望保留原有外觀；TextRIRO 以條件擴散模型處理場景文字編輯（Scene Text Editing，STE），輸入裁切文字圖及替換內容，輸出改字後的圖像。

它以 Shuffle&Crop 打亂真實影像的文字語意，同時保留風格線索，讓每張圖形成自身的配對監督，毋須合成編輯前後配對或字元分割。多尺度風格編碼器配合以場景文字辨識（Scene Text Recognition，STR）預訓練的文字編碼器，分別提供外觀與字元條件。

「Real-only」只涵蓋編輯監督及文字編碼器預訓練。生成骨幹仍採用 Stable Diffusion（SD）1.5 的 U-Net 與 scheduler，以及 SD 2.1 的變分自編碼器（Variational Autoencoder，VAE）。

• 可透過 Hugging Face Demo 試改文字。
• 本地推理需 CUDA、模型權重及相關組件；儲存庫列出 Python 3.8／PyTorch 1.13 環境。
• 生成解像度為 64 × 256，再還原來源尺寸，細節仍受限制。
• RIROCommon 測試等長及變長改字；所附資訊未提供分數，不能判斷領先幅度。

文字辨識研究團隊亦可利用 TextRIRO-3M 的三百萬張長文字影像。這批資料由篩選後的編輯圖與原圖拼接而成，屬合成資料；完整照片改字流程，仍需另行處理文字區域裁切及回貼。

GitHub · 模型

Categories: 開源, 模型, 模型訓練, NVIDIA, Stable Diffusion, Image, Python, 庫, Dataset 數據集

---

PawCT：分拆四聲部合唱

2026 年 10 月 22 日 Share to X Facebook Copy link

把合唱錄音轉成可分辨女高音、女低音、男高音與男低音的 MIDI 音符，有助排練和樂譜重建。PawCT 直接輸出四部聲線，並以 YouChorale 測試其分部能力。

要從整隊合唱錄音還原各聲部，難處不只是聽出音符，還要判斷每個音符屬於哪一部。PawCT 是一套合唱自動音樂轉錄（Automatic Music Transcription，AMT）研究模型，會把混合錄音轉成女高音、女低音、男高音與男低音（SATB）的獨立音符軌，適合用於排練準備、音樂教育和樂譜重建。

PawCT 亦提供 PagCT，先轉錄不分聲部的合併音符軌；另一個基線 Post-VA 則在第二階段，按符號音樂資料為音符分配聲部。PawCT 把聲部辨識納入端到端轉錄，並以共享編碼器配合 SATB 專屬的起音、延音結束及音框輸出頭；音域先驗（RP）和有序連續性先驗（OC）則在訓練損失中限制不合理音域與旋律走向，推理時毋須額外模組。

YouChorale 的 PagCT 的單軌音符 F1 為 0.382，高於 Yu et al. (2024) 的 0.237；SATB 平均音符 F1 則由 PagCT 加 Post-VA 的 0.175，升至 PawCT 加 RP 與 OC 的 0.225。

• 想取得單一音符軌，可測試 PagCT；需要分開四部聲線，則應看 PawCT 的輸出。
• 模型、訓練、評估、視覺化及釋出檢查程式碼均已納入儲存庫，另有線上示範與程式碼導覽可供參考。
• YouChorale 的音訊、標註、MIDI 檔案及生成預測並未一併公開，因此仍有待完整重現。

對音樂研究者、合唱團排練者及開發音樂教育工具的團隊而言，PawCT 提供了直接檢視分部轉錄的研究起點；若只需合併音符，PagCT 的定位較簡單。現有公開內容較適合檢查方法與程式流程，重現比較實驗前則要先核對資料、評估協定和歷史設定是否齊備。

項目主頁 · GitHub

Categories: 開源, 模型, 多模態模型, 模型訓練, Audio, 工具, 庫, 語音, 音樂, Dataset 數據集

---

JCA 讓文字生成可重播的 3D 動作與影片

2026 年 10 月 22 日 Share to X Facebook Copy link

文字提示不只生成畫面，JCA 亦同步產生可重播的 3D 動作，並支援場景及關鍵影格控制。

文字生成影片時，動作通常只留在畫面裏，難以直接套用到指定的 3D 角色，或放回原有場景。NVIDIA Research 的 Joints, Camera, Action!（JCA）同步生成影片、3D 骨架動作與鏡頭資訊，讓動作可以重播，並對應到 3D 場景。

JCA 支援不同骨架結構，不限於人形角色。輸入圖片可令動作回應周邊環境，加入少量關鍵影格則可控制動作軌跡；模型亦支援由影片還原骨架動作，或由骨架動作生成影片，適合 3D 資產動畫、場景化影片製作和動作擷取。

• 文字提示可生成同步的影片與 3D 動作。
• 輸入圖片和關鍵影格可提供場景及動作控制。
• 支援不同骨架結構，並可進行影片與動作之間的轉換。

模型以圖編碼器描述骨架，並讓獨立的動作模型與預訓練影片生成器透過少量 cross-attention layers 交換資訊。動作模型可先利用較易取得和擴增的純動作資料學習；它亦會定位影片中的關節，以推算鏡頭位置，協助把 3D 動作放回場景。

訓練資料接近 20 萬組配對，涵蓋人類與機械人影片，以及經整理、確保動作有效的 3D 資產場景影片。研究團隊表示，評估中 JCA 比以影片生成為先的流程更貼合文字描述，動作也能回應場景；原文沒有列出量化指標，效果幅度仍難以比較。

項目主頁

Categories: AI productions, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Image, World-Action Model, 教學, 3D, 動畫

---

CoEvo-RSI：讓模型跟上會進化的 Agent Harness

2026 年 10 月 21 日 Share to X Facebook Copy link

CoEvoX 讓模型與執行框架同步演化，改善 AI Agent 的能力與工作流程互相錯配及自我進化(RSI - Recursive Self-Improving)的問題。

當 Agent 的執行流程不斷改變，模型可能未學懂新要求，也可能因 Harness 限制而用不出原有能力。CoEvoX 屬於 LLM agent 的模型—Harness 共演框架，透過共同演化歷史檔案，協調模型檢查點、執行框架與實驗結果。

每輪流程由 meta-agent 編輯新 Harness，從歷史檔案選擇或合併模型 checkpoint，再用拒絕取樣軌跡進行 SFT；只有通過驗證的改善組合才會晉升。TIMR（Turn-level Interface Mismatch Rate）用來診斷逐回合的介面錯配，亦令模型選擇不再只看單一模型能力。

• Qwen3.5-9B 經 CoEvoX 調整後，部分失效歸因測試超越更大型模型
• 評估涵蓋多代理失效歸因、角色感知 text-to-SQL 及智能家居指令
• Held-out 測試避免同時參與訓練與演化選擇
• 結果並非全面領先，部分演算法生成或 When 指標仍落後其他方法

失效歸因結果中，CoEvoX 在 Hand-Crafted 的 Who、Pro 的 Who，以及 TraceElephant 的 Who 分別取得 68.39%、69.43% 和 70.78%，但在 TraceElephant When 只有 28.92%，低於 GSPO 的 38.36%。這反映共演化能改善特定工作分工，卻未必對所有推理步驟同樣有效。

項目較適合研究 recursive self-improving agents、模型訓練及 Harness 設計的團隊，用來測試模型與工作流程是否互相配合。提供的資料沒有完整安裝、執行指令或部署流程，亦不應直接假設可隨意下載；目前較合理的理解是把它視為附有實驗框架與評估方向的研究項目。

GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, 框架

---