Dataset 數據集

video-shotcraft：電影感產品影片工作室

2026 年 8 月 22 日

video-shotcraft 把產品頁面、動態分鏡和聲效製作串成一條工作流，協助 Claude Code 或 Codex 產出更完整的宣傳影片。

由產品頁面出發，video-shotcraft 會交由 Claude Code 或 Codex 組織分鏡、動畫及聲音設計，再以 Remotion 製作宣傳、發布或示範影片。這個項目屬於 AI agent skill，實際處理的是產品影片製作中截取畫面、安排鏡頭、配合節奏剪接和加入聲效等繁複工序。

畫面不只依賴抽象動畫，工作流包括真實頁面擷取、2.5D camera moves、beat-synced cuts，以及電影感 SFX。152 張 shot recipe cards、209 種 style 和 209 個 motion previews，讓創作者可按產品內容挑選鏡頭語法，再由 native Remotion components 組合成片；元件以 normalized progress t 驅動，並可替換 ACCENT 顏色。

適合需要頻繁製作產品發佈片、marketing video 或 demo video 的設計師、創業團隊及內容製作人。它把分鏡規劃和前端式動態設計交給代理處理，換來較完整的自動化流程，但影片質感仍取決於產品頁面素材、提示內容及人工修訂；提供的資料亦未交代具體安裝步驟、所需帳戶或完整輸出流程。

品質控制來自對候選動作進行八輪逐幀檢視，並與參考片段比較後整理成 recipe cards。README 亦列出完成交付後可輸出可編輯的 JianYing（CapCut CN）草稿，方便按 shot 重新剪接、調速、排序、調色及重建字幕軌道，但相關功能的可用條件仍需以項目最新文件為準。

素材處理：支援真實產品頁面擷取，而非只靠預設圖形。
動態語法：涵蓋 2.5D 鏡頭、節拍剪接和 SFX 配搭。
內容庫：提供 152 張 shot recipe cards、209 種 style 及 209 個預覽。
輸出彈性：以 Remotion 元件組成影片，並列出 JianYing 可編輯草稿匯出能力。
使用限制：目前資料不足以確認安裝、模型依賴和完整執行要求。

GitHub

Categories: 開源, OpenAI, Agentic, Video, AI productions, Anthropic, Dataset 數據集, Skill 技能

WithEveryone 多人合照不再撞臉

2026 年 8 月 21 日

復旦大學、騰訊混元與香港大學研究團隊，嘗試一次保留五至十個人物身份的群組生成。

復旦大學、騰訊混元（Hunyuan）及香港大學的研究團隊共同開發 WithEveryone，針對 AI 生成多人合照時人物身份容易混淆的問題，讓五至十個參考身份可以同時出現在連貫場景中。它屬於群組影像生成研究項目，核心價值是維持每個人「誰是誰」的對應關係，而不只是增加畫面人物數量。

系統會把每個參考人物轉換成獨立的 identity token，再透過 Layout CoT 預先推理人物、臉部、身體區域與姿勢的位置，最後交由 renderer 生成視覺條件。Layout-Grounded ID Loss 會在指定臉部區域提供身份監督，ID Representation Forcing 則要求模型在合成前先為每個身份建立預測，減少多人場景中的錯配。

研究展示提供了 63 組生成結果，並在 identity-disjoint benchmark 上比較身份保真度與複製參考圖程度：WithEveryone 的 ArcFace similarity 為 0.614，高於 GPT-Image-2 的 0.566；Copy-paste score 為 0.055，低於 GPT-Image-2 的 0.169。這表示它一方面維持人物特徵，另一方面較少直接照搬參考圖，但目前資料未提供更完整的速度、硬件需求或不同人數下的細分結果。

目前 GitHub 儲存庫尚未提供可下載的研究版 checkpoint，亦沒有完整安裝及測試流程。原因是研究版本依賴的 foundation model 授權不容許公開 checkpoint；團隊正以支援開源發佈的 foundation model 訓練新版本，待程式碼及 checkpoint 準備好後才會分享。

支援五至十個參考身份的群組影像生成
以 identity token 綁定人物，配合身份感知的版面推理
透過 Layout-Grounded ID Loss 監督指定臉部區域
研究結果在 ArcFace similarity 及 Copy-paste score 上勝過 GPT-Image-2
現階段只能閱讀研究展示，未能按儲存庫資料自行安裝重現

對需要製作多人宣傳照、角色群像或指定人物場景的影像研究團隊，這個方法提供了比單純堆疊參考圖更完整的身份與構圖處理思路。一般創作者暫時仍要等待開源版本，因為未公開 checkpoint 令項目現階段更接近研究展示，而不是可即時採用的生成工具。

項目主頁 · GitHub

Categories: 開源, 香港, 香港大學, 騰訊, Image, 多模態模型, 模型, Dataset 數據集

EnvHarness 讓靜態環境按代理弱點持續進化

2026 年 8 月 21 日

EnvHarness 不改動環境內部程式碼，透過可堆疊元件調整任務、規則與觀察，讓代理獲得更有針對性的訓練。

Google Cloud AI Research 聯同 Washington University in St. Louis、Google Cloud、University of North Carolina at Chapel Hill 的研究人員，開發了 EnvHarness。這個開源框架處理的是大型語言模型（Large Language Model，LLM）代理面對靜態互動環境時，任務和回饋無法隨能力變化的問題；它保留原有環境及驗證器，改由外加層控制代理所見、可做的行動和起始狀態。

代理在同一批任務上反覆練習，往往會很快解完，環境卻不能因應弱點提供新挑戰。EnvHarness 是一個面向代理學習的開源框架，透過標準 reset／step 介面包裹固定環境，調整代理的起始狀態、可用行動與觀察內容，同時保留原有的成功判定器。

它把控制拆成三類可組合元件：Setup 負責重塑初始狀態，Rule 改變互動規則、行動限制及回饋，Link 則把另一個環境的任務接入目前流程。設計者代理會讀取目標代理的操作軌跡，診斷失誤，再以 Python 寫出元件、測試及修訂，令訓練環境隨代理能力一同調整。

• 不需修改 ALFWorld、WebArena、SWE-bench Verified 等環境的內部程式碼
• 任務與 verifier 保持來源 benchmark 的可信判定
• 元件可自由堆疊，適合針對特定弱點改造互動流程
• 可在項目提供的瀏覽器 Playground 以 Toy24Env 觀察環境狀態與代理視角

在 ALFWorld、WebArena 及 SWE-bench Verified 的 EnvHarness 訓練結果分別達到 68.3、41.6 及 52.6，展示相對基準最高 5.9 個百分點的提升。不過，效果取決於設計者代理能否準確診斷軌跡，以及改寫後的環境是否真的對應目標弱點，並非單靠套上元件就能保證改善。

它的取捨是把環境設計工作轉移到 Setup、Rule、Link 的程式編寫與反覆測試，換來跨 benchmark 重用和較低的環境改造成本。

項目主頁 · GitHub

Categories: 開源, Google, Agentic, Python, Dataset 數據集

FACET-Terminal：讓終端任務由可執行環境先行生成

2026 年 8 月 21 日

FACET 把技能、Docker 環境、解法與驗證器連成同一狀態，產出可真正執行驗證的終端任務。

FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

終端 AI Agent 最怕指令寫得合理，環境、解法和驗證器卻互相對不上。FACET（Fine-grained Agentic Construction of Executable Tasks）是一套終端任務合成框架，先建立並修復 Docker 環境，再讓指令、參考解法和驗證器共享同一套執行狀態，處理複雜任務難以穩定測試的問題。

項目由 71,341 個來源技能整理出 7,852 條場景—技能種子，最後取得 6,078 個通過執行驗證的任務，並從成功 rollout 篩選約 1.2K 條完整軌跡，用於監督微調 Qwen3.5 系列模型。環境中的檔案、路徑、套件、連接埠、資料結構和測試資料會沿流程傳遞，減少純文字交接造成的落差。

資源包括 FACET-Terminal-Tasks-6k 數據集，以及 FACET-Terminal-Qwen3.5-4B、9B 和 27B 模型。要重現任務合成流程，需要 Python 3.11–3.13、uv、Docker 和模型 API；配置與 Python 程式集中在 facet/，並提供 FORWARD、REVERSE、JOINT 三種生成策略作比較。

Terminal-Bench 2.1 的三次獨立執行平均結果顯示，4B、9B、27B 模型分別由 17.60、27.34、40.82 提升至 24.72、35.58、47.57；4B 相對提升 40.5%，27B 更接近同設定下 Qwen3.5-397B 的 49.06。這批數據規模仍然有限，任務質素亦依賴 Docker 環境和驗證器是否正確，較適合研究 Agent 訓練、Terminal-Bench 評測及需要可重現終端操作的團隊。

資料基礎：6,078 個通過執行驗證的任務
生成方式：環境先行，指令、解法與驗證器共享狀態
公開模型：Qwen3.5 4B、9B、27B
評測結果：27B 在 Terminal-Bench 2.1 達 47.57
適合場景：終端 Agent 訓練、任務合成及可重現評測

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, API, Python, 模型, 模型訓練, 中國, Dataset 數據集, 上海人工智慧實驗室

RapidLiDAR：單次前向傳播做到 10 Hz 嘅 LiDAR 場景補全

2026 年 8 月 21 日

佢將稀疏嘅部分點雲一次性還原成稠密場景，主打即時同可調速度，適合對延遲敏感嘅自動駕駛同機器人開發者。

Repository image for AzharSindhi/RapidLiDAR

對做自動駕駛或機械人感知嘅人嚟講，LiDAR 場景補全最頭痛嘅唔係質素，而係慢——好多現有方法要幾百毫秒先出一幀，根本追唔上車規或即時反應嘅需求。RapidLiDAR 嘅定位就喺呢度：佢設計成一個端到端、單次前向傳播嘅補全模型，目標係跑到接近 10 Hz，同時保留可調速度同可調節輸出密度嘅彈性。

做法上，佢先用體素化抽取多尺度 3D 特徵，再透過一個自注意力 BEV 頭產生密集 2D 特徵圖。Adaptive Initialization Module 會預測一個空間變化嘅位移，把稀疏點雲「撐開」做粗略初始化；之後 Multi-Scale Reconstruction Module 用可變形注意力（deformable attention）將每點特徵同多尺度 BEV 特徵對齊做精修。如果想再稠密仲可以加一個可選嘅 Refinement Network 喺凍結嘅主模型上做上採樣，倍率為 κ。

換句話講，舊方法通常分開做初始化同迭代 refinement，或者用兩階段網絡先粗後細；RapidLiDAR 將呢幾步壓入一次前向，靠 BEV 座標化同可變形注意力同時兼顧效率同幾何一致性。代價係依賴 SemanticKITTI 風格嘅資料 loader，需要 .npy 格式嘅 GT 同 input 配對，唔係 out-of-the-box 處理原始 Velodyne 掃描。

適合做自動駕駛 stack、實時 SLAM、機械人感知原型，或者想喺邊緣裝置上試稠密 LiDAR 預測嘅團隊。原文強調即時性為 10 Hz，具體 mIoU 或 Chamfer distance 等數字未在 README 完整列出，安裝需 CUDA 12.4 同 PyTorch 2.4.1，並要自行 JIT 編譯 Chamfer distance CUDA extension。

GitHub · Paper

Categories: 開源, NVIDIA, 3D, Python, 模型, 視覺模型, Robotic, Dataset 數據集

SemComp-Bench：影片生成評測由「似樣」走向真正完成任務

2026 年 8 月 21 日

SemComp-Bench 不只看生成影片是否逼真，還檢查指定結果有否完成，以及關鍵語義是否仍然保留。

Repository image for Kelly372/SemComp-Bench

一段影片畫面流暢、物件外觀相近，不代表它真的完成了指令。SemComp-Bench（Benchmarking Semantic Task Completion in Video Generation）把評測焦點放在「結果有否做到」和「是否仍然保留與任務相關的語義」；GitHub 項目則是一套用來建立 SemComp-Data 的資料處理管線，處理影片篩選、狀態定位、指令整理和結果標註。

由原始影片到可評測資料，流程分成 9 個階段：先按標題過濾及分類任務，再定位 reference frame 與 outcome state，檢查畫面質素和狀態順序，產生中英雙語的簡短及詳細指令，最後抽取 outcome-centric clips、標註 semantic alignment types，並描述結果狀態。這種做法把評測所需的參考畫面、指令和完成結果放在同一段真實影片脈絡中，較適合檢查模型是否真的做到指定改變，而不只是產生看似合理的畫面。

項目屬於影片生成評測的資料集建構工具，實際解決的是把零散影片整理成可驗證、可重複評分的任務樣本。SemComp-Bench 目前提供 1,273 個結構化樣本、6 個真實世界領域、60 個 SemComp-Core cases，平均 outcome-centric clip 約 4.03 秒，並配有兩種指令、四類 reference alignment types，以及 27 個評測取樣畫面。

使用者需要 Python 3.10 或更新版本、ffmpeg、ffprobe，以及供第 2 至第 5 和第 7 至第 9 階段使用的 multimodal model service；第 6 階段的 ImageBind inference 建議使用支援 CUDA 的環境。原始影片、模型權重、服務憑證和執行輸出均不隨儲存庫提供，因此較適合研究團隊按自己的影片及模型服務重建資料，而不是下載後即時取得完整數據集。

以 outcome achievement 配合 semantic grounding，避免只用畫質或 prompt alignment 判斷成功
透過 reference frame、outcome state 和短片建立完整評測三元組
1 至 7 階段通常會輸出 snapshot、excluded set，技術失敗另有 error.parquet
可用 tests/ 的離線回歸測試檢查處理流程
splitting/ 含改編自 Panda-70M 和 ImageBind 的元件，非商業授權限制需要先審閱

對研究生成影片、製作評測數據，或需要分析任務完成率的團隊而言，這套管線提供了清楚的重建入口；但它依賴外部多模態模型服務和本地媒體資源，資料建立成本與授權審查仍是採用前必須計算的部分。

項目主頁 · GitHub · 數據集

Categories: 開源, NVIDIA, Video, Python, 多模態模型, 視覺模型, Dataset 數據集

Qwen-Video-Edit：開源影片編輯模型

2026 年 8 月 19 日

它把文字指令式影片編輯做得更直接，透過現成的 image editing model 去改寫影片 latent。對需要長片段、分段修改同一條影片的工作流，會比重起一套 video transformer 更省力。

Qwen-Video-Edit 是一個 instruction-based video editing 項目，核心做法是把 Qwen-Image-Edit 直接搬去處理影片 latent，再用兩個可訓練 projection 接上 Wan 2.1 的 video-VAE。這樣做的價值很清楚：不用再依賴 video-pretrained transformer，也能按文字指令改影片內容。

安裝和測試路線已經整理得相當明確。train.py 走單機多 GPU 訓練，infer.py 負責長影片逐段編輯與 Wan 2.2 denoising-enhancement，dataset.py 則讀取 Ditto 格式的 source、edited、instruction 配對。

和一般影片編輯方法相比，差異在於它不是從頭學影片理解，而是借用影像編輯模型的先驗，再用 warm-started projections 與 grid positional encoding 去補上時間維度。這代表訓練成本和架構複雜度較低，但限制也在於效果仍仰賴 Wan 2.1 latent 空間、Ditto-1M 資料，以及後段 enhancement。

支援 LoRA 或 full fine-tuning，取捨在訓練成本與自由度之間
長影片可以分段套用不同指令，適合剪接、局部修改、旁白對齊內容
輸出 checkpoint 以 trainable-weights-only .safetensors 形式提供，載入流程較直接
另有 zero-training demo，可先看 image-grid 與 latent-grid 編輯行為
模型權重已公開，方便直接做復現或二次改造

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, Video, Image, 影像模型, 模型訓練, 視頻模型, Dataset 數據集

TRACE-Bench 拆解多參考生圖失誤來源

2026 年 8 月 18 日

多張參考圖生成得似，未必代表每個要求都做對。TRACE-Bench把失誤拆成可追蹤能力，方便看清模型真正卡在哪裏。

生成圖片時同時引用多張參考圖，最難的地方往往唔係畫面夠唔夠完整，而係模型有冇準確保留指定主體、抽出正確屬性，再綁到啱嘅目標上。TRACE-Bench屬於 Multi-Reference Image Generation Benchmark，處理的正是這類「成品看似合理，但細節要求逐項出錯」的評估問題。它不再只用一個總分判斷好壞，而是把每條提示拆成可追蹤的能力步驟，讓研究者知道錯誤發生在身份保留、屬性抽離、屬性綁定，還是多元素構圖。

這個基準最核心的做法，是用四個原子操作統一資料建構、評分與診斷流程：Anchor負責鎖定並保留參考主體的身份特徵，Disentangle負責把某個屬性從原本載體抽離，Apply負責把抽出的屬性自然地套到指定目標，Compose則負責在空間、關係或整體場景限制下安排多個內容。TRACE-Bench把每個 prompt 表達成 compositional formula，令多參考生成不再只按「風格轉移」或「主體組合」這類粗分類來看，而是按能力需求逐層拆解。

它和常見 benchmark 的差異，在於評估單位由任務類型改成能力組合。原有做法容易出現覆蓋不足、案例難度難比較、失敗原因不透明等問題；TRACE-Bench則把同一套公式結構用於案例生成與對齊評分，並要求參考資訊有精準 grounding。資料規模方面，這個 benchmark 約有1,600個 evaluation cases、631個公式模板、約4,000張 reference images，覆蓋1至8個 operator slots，並評估了9個領先模型。現有結果顯示，真正的瓶頸主要落在 attribute disentanglement 同 binding，不是單純的場景級 composition。

對模型研究、影像生成工作流設計，甚至要挑選評測方法的團隊來說，TRACE-Bench的價值在於它能把「生成得唔錯」這種籠統印象拆成具體能力地圖。當案例失敗時，它還會用遞迴簡化方式做 diagnosis，逐步定位干擾來自哪一個參考需求。對於想改進多圖條件生成、測試 reference-following 能力，或者分析模型為何經常把屬性套錯對象的人，這種可追溯結構比單一總分更有用。

用四個操作符描述多參考生成：Anchor、Disentangle、Apply、Compose。
每個 prompt 都可寫成 compositional formula，方便控制複雜度與對齊評分。
約1,600個案例涵蓋1至8個 operator slots，資料來自約4,000張參考圖。
九個模型的評估結果指出，屬性抽離與屬性綁定比場景構圖更常成為瓶頸。
原始資料聚焦 benchmark 設計與診斷方法，未提供一般讀者可直接下載或部署的完整使用流程。

整體來看，TRACE-Bench不是再增加一批「看圖感覺差不多」的測試題，而是把多參考生圖最難處理的依賴關係寫成可分析、可比較、可回溯的結構。當模型要同時記住誰是誰、哪個屬性要抽出、又要套到哪個實體上時，這套方法更能反映能力上限與失誤模式，也讓後續改進有更清晰的落點。

項目主頁

Categories: Image, AI productions, Dataset 數據集, 框架

HarnessEval-W 讓世界模型評測留下可核查推理鏈

2026 年 8 月 18 日

世界模型評測不再只給一個分數，HarnessEval-W把每次判斷拆成可追溯的證據樹，讓物理與因果錯誤更容易核對。

當世界模型生成一段互動場景，真正難判斷的往往不是畫面是否漂亮，而是物理、因果和世界狀態有沒有隨行動正確演變。HarnessEval-W 屬於開源的 agentified benchmark，實際處理的是如何把這些需要理解上下文的評測工作，轉化成可檢查、可重現的判斷流程。

它借用 Large Language Model（LLM）生態常見的 harness 思路，先按每個 evaluation case 的初始世界、action 和 probe intent 分解問題，再由具備不同工具與上下文的 specialized sub-agents 分工判斷，最後由 parent agent 驗證證據並整合 verdict。每次評測都會留下 evidence tree，記錄測試內容、視覺依據和完整推理鏈，研究團隊可以追查分數由何而來，而不是只接受一個難以解釋的 scalar score。

支援 330 個 evaluation cases、5,940 次 scored rollouts
以 11 個 specialized evaluation skills 覆蓋品質、轉換與持續性
涵蓋 18 個 world models，並提供 leaderboard 與可執行評測程式
包含 harnesseval-metrics，以及 physical-plausibility backend harnesseval-pavrm

HarnessEval-W 在 intentional transition 上與人類 Bradley–Terry ranking 的 Spearman correlation 為 0.93；physical transition 的 pairwise accuracy 達 71.7%，高於 WBench 的 31.9%。重複評測的結果範圍亦較 WBench 窄 4.9 倍，但這些數字仍取決於案例設計、技能路由和代理判斷品質，不能直接視為所有世界模型任務的通用排名。

項目提供固定 plans、benchmark 資源、metric backends 和可延伸的 skill library；團隊可以先重現既有 cases，再提交新世界、新 action、新 probe family 或新 skill。它較適合研究世界模型、建立可審計評測流程，或需要比較物理合理性與狀態持續性的團隊；對只想快速取得單一分數的測試流程而言，完整證據樹會增加運算與整合成本，但換來更清楚的錯誤定位能力。

項目主頁 · GitHub

Categories: 開源, Agentic, 庫, 世界模型, Skill 技能, Dataset 數據集, 北京大學

PACE-Bench：專測機械環境變化下的自我演化能力

2026 年 8 月 18 日

PACE-Bench 針對環境突變後的適應力做評測，重點不是能否第一次做對，而是能否把原本成功的設計改到再次通關。你可以把它理解成一個用物理模擬驗證自我修正能力的基準。

S-01 Bridge Construction: source design passes, fails after mutation, self-evolves, and passes the target environment

PACE-Bench 是一個用來測試自我演化 agents 的基準，核心問題是：當原本可行的 code-driven design 因為環境改動而失效，系統能否靠互動回饋把它改回可行。它更像是在驗證適應能力，而唔只是看一次性解題。

這個項目把 144 組 source-to-target 配對放入 6 類物理場景，要求 agent 先在 source 環境成功，再在 hidden mutation 後的 target 環境重新修正。每次修訂都要經過執行驗證，JSON 會保存，--save-gif 亦可記錄每次通過驗證的嘗試動畫。

同類評測多數固定執行條件，PACE-Bench 直接把變化放進任務核心，逼系統面對失敗後的再設計。它用 OpenAI-compatible endpoint 跑模型，--base-url、--model、--api-key 與 --workers 這些參數都對應實際部署需要，較適合拿來接自家推理服務做批量評估。

從公開結果看，Reflexion 在 Pass@2 上領先，但 Tree-of-Thoughts 在成本效率更高，說明多做自我修正不一定換到更好的性價比。這類基準特別適合做具身智能、仿真控制、研究自我修正流程的團隊，用來檢查模型在新條件下是否真能靠回饋改對，而唔係只係記住舊解法。

針對環境突變後的適應能力，不是單次解題
以執行驗證驅動每次修訂，結果可重現
支援接入 OpenAI-compatible 服務做評測
結果顯示準確率與成本效率未必同步提升
適合研究 self-evolving agents、控制與物理模擬

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, Agentic, API, Dataset 數據集

Page 1 of 21

1 2 3 … 21 Next »