一段影片畫面流暢、物件外觀相近，不代表它真的完成了指令。SemComp-Bench（Benchmarking Semantic Task Completion in Video Generation）把評測焦點放在「結果有否做到」和「是否仍然保留與任務相關的語義」；GitHub 項目則是一套用來建立 SemComp-Data 的資料處理管線，處理影片篩選、狀態定位、指令整理和結果標註。
由原始影片到可評測資料，流程分成 9 個階段：先按標題過濾及分類任務，再定位 reference frame 與 outcome state，檢查畫面質素和狀態順序，產生中英雙語的簡短及詳細指令，最後抽取 outcome-centric clips、標註 semantic alignment types，並描述結果狀態。這種做法把評測所需的參考畫面、指令和完成結果放在同一段真實影片脈絡中，較適合檢查模型是否真的做到指定改變，而不只是產生看似合理的畫面。
項目屬於影片生成評測的資料集建構工具，實際解決的是把零散影片整理成可驗證、可重複評分的任務樣本。SemComp-Bench 目前提供 1,273 個結構化樣本、6 個真實世界領域、60 個 SemComp-Core cases，平均 outcome-centric clip 約 4.03 秒，並配有兩種指令、四類 reference alignment types，以及 27 個評測取樣畫面。
使用者需要 Python 3.10 或更新版本、ffmpeg、ffprobe，以及供第 2 至第 5 和第 7 至第 9 階段使用的 multimodal model service；第 6 階段的 ImageBind inference 建議使用支援 CUDA 的環境。原始影片、模型權重、服務憑證和執行輸出均不隨儲存庫提供，因此較適合研究團隊按自己的影片及模型服務重建資料，而不是下載後即時取得完整數據集。
- 以 outcome achievement 配合 semantic grounding，避免只用畫質或 prompt alignment 判斷成功
- 透過 reference frame、outcome state 和短片建立完整評測三元組
- 1 至 7 階段通常會輸出 snapshot、excluded set，技術失敗另有 error.parquet
- 可用 tests/ 的離線回歸測試檢查處理流程
- splitting/ 含改編自 Panda-70M 和 ImageBind 的元件，非商業授權限制需要先審閱
對研究生成影片、製作評測數據，或需要分析任務完成率的團隊而言，這套管線提供了清楚的重建入口；但它依賴外部多模態模型服務和本地媒體資源，資料建立成本與授權審查仍是採用前必須計算的部分。
