rea-video:逐鏡反推還原影片製作路線

將影片拆成拍攝、生成與程式動效等不同做法。rea-video 逐鏡整理畫面、剪接和聲音,輸出可供人閱讀或交給 AI agent 使用的製作方案。

rea-video

一條影片可能混合實拍、AI 畫面、程式驅動的動畫和螢幕錄影,這些製作方法卻各不盡相同。rea-video 是一個強大的影片分析工具,會逐鏡判斷素材類型,再整理重製所需的拍攝、生成或編碼工作;它只提供完整方案,不會直接生成成片。

安裝十分簡單,你只要把本地影片交給能執行命令的 AI agent,例如 Claude Code 或 Codex 輸入 「安裝 https://github.com/JuneYaooo/rea-video,然後拆解這個影片」 ,agent 便可運行分析流程。執行環境需要 ffmpeg 和 Python 3.10+;目前文件沒有列出硬件需求、模型規模或 CLI 版本。分析結果有兩種形式:report.html 或 PDF 方便閱讀,VIDEO.md 則按層整理,讓 AI 只讀取回答問題所需的內容。

它不止能辨認實拍與 AI 生成,也包括 Avatar、3D/動畫、程式模板、螢幕錄影,以及混合剪輯。每個鏡頭會放回原有時間線理解,並可記錄字幕出現時間與樣式、貼圖位置、畫中畫、剪接節奏、音樂和音效落點。若畫面由程式動效構成,結果可整理成 Remotion 項目;字幕則可匯出為 SRT 或 ASS。

這種逐鏡拆解,對想參考短片製作自家廣告的內容團隊尤其實用:先看哪些畫面需要自行拍攝,哪些可用生成模型處理,哪些其實用程式重建更合適。以一段 70 s、12 個鏡頭的產品宣傳片為例,83% 是程式動效,12% 是螢幕錄影;案例認為整片可用一個 Remotion 項目製作,不必依賴影片模型。這個例子說明,拆解結果可能把製作方向由生成畫面轉向程式編排,但不代表所有宣傳片都適用同一做法。

若要分析實拍、AI 與 3D 畫面的來源,離線工具可先提供判斷,再由 agent 複核有疑問的鏡頭。接駁 Gemini 或 Doubao 等支援影片的模型後,live/AI/3D 判斷會更準確,並能替每個鏡頭加入反推提示詞;不接模型也能運作。燈光分析涵蓋 12 種布置,並可附器材清單,方便把觀察結果轉成拍攝準備。

  • 實拍素材偵測率為 97–99%。
  • 9 段人工標註片段的鏡頭邊界召回率為 95%,精確率為 94%。
  • 按鏡頭時長加權的來源判斷,Tuning set 有 15 個樣本,離線工具結果為 98.3%。
  • Holdout 有 16 個樣本,離線結果列為 99.6%/98.9%;接駁 Gemini 後為 99.6%/99.8%。
  • 10 個重新編碼的 WeChat 影片,離線結果為 88.6%;接駁 Gemini 後為 99.6%,再由 agent 視覺複核則為 100%。
rea-video, 复刻视频神器,8.8k star,解读+实测

這些數字不能直接套用到所有影片。平台重新壓縮會抹去雜訊等判斷線索,令離線工具在 WeChat 影片上明顯吃虧;視覺複核有助恢復準確度,但也表示結果仍需要人或模型檢查。項目提供 eval/RESULTS.md 重現評估;示例影片經重新壓縮後亦可能失去 TikTok/Douyin 平台標籤,因此自行重跑的結果可能與原報告不同。

分析只能從成片線索推斷製作方式,不能保證還原原作者的實際流程。對創作者、影片製作團隊和需要整理拍攝素材的行銷人員來說,它適合用來估算各鏡頭的製作路線與所需素材;最終拍攝、生成和剪輯仍要在其他工具中完成。

項目主頁 · GitHub

Categories: 開源, 字節跳動, Agentic, AI productions, 模型, Gemini, Video, Audio, 提示詞, 工具, Content Creator, 3D, Python, Anthropic, 動畫, 音樂