
Depth Pro 2 是 Apple AI/ML Research 的開源專案。主要用作深度估算兼處理照片與影片。普通相機拍下的照片、整段影片及即時影像,都能交給同一個流程,按輸入完整解像度估算每個像素的距離以米(meter)制深度計算。處理影片時,預設模式每段讀取 16 frames,相鄰片段重疊 4 frames,讓接合位置的深度保持穩定。這種安排直接處理影片合成的麻煩:物件輪廓要清楚,前後影格的遠近判斷也要連貫。
離線影片可以先收集片段,再一起預測;相機畫面則要隨影格抵達立即處理。unbuffered 模式會使用當前影格及之前 15 frames,代價是串流開頭可參照的畫面較少,深度較不穩定。加長片段及增加重疊可稍為改善穩定性,但執行會更慢。因此,即時預測描述的是處理方式,項目提供的資料未列出可通用的速度保證。
前後畫面能互相參照,靠的是模型內部共享資訊。transformer 在首三分之一的 blocks 之後,交替處理影格內與跨影格的 attention,即輪流查看單張畫面的細節與前後畫面的關係。這讓影片預測有機會利用其他影格的線索,而非把每張畫面獨立處理。保留原始解像度則服務另一個目標:讓物件邊緣維持清晰,減少輪廓細節流失。
項目以 Sintel 與 Spring datasets 的平均結果,檢查清晰度與時間穩定性。Boundary F1 score 衡量輪廓是否準確,Jitter 則反映深度隨時間的抖動;項目報告兩者均優於既有單影格及多影格方法,但未列具體分數。影片展示採用 2K–4K 來源,Depth Pro 2 H+ 保留原生解像度,其他方法使用各自預設設定。這能比較各套系統的輸出,卻不能單憑畫面把差距全部歸因於網絡結構,因為解像度設定也不同。
要把遠近變成米數,焦距必須可靠。未知焦距時,系統會先估算;影片採用首個 window 內估算值的中位數,即時串流則在首個 window 填滿後固定焦距。項目文件明言,焦距高估 10%,所有深度也會高估 10%,所以畫面穩定並不等於尺度準確。已校準相機可先校正影格畸變,再透過 Python 傳入水平焦距 fx,跳過焦距估算。
剪接與合成團隊可以先看預設彩色結果,紅色代表近,藍色代表遠,再決定是否輸出資料。需要接駁 Nuke 或 Blender 時,可輸出 16-bit inverse depth,即越近越亮的反向深度圖,並以原始資料方式讀取。這種輸出按照片或影片首個影格的深度範圍縮放,後續更近的點會飽和成白色;要保留米制深度及焦距,應改取 NPZ。製作點雲前也要裁剪深度範圍,因為天空可能被估為無限遠或數公里。
本機測試可在 Linux 或 Apple silicon Mac 準備 uv,下載程式及模型權重,再交入照片或影片。系統會選用可用的 NVIDIA GPU、Apple silicon GPU 或 CPU;模型由 S、B、L 到預設 H+,較小型號較快,較大型號的深度較清晰穩定。記憶體需求隨影格尺寸及 window 增長,放不下時應先縮短 window,再考慮較小模型。大幅縮小輸入會失去細節,甚至改變深度尺度,不能只當成無損的加速方法。
Apple 亦提供 Core ML 模型及相機深度 Mac demo,後者需要 Apple silicon、macOS 15 或以上,以及 Xcode 16 或以上或其 command line tools。研究團隊可先用固定相機片段,檢查輪廓、時間穩定性及已知距離是否吻合,再接駁合成流程。儲存庫未附 training 或 evaluation code,輸入亦未交代維護節奏;模型權重限非商業科研及學術開發,商業製作不能直接沿用。
模型選擇直接影響速度、邊緣細節及穩定性:大型號較清晰穩定,小型號較快。以下列出參數、權重下載大小及選擇方向。
| 型號 | 參數 | 下載大小 | 選擇方向 |
|---|---|---|---|
| S | 24M | 97 MB | 手提電腦先測試,優先考慮速度 |
| B | 97M | 386 MB | 從 S 往上比較品質與負擔 |
| L | 334M | 1.3 GB | 較偏向細節與穩定性 |
| H+ | 872M | 3.5 GB | 預設型號,優先考慮輸出品質 |