用稀疏、低解像度的多視角影片製作沉浸式內容，難處不只在補清楚每一格，也要避免不同鏡頭和時間點的畫面互相矛盾。RealMe 是一項體積影片重建研究項目，目標是把 720p 多鏡頭拍攝素材轉成 2K、具 4D 一致性的影片，適合需要從有限拍攝資料重建人物與場景的研究及製作團隊。
流程先由輸入畫面建立粗略的 4D 表示，再從新視角渲染結果和原始畫面裁切出輔助影片，交由高解像度影片擴散模型增強；生成結果會與原始拍攝一同用來細化最終表示。模型以 ControlNet 注入輔助影片條件，並在 DiT 中分開處理時間與視角方向的注意力，讓去噪過程能交換跨影格、跨視角資訊；頻率引導則用來恢復細節。
相比只提升單張影像清晰度的做法，RealMe 同時處理新視角品質與 4D 一致性。研究團隊表示，它在 RealVV 和 DNA-Rendering 兩個資料集的新視角合成品質及 4D 一致性上勝過當時的先進方法；與 STAR、FlashVSR 比較時，示範結果呈現更細緻的面部、頭髮和衣物細節。這些結果來自研究展示，未提供可供讀者自行重現的效能數字。
RealVV 是團隊自行拍攝的多視角資料集，涵蓋不同人物、動作、場景、相機基線和焦距設定，目標是測試較具挑戰性的拍攝條件。現階段 GitHub 程式碼仍在內部審查，資料亦標示為即將提供，因此目前可透過論文、項目網站及示範影片了解方法，尚未能按公開指引安裝或重現流程。
- 輸入為稀疏、低解像度的多視角影片，輸出目標為 2K 4D 體積影片。
- 影片擴散模型負責生成增強視角，再與原始拍攝共同細化重建結果。
- DiT 的時間與視角注意力設計，用來維持跨影格、跨視角一致性。
- RealVV 涵蓋多種人物、場景及相機設定；程式碼和資料目前尚未公開。
對多鏡頭人物捕捉、自由視角影片和 4D 重建研究而言，RealMe 展示了以生成模型補足稀疏拍攝細節的方向；但在程式碼與資料釋出前，製作團隊仍難以判斷其運算成本、所需拍攝條件及融入現有流程的難度。