大規模多模態 MCD-rPPG 資料集旨在用於遠程光電容積脈搏波 (rPPG) 和基於視訊的健康生物標記估計。此資料集包含 600 名受試者在靜止和運動後狀態下，從三個攝影機以不同角度拍攝的同步視訊記錄、PPG 和 ECG 訊號以及擴展的健康指標（動脈血壓、血氧飽和度、壓力水平等）。

我們還提供了一個高效的多任務神經網路模型，即使在 CPU 上也可以即時估計臉部視訊中的脈搏波訊號和其他生物標記。(Paper)

## 遠端光體積變化描記術 (rPPG) 的新里程碑：MCD-rPPG 多鏡頭資料集揭示非接觸式健康監測的未來

想像一下，無需任何接觸，僅透過一道光線，就能準確測量您的心率、血壓甚至是壓力水平。這並非科幻小說情節，而是遠端光體積變化描記術 (rPPG) 正在實現的願景。而現在，一個名為「MCD-rPPG」的多鏡頭資料集與其配套工具的問世，正為這項技術的發展開啟了全新的篇章。

### 什麼是 rPPG？非接觸式監測的潛力

遠端光體積變化描記術 (rPPG) 是一種創新的非接觸式技術，它利用標準攝影機（例如智慧型手機或網路攝影機）來測量人體皮膚顏色因血液循環引起的微小變化，進而推算出心率、血氧飽和度等生理指標。這項技術的優勢顯而易見：它避免了傳統接觸式測量可能帶來的不適或感染風險，尤其適用於敏感肌膚、新生兒或需要長期監測的患者。此外，rPPG 能夠提供連續、即時的數據，有望在遠距醫療、居家健康監測和健身追蹤等領域發揮巨大潛力。

然而，rPPG 技術的發展也面臨著諸多挑戰。環境光線的變化、受試者的移動以及不同的膚色都可能對測量結果產生顯著影響，導致數據不穩定或不準確。現有的公開資料集往往規模較小、缺乏多樣性，也限制了研究人員開發出更為穩健和普適的演算法。

### 突破瓶頸：MCD-rPPG 資料集的誕生

為了解決這些關鍵問題，一項名為「MCD-rPPG」（Multi-Camera Dataset rPPG）的大型多視角視訊資料集應運而生。這個資料集旨在克服現有基準的局限性，加速 rPPG 和非接觸式健康監測領域的研究進程。

MCD-rPPG 收集了來自 600 名受試者的 3600 個同步視訊錄影。這些影片在多種不同條件下拍攝，包括靜息狀態和體力活動後，並使用了多個消費級攝影機從不同角度同時進行錄製，極大地增加了數據的多樣性和真實性。更為重要的是，每個錄影都與一個 100 Hz 的光體積變化描記 (PPG) 訊號以及包括心電圖 (ECG)、動脈血壓、生物標誌物、體溫、血氧飽和度、呼吸頻率和壓力水平在內的 13 項擴展健康指標同步配對。這種豐富的多模態數據使研究人員能夠進行更深入的生理狀態分析，並開發出更全面的 AI 醫療助理系統。

### 實用工具與無限潛力

除了龐大的資料集本身，ksyegorov/mcd_rppg 這個 GitHub 專案還提供了基線模型和數據準備代碼，旨在方便研究人員快速開始使用 MCD-rPPG 資料集進行研究。專案中包含多種類型的模型，有些以單獨的幀作為輸入來預測各種醫療參數，有些則以整個視訊作為輸入。同時，也提供了用於 rPPG 的監督式和非監督式演算法。數據準備工具包括從每個視訊中採樣幀、檢測人臉以及根據人臉邊界框裁剪幀的功能。這些工具為研究人員提供了靈活的訓練和評估選項，例如調整學習率、批量大小、訓練週期數，以及對視訊進行裁剪、跳過或分組幀等。

MCD-rPPG 資料集及其配套資源的公開發布，預計將顯著加速非接觸式健康監測技術的發展。它為研究人員提供了一個前所未有的豐富而多樣的資源，有助於開發更準確、更穩健的 rPPG 模型，最終推動 AI 醫療助理的發展，讓遠端、非接觸式的健康監測在未來成為我們日常生活的一部分。

### 結論

MCD-rPPG 不僅是一個大型資料集，更是 rPPG 研究領域的一座里程碑。它透過提供前所未有的數據廣度和深度，為開發下一代非接觸式健康監測技術鋪平了道路。隨著更多研究人員利用這個強大的資源，我們有理由相信，在不久的將來，透過一道光線洞悉我們的健康狀況將不再是夢想。