讓AI直接接收用戶的聲音和影像，再以文字回答，OmniVChat（Omni Video Chat）提供了檢驗這類對話的評估與訓練獎勵工具。問題藏在影音之中，不另附文字提問、外部影像描述或自動語音辨識（Automatic Speech Recognition，ASR）轉錄，適合測試多模態模型能否連結所見所聞。

OmniVChat-Bench包含2,800段合成對話，按分層準則評分，涵蓋五類能力：

• Dialogue-State & Link Perception（DSLP）：理解對話狀態與連結。
• Multimodal Entity Alignment（MEA）：把說話對應至正確的可見實體。
• Model Self-Awareness（MSA）：交代自身身分與物理限制。
• Anti-Hallucination（AH）：回答以影音證據為依據。
• Emotion Recognition（ER）：結合面部與聲線辨識情緒。

評估分數r(y)介乎0至1，以Subcategory Mean匯報；OmniVChat-RL共用評分核心，另加格式、效率與風格獎勵，範圍為0至1.5，兩者不能直接比較。

研究團隊可先查看儲存庫的評分程式與範例，再到Hugging Face取得完整標註及媒體。這個項目只提供程式碼、範例與文件；合成對話的結果亦不足以單獨判斷模型在真人影音互動中的可靠程度。

GitHub