如果你曾經好奇電腦點樣由一張相片判斷物件有幾遠，DepthVLM 就係一個幾有代表性的答案。呢個專案主打由單張圖片直接輸出具實際尺度的深度資訊，同時保留問答、理解畫面內容等多模態能力，唔係只做單一視覺任務。

對一般開發者而言，上手方向算清晰：程式碼、模型權重同基準資料都已有公開入口，亦提供示例視覺化結果方便先睇效果。要留意資料本身受授權限制，作者未有直接派發整理後全集，但有公開資料整理流程，較適合願意自己重現訓練或評估的人。

佢較特別之處，在於唔需要將「睇圖理解」同「估深度」拆開做。論文資訊顯示，DepthVLM 會喺單次推理中同時產生深度圖與文字輸出，並以輕量模組接到語言模型骨幹上，速度亦比同類 VLM 方案如 DepthLM、Youtu-VL 更快。

如果你做機械人、AR/VR、室內導航，或者想研究影像中的 3D 空間推理，呢類模型特別有價值。從公開內容看，相關比較對象包括 DepthLM-12B、Youtu-VL-4B、InternVL3.5-38B，以及偏純視覺路線的 Depth Anything V3、UniDepth V2、Metric3D v2、Depth Pro、ZoeDepth。

• 一個模型兼顧畫面理解與深度預測
• 可輸出具米制尺度的稠密深度圖
• 推理效率強調比部分現有 VLM 更快
• 已提供範例、模型檔與基準標註入口
• 較適合研究、實驗同進階應用整合

整體來講，DepthVLM 吸引之處唔單止係準確度，而係它試圖將 3D 感知正式帶入視覺語言模型工作流。若你想搵一個連接「識答問題」同「識判斷空間距離」的方案，呢個專案相當值得先收藏再深入試用。

網址： https://github.com/hanxunyu/DepthVLM

網址： https://arxiv.org/pdf/2605.15876

做人物影片生成，最難往往不是畫面靚唔靚，而係人郁動時有冇「似真」。PhyMotion針對的正是這個痛點：它提供一套較細緻的評分方法，專門檢查生成影片中的人體動作是否合理，例如會否出現腳步飄浮、失去平衡，或者動作雖然順眼但其實不合物理常識。

它的做法幾有意思。團隊先從影片還原出3D人體網格，使用SMPL表示身體，再把動作轉到MuJoCo的人形物理模擬環境內，從三方面評估：關節運動是否自然、接觸與平衡是否一致、以及整體動態是否可行。比起只靠2D畫面觀感打分，這種方法更能指出問題究竟出在哪一層。

如果你想上手，較合理的方式不是把它當成一般剪片工具，而是當成研究或訓練流程中的「動作評審」。儲存庫提供有 PhyMotion-CausalForcing-1.3B 相關權重與 LoRA 形式檢查點，較適合已經在做人像影片生成、後訓練或獎勵設計的人逐步接入。

• 重點不在直接生成影片，而在替影片中的人體動作評分
• 結合 SMPL 與 MuJoCo，比純2D評估更重視身體結構與物理性
• 適用於自回歸與雙向類型的影片生成訓練流程
• 相關資源包括論文、模型、資料集，以及 PhyMotion-CausalForcing-1.3B

整體來看，PhyMotion最有價值的地方，是把「睇落順眼」進一步拆成可分析的幾個部分，令改進方向更清楚。它特別適合研究員、AI 影片開發者，或者想提升人物動作真實感的團隊；對一般用家來說，未必是即裝即用，但作為理解下一代人物影片質素點樣提升，這個項目相當值得留意。

網址： https://github.com/h6kplus/PhyMotion

HiDream-O1-Image 是一個開源影像生成模型，主打把文字、圖片像素和不同任務條件放進同一個系統處理。對一般用家來說，可以將它理解為一個不只會「生圖」，亦能處理改圖、角色一致化，甚至長文字排版的多功能工具。

實際使用上，它較適合拿來做文字生成圖片、按指令修改現有圖片，或者用同一角色、產品去延伸出不同場景。官方亦提供 Hugging Face 上的模型與線上體驗，因此未必一定要自行搭建環境先感受到效果。

這個專案最值得留意的創新，是它採用所謂 Pixel-Level Unified Transformer，聲稱不依賴外部 VAE 或分開的文字編碼器。簡單講，即是想用更統一的方法直接理解像素與文字，理論上有助減少不同模組之間的割裂，對複雜提示、版面安排和文字渲染會更有幫助。

• 支援text-to-image、圖片編輯、主體個人化等多種任務
• 可原生輸出最高 2048×2048，較適合需要細節的畫面
• 內建 reasoning-driven prompt agent，強調先處理布局與隱含需求
• 提供 8B 規模版本，並有 distilled 與 undistilled 變體

若你常做海報草圖、分鏡、品牌角色延伸，這類模型會特別實用；如果重視圖片內長文字、指定區域排版，HiDream-O1-Image 亦屬值得關注的一類。不過實際效果仍會受提示寫法、任務類型和版本選擇影響，尤其編輯任務方面，官方就建議優先考慮完整模型。

硬體需求

GPU：需要 CUDA 支援的 NVIDIA GPU 。模型本身有兩個版本 — 標準版（Full）和蒸餾版（Dev）。標準版需要 50 個推理步驟，蒸餾版則需要 28 個步驟，因此蒸餾版對硬體的需求更低。

根據社群資訊，使用 FP8 量化的蒸餾版本可以用約 10GB VRAM 的 GPU 運行 。如果使用全精度模型（Full），VRAM 需求會更高，具體取決於生成的影像解析度（最高支持 2048×2048）。

軟體依賴

安裝後需要執行 pip install -r requirements.txt 。官方強烈建議安裝 flash-attn 以優化注意力運算，如果無法安裝，則需要手動編輯 models/pipeline.py 第 291 行，將 "use_flash_attn": True 改為 "use_flash_attn": False，否則推理會失敗 。

推理模式選擇

• Dev 模式（蒸餾版）：28 步，guidance scale 為 0.0，適合資源受限的環境
• Full 模式（標準版）：50 步，guidance scale 為 5.0，品質更高但運算成本更大

網址 https://github.com/HiDream-ai/HiDream-O1-Image

網址 https://huggingface.co/HiDream-ai/HiDream-O1-Image

PAE 是一個為潛在擴散模型而設的自編碼器框架，重點不只是把圖片壓縮再還原，而是先把潛在空間整理成更適合擴散模型學習的形態。簡單講，它關心的不是「壓得靚唔靚」，而是「模型之後生圖時會唔會更順、更穩定」。

實際使用上，PAE 可理解為擴散模型前面的 tokenizer 或影像編碼模組：先把圖片轉成 latent，再交畀後續生成模型訓練。這種做法特別適合本身已在做 latent diffusion、但覺得收斂慢、訓練成本高，或者生成效果未夠穩定的研究與開發流程。

這個專案較有意思的地方，是它明確提出三個「對擴散友善」的潛在空間特質：空間結構一致性、局部流形連續性，以及全域語意組織。作者不是假設這些特質會自然出現，而是用三種 prior-alignment regularization 去主動約束，這比單靠重建誤差的傳統思路更進一步。

根據專案提供的結果，PAE 在 ImageNet 256×256 上做到 gFID 1.03，並且在相同 LightningDiT 設定下，收斂速度最高可比 RAE 快 13 倍。對非研究人員而言，這代表同樣資源下有機會更快見到可用成果；不過這些表現仍應視乎資料集、訓練設定與骨幹模型而定。

• 核心定位：為 latent diffusion 準備更易學的潛在表示
• 主要創新：把「擴散友善」拆成三個可優化的性質來訓練
• 實際價值：有機會縮短訓練週期，提升生成質素與少步數採樣表現
• 適合場景：影像生成研究、需要高效率訓練的生成系統、比較不同 tokenizer 設計
• 可配骨幹：支援多種編碼器方向，包括 DINOv2、SigLIP2、DINOv3、MAE

如果你關心的是「如何令擴散模型學得更快，而唔係只換更大模型」，PAE 的切入點相當值得參考。它最適合有一定生成模型流程的人採用；對一般用家而言，未必是即裝即用工具，但作為下一代 latent tokenizer 的設計思路，含金量相當高。

Source: https://github.com/ZhengrongYue/PAE

Flow-OPD 是一個針對 Flow Matching 文生圖模型的後訓練框架，核心目標不是單純追高某一項分數，而是把 OCR、組合理解、問答與人類偏好等不同能力整合進同一個學生模型。從公開資訊來看，它建立在 SD-3.5-Medium 上，並以兩階段流程處理「先培養專長、再統一能力」這個多任務對齊難題。

實際使用上，這個專案目前較適合研究者或進階生成模型開發者參考其方法與權重，而不是一般使用者直接拿來當完整訓練工具鏈。README 顯示模型權重已釋出，但完整訓練程式仍在進行中，因此比較合理的使用方式，是先檢視論文與模型成果，再評估是否將其蒸餾思路移植到自己的 Flow Matching 訓練流程。

它最值得注意的創新，在於把原本稀疏的標量獎勵，改成由多個教師模型提供的軌跡級稠密向量場監督。配合 on-policy 的 SDE 採樣，學生模型能在自身生成軌跡上接受更細緻的指導；再加上 MAR 正則化，則是用來降低純 RL 對齊常見的美感退化問題，這點對文生圖品質維持特別重要。

從結果看，Flow-OPD 的價值在於它不只比 vanilla GRPO 更強，還試圖解決多任務訓練常見的「翹翹板效應」。公開數據顯示，該方法在 GenEval、OCR、DeQA 與 PickScore 上都有提升，平均表現優於基線，且在 OCR、DeQA 上甚至出現超越個別教師的現象；不過這些結論仍應以論文設定與基準環境為前提理解。

• 定位明確：專注於 Flow Matching 文生圖模型的多任務後訓練與對齊。
• 方法新意：以多教師稠密監督取代單一標量獎勵，降低任務間梯度干擾。
• 實務亮點：MAR 用來守住美感品質，避免只追指標造成生成退化。
• 適用場景：適合需要同時兼顧文字生成、構圖理解與偏好對齊的通用型文生圖系統。
• 使用前提：目前較偏研究型專案，若要重現訓練流程，可能仍需等待完整訓練程式公開。

Model download: https://huggingface.co/CostaliyA/Flow-OPD

Source: https://github.com/CostaliyA/Flow-OPD

MACE-Dance 是一個面向音樂驅動舞蹈影片生成的研究型專案，核心目標是讓系統根據音樂內容，產生具有舞蹈動作與角色外觀一致性的影片。從名稱與簡介來看，它特別強調 motion 與 appearance 的分工建模，而不是把整個生成流程視為單一路徑處理。

這個專案最值得注意的地方，在於所謂 Motion-Appearance Cascaded Experts 的設計思路。簡單說，它像是把「先決定怎麼跳」與「再決定畫面怎麼呈現」拆成串接的專家模組，這種做法理論上有助於減少動作節奏與人物外觀彼此牽制的問題，也更貼近舞蹈影片生成常見的兩大難點。

實際使用上，這類儲存庫通常更適合已有生成式影音或人體動作研究背景的開發者與研究者。若你想評估模型表現，重點應放在輸入音樂後的動作對拍程度、角色連續性，以及生成影片是否維持合理的視覺一致性；若要延伸研究，則可觀察其模組拆分是否方便替換不同的音樂表徵或影像生成元件。

• 聚焦音樂到舞蹈影片的多模態生成任務
• 以動作與外觀分階段處理作為主要方法亮點
• 適合分析節奏對齊、角色一致性與影片連續性
• 較偏研究用途，不像一般即裝即用的消費型工具

就應用場景而言，它最適合用在舞蹈生成研究、虛擬人表演合成、音樂視覺化內容製作，以及多模態生成模型的比較實驗。若你正在找的是可快速產出商業級短影音的完整產品，這個專案目前看來更像方法驗證與學術探索平台；但若你的目標是理解音樂驅動角色影片生成的前沿方向，它具備相當明確的研究切入點。

Source: https://github.com/AMAP-ML/MACE-Dance