如果你想要一個不一定依賴雲端、又能理解圖片同影片內容的 AI，MiniCPM-V 系列會幾值得留意。它屬於多模態模型，即是可以同時處理文字、影像，部分版本更進一步支援語音同即時串流互動。

實際使用上，它比較適合做圖片問答、文件與畫面內容理解、影片片段分析，甚至可延伸到手機上的 AI 助手。根據專案資料，MiniCPM-V 4.6 可部署到 iOS、Android 同 HarmonyOS，對想做裝置端應用的團隊尤其實際。

這個專案最值得講的，是它不只追求效果，亦非常重視效率。MiniCPM-V 4.6 只有 1.3B 參數，但官方表示表現可超越部分更大的模型，並透過 intra-ViT early compression 把視覺編碼計算成本降低五成以上，對手機或邊緣裝置來說相當關鍵。

另一條支線 MiniCPM-o 4.5 則更著重即時互動，支援視覺、語音、文字一齊運作，並有全雙工串流能力，即是「睇、聽、講」可以同步進行，不用等其中一項完成先再回應。這類設計特別適合即時助理、陪伴互動或主動提醒場景。

重點摘要：
– MiniCPM-V 4.6：主打高效率影像與影片理解，偏向手機端部署
– MiniCPM-o 4.5：加入語音與即時多模態互動，功能更全面
– 視覺壓縮技術有助減少運算成本，對流暢度與耗電更有幫助
– 適合 OCR、畫面理解、行動助理、即時視聽互動等場景
– 相關模型可留意 Gemma4-E2B-it、Qwen3.5-0.8B、Gemini 2.5 Flash、LLaVA-UHD v4

整體來看，MiniCPM-V 系列的吸引力不只是「開源」，而是它把多模態 AI 拉近到真正可落地的裝置使用。若你重視本地運行、回應速度同跨平台部署，這個專案比起單純追求大型模型規模，方向更加清晰。

Source: https://github.com/OpenBMB/MiniCPM-V

Relit-LiVE 是一個用來幫影片「重新打燈」的研究型專案。簡單講，就是把原本影片中的人物或場景，在不改動內容主體下，換成另一種光線效果，並盡量保持整段影片前後一致，不會一時光、一時暗。

這個專案較特別的地方，是它不依賴預先知道鏡頭姿態，並且會一同生成重打燈影片與環境光影片。這種做法有助提升物理一致性，令反光、陰影等細節看起來更合理，對比只逐格處理的方式，更重視時間上的穩定。

實際使用上，它目前較適合有 NVIDIA GPU 的使用者，官方亦建議至少 24GB VRAM，代表一般人未必適合在普通手提電腦直接試。現階段已提供推論程式與模型權重，但訓練流程、完整 inverse-forward pipeline，以及 Gradio 介面似乎仍未完全公開。

如果你是做影像研究、生成式影片實驗，或者想測試影片後期中的光照控制，這類工具會幾有參考價值。它未必是即開即用的消費級產品，但對需要高質感光影變化、又想減少畫面閃爍的人來說，方向相當清晰。

• 主要用途是把現有影片重新套用新的光照效果
• 重點創新是聯合生成環境光影片，提升連貫性與真實感
• 已公開推論代碼與 checkpoints，適合先做效果驗證
• 硬件要求偏高，較適合研究者或進階創作者
• 相關模型資訊可見權重路徑提到的 Wan2.1-T2V-1.3B，亦有 Hugging Face 模型發佈頁可供參考

整體來看，Relit-LiVE 最吸引之處不只是「換光」，而是嘗試令影片中的光影變化更像真實世界。若你關心影片生成中的物理合理性、時間穩定性，以及反射和陰影表現，這個專案值得加入觀察名單。

Source: https://github.com/zhuxing0/Relit-LiVE

seal-rg/streaming 是一個研究型專案，核心概念是令大型語言模型不再只按單一路徑逐步讀、想、答，而是把輸入、推理過程與輸出拆成多條「stream」並行處理。對一般讀者來說，可以理解成模型一邊讀題、一邊解題，甚至另一條路同時做檢查，減少傳統逐字等待的阻塞感。

實際使用上，這個儲存庫不是即開即用的聊天工具，而是分成三個可獨立運行的實驗資料夾，分別研究效率、安全性及可監察性。若你是研究員或工程團隊，可以按目標選擇對應部分，例如想測試「邊讀邊答」就看效率章節，想研究提示攻擊防護則集中安全章節。

它最有意思的創新，在於多串流共用權重的設計：不是為每條思路各自建一個完整模型，而是在同一模型內並行安排多個資訊通道。README 顯示它涵蓋 2、3 甚至 10 個 streams，並把思考、使用者輸入與模型輸出拆開處理；其中較大型版本還提到每個 stream 的 Gated-DeltaNet 狀態，顯示作者不只追求速度，亦想提升內部行為的可觀察程度。

• 三個重點面向：效率、安全、可監察性
• 相關模型包括：Qwen2.5-7B、Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen3.5-27B
• 已知實驗名稱包括：Stream-8B、Stream-27B
• 評估任務涵蓋 GSM8K、MATH500、SQuAD、PubMedQA、TensorTrust、IFEval 等

最適合的應用場景，是想研究下一代 LLM 推理流程的人，而不是只想部署一般客服機械人。特別是需要同時兼顧回答速度、抗攻擊能力，以及想更清楚監察模型「正在怎樣想」的團隊，這個專案提供了相當具體的實驗框架；不過它主要仍屬研究代碼，實際產品化前應預期要自行整合與驗證。

使用方法
這個模型需要 自定義推理代碼（標準 Hugging Face Transformers 不能直接支援 Multi-Stream 格式），推薦使用官方推理代碼。

Source: https://github.com/seal-rg/streaming

PAE 是一個為潛在擴散模型而設的自編碼器框架，重點不只是把圖片壓縮再還原，而是先把潛在空間整理成更適合擴散模型學習的形態。簡單講，它關心的不是「壓得靚唔靚」，而是「模型之後生圖時會唔會更順、更穩定」。

實際使用上，PAE 可理解為擴散模型前面的 tokenizer 或影像編碼模組：先把圖片轉成 latent，再交畀後續生成模型訓練。這種做法特別適合本身已在做 latent diffusion、但覺得收斂慢、訓練成本高，或者生成效果未夠穩定的研究與開發流程。

這個專案較有意思的地方，是它明確提出三個「對擴散友善」的潛在空間特質：空間結構一致性、局部流形連續性，以及全域語意組織。作者不是假設這些特質會自然出現，而是用三種 prior-alignment regularization 去主動約束，這比單靠重建誤差的傳統思路更進一步。

根據專案提供的結果，PAE 在 ImageNet 256×256 上做到 gFID 1.03，並且在相同 LightningDiT 設定下，收斂速度最高可比 RAE 快 13 倍。對非研究人員而言，這代表同樣資源下有機會更快見到可用成果；不過這些表現仍應視乎資料集、訓練設定與骨幹模型而定。

• 核心定位：為 latent diffusion 準備更易學的潛在表示
• 主要創新：把「擴散友善」拆成三個可優化的性質來訓練
• 實際價值：有機會縮短訓練週期，提升生成質素與少步數採樣表現
• 適合場景：影像生成研究、需要高效率訓練的生成系統、比較不同 tokenizer 設計
• 可配骨幹：支援多種編碼器方向，包括 DINOv2、SigLIP2、DINOv3、MAE

如果你關心的是「如何令擴散模型學得更快，而唔係只換更大模型」，PAE 的切入點相當值得參考。它最適合有一定生成模型流程的人採用；對一般用家而言，未必是即裝即用工具，但作為下一代 latent tokenizer 的設計思路，含金量相當高。

Source: https://github.com/ZhengrongYue/PAE

HumanNet 是一個以「人類活動」為核心的大型影片資料庫，目標是幫研究團隊訓練模型，更準確理解動作、互動同身體運動。它收集接近百萬小時影片，重點不只是片量大，還包括第一身與第三身視角的配對，以及動作相關標註。

實際使用上，這個專案較適合做 AI 研究、資料集分析，或者作為影片理解模型的預訓練基礎，而不是一般用家即裝即用的應用程式。現階段公開資訊顯示，完整語料、整理流程同驗證程式碼仍在陸續釋出，較像研究預覽版本。

它最值得留意的創新，是把資料整理流程本身當成核心設計，包括以人為中心的篩選、視角分類、去重、品質控制同私隱審查。相比單純堆影片數量，HumanNet 更著重資料是否適合訓練模型理解細緻動作，這點對機械人學習同具身智能尤其重要。

根據項目提供的結果，在受控的 vision-language-action 後訓練設定下，用 HumanNet 內約 1,000 小時第一身影片作初始化，效果可追近甚至略勝較少量真實機械人資料，亦明顯縮窄與超大型機械人資料基線的差距。這代表當機械人實拍數據昂貴又難收集時，人類第一身影片可能是更可擴展的替代方案。

• 做什麼：提供大規模人類活動影片，用於動作理解、影片學習與具身 AI 預訓練。
• 點樣用：適合研究人員用來訓練、初始化或評估影片與動作模型。
• 主要特色：兼有第一身與第三身視角，並附說明文字、動作、手部與身體訊號。
• 最適合場景：機械人學習、活動辨識、從影片學習操作行為。
• 要注意：目前看來仍屬研究預覽，部分資料與流程尚未完全公開。

Source: https://github.com/DAGroup-PKU/HumanNet

Flow-OPD 是一個針對 Flow Matching 文生圖模型的後訓練框架，核心目標不是單純追高某一項分數，而是把 OCR、組合理解、問答與人類偏好等不同能力整合進同一個學生模型。從公開資訊來看，它建立在 SD-3.5-Medium 上，並以兩階段流程處理「先培養專長、再統一能力」這個多任務對齊難題。

實際使用上，這個專案目前較適合研究者或進階生成模型開發者參考其方法與權重，而不是一般使用者直接拿來當完整訓練工具鏈。README 顯示模型權重已釋出，但完整訓練程式仍在進行中，因此比較合理的使用方式，是先檢視論文與模型成果，再評估是否將其蒸餾思路移植到自己的 Flow Matching 訓練流程。

它最值得注意的創新，在於把原本稀疏的標量獎勵，改成由多個教師模型提供的軌跡級稠密向量場監督。配合 on-policy 的 SDE 採樣，學生模型能在自身生成軌跡上接受更細緻的指導；再加上 MAR 正則化，則是用來降低純 RL 對齊常見的美感退化問題，這點對文生圖品質維持特別重要。

從結果看，Flow-OPD 的價值在於它不只比 vanilla GRPO 更強，還試圖解決多任務訓練常見的「翹翹板效應」。公開數據顯示，該方法在 GenEval、OCR、DeQA 與 PickScore 上都有提升，平均表現優於基線，且在 OCR、DeQA 上甚至出現超越個別教師的現象；不過這些結論仍應以論文設定與基準環境為前提理解。

• 定位明確：專注於 Flow Matching 文生圖模型的多任務後訓練與對齊。
• 方法新意：以多教師稠密監督取代單一標量獎勵，降低任務間梯度干擾。
• 實務亮點：MAR 用來守住美感品質，避免只追指標造成生成退化。
• 適用場景：適合需要同時兼顧文字生成、構圖理解與偏好對齊的通用型文生圖系統。
• 使用前提：目前較偏研究型專案，若要重現訓練流程，可能仍需等待完整訓練程式公開。

Model download: https://huggingface.co/CostaliyA/Flow-OPD

Source: https://github.com/CostaliyA/Flow-OPD