線上服務 – Page 31

MiniMax H3 人像寫實 LoRA，強化近鏡表情與電影感

2026 年 8 月 11 日

基於 MiniMax H3 的人像寫實 LoRA，重點唔係加花巧風格，而係令面部、皮膚同鏡頭動態更自然可信。

近鏡人像、多人同框對話、手部動作呢類鏡頭，最容易暴露影片生成模型嘅細節破綻。呢個 Hugging Face 項目明確係基於 MiniMaxAI/MiniMax-H3 嘅 LoRA adapter，針對真人角色畫面再微調，重點放喺面部穩定度、皮膚質感、微表情同帶少少手持感嘅電影式運鏡，亦保留 MiniMax H3 原生同步音訊能力。

頁面提供嘅核心資訊相當集中：它屬於 text-to-video，授權採用 minimax-h3-community-license，主要檔案是 h3-realism-people-t2v.safetensors。使用方法唔複雜，要先喺 prompt 開頭加入 trigger word r34l1sm，再透過 fal 的 MiniMax H3 LoRA 端點掛載，範例 scale 係 1.0；想保留多啲 base model 原本味道，可以降到 0.6 至 0.8。

同類 LoRA 最大分別，往往唔係畫面變得幾誇張，而係同一個 prompt、同一個 seed 之下，能否穩定改善人物可信度。呢個項目用 before/after 方式展示 19 組對照，強調唯一變數係 adapter 本身，連 trigger word 兩邊都有加，目的係證明提升主要來自微調權重，而唔係提示詞技巧。頁面亦講明它係前作 MiniMax-H3-Realism-LoRA 嘅後繼版本，並且改用更大、更加聚焦人物題材嘅資料集重新訓練。

基礎模型：MiniMaxAI/MiniMax-H3，關係標記為 adapter
主要用途：強化寫實人物、近鏡面部、群眾、手部與紀錄片感鏡頭
主要檔案：h3-realism-people-t2v.safetensors
推薦控制：trigger word r34l1sm，LoRA scale 以 1.0 為預設，可降至 0.6-0.8

要留意，項目本質上係影片生成用嘅 LoRA，唔係可直接本地量化部署嘅通用文字模型。換句話講，它嘅價值更接近一個針對 MiniMax H3 補強人物鏡頭表現嘅專用適配器，而唔係完整獨立模型；使用場景亦明顯偏向 fal 平台上的 text-to-video 工作流。

模型

Categories: 開源, AI productions, 視頻模型, Video, Audio, MiniMax

RynnValue 用秒估計機械人完成時間

2026 年 8 月 11 日

它不只判斷機械人有冇做對，仲會估計距離完成仲差幾多秒。呢種時間式價值訊號，令強化學習獎勵設計變得直接得多。

機械人操作最難的不只是識別動作成敗，而是要持續知道距離完成指令仲有幾遠。RynnValue 就是針對呢個空缺而來的模型項目：它把機械人影片連同文字指令一齊讀入，逐格預測剩餘完成時間，並輸出自然語言分析，讓進度估計、失敗偵測與 VLA（vision-language-action）policy 的獎勵建構可以共用同一套訊號。

它和常見進度分數或偏好標註做法的分野很清楚。RynnValue 不靠人工標出「較好」軌跡，也不把進度硬壓成 0 到 1，而是直接學習 goal-conditioned cost-to-go 的物理時間；標籤來自時間戳，配合子任務切分與 cutoff relabeling，於是能擴展到 7,000 多小時、約 300 萬段 instruction-conditioned clips 的異質機械人資料。這個取捨帶來的好處是可擴展，代價則是模型必須更好地處理長尾任務時長與不同視角、不同 embodiment 的差異。

RynnValue 連同完整工具鏈一併提供。你可以把它理解成一套由 HuggingFace 相容模型、影片推理示範，到 reward-model benchmark 與強化學習介面都包起來的研究型工具組；當中 RynnValue 建基於 RynnBrain，實作在 Qwen3-VL architecture 之上，除了預測 absolute 與 relative temporal value，亦會生成影片描述，並判斷 instruction–video 是否匹配、任務是否成功。

核心能力是把「距離完成尚餘幾多秒」變成稠密 value signal
訓練毋須 preference 或 progress annotations，較易放大量異質資料
8B 版本在 RBM-EVAL-OOD 的平均 Kendall’s τₐ 達 0.675，高於文中對照的 fully preference-supervised 方法 0.655
可直接接到 reward shaping，用作 policy ranking、evaluation 與 reinforcement learning critic

為免模型偷看序列位置去猜進度，作者加入 temporal-order shuffling、random temporal sampling，以及 value-isolation attention；消融結果亦顯示這些設計不是裝飾，拿走後指標會明顯下跌。再進一步，它把輸出的 value 轉成 potential-based shaping reward，在雙臂 Franka 的真實機械人學習中，無論 online 定 offline 都比最強 reward-model baseline 有更高成功率。

最受惠的會是做機械人操作、VLA 訓練、reward modeling 與 embodied AI 評測的團隊，尤其想減少人手標註成本、又需要跨資料來源泛化能力的人。限制同樣存在：這類時間距離訊號雖然比二元成敗更細緻，但對任務切分、影片品質與觀測覆蓋仍然敏感，而且它目前聚焦於 robot manipulation，不代表可直接外推到所有 agent 場景。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, Dataset 數據集

Meta Muse Glimmer：為本地多模態代理而生

2026 年 8 月 11 日

Muse Glimmer 30B 針對本地部署而設，把圖文理解和代理式操作放在同一個模型裡。它同時提供 BF16、GGUF 與 ExecuTorch 版本，方便不同裝置取用。

Muse Glimmer 30B 屬於多模態 agentic model，重點放在本地部署時的可用性。對需要在自己裝置上處理圖文輸入、又想保留代理式工作流的用戶來說，這種設計比只提供單一格式的模型更實用，因為可以按硬件環境選擇合適版本。

Meta 這次一口氣放出多種包裝，包括 BF16 權重、GGUF k-quants、ExecuTorch builds，還有一個較細的 assistant 版本。這代表它不是只面向單一推理環境，而是嘗試覆蓋桌面、本地推理引擎，以及流動裝置部署等不同需求。

從現有資訊看，Muse Glimmer 的核心價值在於把多模態能力和本地執行的彈性結合起來。GGUF 版本方便在本地執行推理，ExecuTorch 版本則指向更輕量的裝置端部署；對想控制資料流向、減少依賴雲端服務的工作流，會更有吸引力。

支援多模態輸入，適合圖文混合任務
針對 local deployment 設計，部署選擇較多
提供 BF16、GGUF k-quants、ExecuTorch 等不同格式
有 30B 主模型與較小的 3B assistant 版本
適合需要本地推理、裝置端或代理式工作流的場景

現時公開資料較集中在模型包裝與部署形式。就定位而言，它更像是一個面向實用部署的多模態模型系列，而不是只靠單一規格吸引注意的發佈。

項目主頁 · 模型

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, API, Image, LLaMa, 安全, Meta

MiniMax H3 Turbo：4 步加速的影音生成 LoRA

2026 年 8 月 11 日

MiniMax H3 的 ComfyUI 加速 LoRA，把 10 秒影片生成壓到固定 4 步。它適合要在速度、畫質和可控性之間取平衡的 T2V 與 I2V 工作流。

MiniMax H3 Turbo 走的是 ComfyUI 用途的加速路線，核心價值在於把 MiniMax H3 的文本生成影片（Text-to-Video, T2V）和圖像轉影片（Image-to-Video, I2V）流程固定到 4-step Euler 推理。它不是獨立模型，而是要配合 Comfy-Org/MiniMax-H3 的 BF16 base model 使用；頁面未提供更完整的 base model 參數規模或訓練細節，所以不能再往下猜。

這種設計的取捨很直接：步數少，生成時間通常更短，但對動作細節和穩定性的容錯也會更窄。頁面列出的比較都在同一個 BF16 base model、同一輸入與 10 秒、約 0.9MP 解析度條件下做，LoRA strength 固定 1.0；不同場景下，時間大概落在 174 到 190 秒之間，速度提升存在，但不是壓倒性。

重點摘要：
– 支援 T2V 與 I2V，I2V 走第一幀路徑，亦可用最後一幀收尾
– 固定 4-step Euler，重點是縮短推理流程而非擴大模型能力
– 需要配對 Comfy-Org/MiniMax-H3 的 BF16 base model
– 頁面未列出 GGUF、mmproj、上下文長度或量化檔案資訊
– 與 lightx2v LoRA 的比較屬同級加速方案，差距主要體現在時間與輸出取向

從檔案描述看，這個項目是 LoRA，不是完整 diffusion checkpoint，所以它的定位比較像「推理策略補丁」而不是全新模型。頁面也沒有提供 llama.cpp、Ollama 或 LM Studio 的支援資訊，顯示它主要面向 ComfyUI 工作流，而不是通用本地推理框架。

檔案命名上，頁面強調這是 v2 類型的更新版本脈絡；因此可確認的只有它圍繞 H3 的 joint audio-video diffusion path，並以固定 4 步作為加速契約。若要和原始 base model 比，差別不在功能範圍，而在於把生成速度和步數控制收緊，換取更快的工作流回饋。

模型

Categories: 開源, ComfyUI, 數字人, 視覺模型, 視頻模型, Video, Image, Audio, MiniMax

UA-NWM 不確定性無人機導航

2026 年 8 月 11 日

無人機朝目標圖片飛行，最難唔係預測一條路，而係判斷目標畫面是否仍屬合理路徑。UA-NWM 解決「模型解釋唔到」的誤差。

戶外無人機導航最易出錯的位置，在於前方畫面未必只有一種合理變化。UA-NWM 把這個問題當成 world model 的評分工作處理，面向 aerial image-goal navigation，唔再只估一個未來畫面再同目標硬碰硬，而係判斷目標圖片是否落在模型預測的未來狀態分佈之內。

它最值得留意的技術點，是用 Hierarchical Error Projection（HEP）把預測與目標之間的差距拆成可由不確定性子空間解釋的部分，同埋解釋唔到的殘差，最後只用後者作為 trajectory cost。呢種做法同單點預測式 ranker 的分別很直接：同樣見到偏差，UA-NWM 會先問偏差是否屬於合理未來變化，而唔係一概當成走錯路。

模型本身會預測未來的 DINO latent features，配合 deterministic future feature map 同 uncertainty subspace 做單次 forward scoring，避免靠隨機抽樣多個未來狀態先完成比較。同一個 checkpoint 可配合兩種 inference strategy，包括 uncertainty-aware 的 UA-NWM 與 deterministic baseline，適合研究團隊直接比較兩種評分邏輯帶來的差異。

適合 UAV 導航、戶外機械人感知，以及要由目標圖片反推行進路線的團隊
重點唔係生成最像的未來畫面，而係判斷目標是否仍在合理未來分佈內
提供 AirGoal-10k 的 training、evaluation、trajectory ranking、CEM/MPC planning 與 visualization workflow
deploy/ 內有真實部署用的 server-side policy wrapper，但原始資料未完整交代整套部署步驟

它已對應 AirGoal-10k，並包含真機 UAV demo、資料集連結與 pretrained checkpoints；受益最大的是需要處理大範圍戶外場景、多解未來觀測，以及想把 world model 直接接到規劃器如 CEM/MPC 的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 清華大學, 世界模型, 模型訓練, Image, Dataset 數據集, 百度

WorldTrace 令世界模型影片記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

做長時間影片生成時，Video World Models 最易出現的問題唔係畫面唔夠靚，而是走出訓練長度之後開始「唔認得之前見過乜」。WorldTrace 針對的正是呢種視覺記憶失效：它屬於 Video World Models 的記憶機制改良方法，重點是令 Key-Value (KV) cache 裡已壓縮的內容，過了原本訓練範圍之後仍然可以被模型重新定位和讀取。

核心思路不是再訓練一個新生成器，而是用 training-free 方式處理記憶可尋址性。研究指出，問題關鍵在 temporal Rotary Positional Embeddings (RoPE) 偏移超出訓練 horizon 後，注意力機制即使保留了舊畫面資訊，都未必再讀得到；再加上在 RoPE 旋轉空間直接平均 key，會令不同 phase 互相抵消，令記憶內容變得模糊。WorldTrace 透過固定、仍屬 in-distribution 的 slot 位置保存壓縮記憶，避免記憶「存在但搵唔返」。

同一套記憶框架下，它分成兩個方向：WorldTrace-Field 用 rotation-invariant 的歷史聚合方式，支援較連貫的長 rollout；WorldTrace-Landmark 則保留較接近原樣的 scene traces，讓模型隔了更長時間後，仍有機會回想曾經到過的場景。這種分工反映出一個很實際的取捨：有些情境重視連續生成的穩定性，有些則更需要精準回憶特定地點或視覺片段。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper。

項目主頁 · 項目

Categories: Embedding, 世界模型, 模型訓練, NVIDIA, Video, 框架, Dataset 數據集

WorldTrace 令影片世界模型記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper，但公開內容目前集中在方法動機與設計，效能細節在這份摘要材料中仍然有限，閱讀時應留意完整論文是否提供更完整的量化結果與測試設定。

項目主頁 · 項目

Categories: Embedding, 世界模型, 模型訓練, NVIDIA, Video, 框架, Dataset 數據集

StreamArena 多模態長片代理的記憶與互動分析

2026 年 8 月 10 日

來自香港科大、港大與中大及小紅書的團隊，把長達近 90 分鐘的影片理解拆成可持續觀察、回想、找工具與主動回應四種能力。

由 HKUST(香港科技大學)、The University of Hong Kong(香港大學) 與 The Chinese University of Hong Kong(香港中文大學) 及小紅書組成的開發團隊，將焦點放到一個很多多模態代理都未真正處理好的難題：影片唔再係幾秒剪輯，而係接近一個半鐘頭、仲要持續互動。StreamArena 屬於資料集與評測工具包，處理的是 continuous streaming video understanding，目標係用統一方法檢驗代理在長時間影音流之中，能否即時理解、隔一段時間後仍然記得內容，並在合適時機用工具或主動回應。

呢個項目最值得注意的地方，在於它唔用短片加選擇題去掩蓋模型弱點，而係用 243 段 full-length videos、平均 88.8 分鐘、合共 3,646 個 open-ended tasks，分成 Real-Time Perception (RTP)、Historical Retrospection (HR)、External Tool Use (Tool) 同 Proactive Interaction (Pro)。HR 與 Pro 仲按時間跨度分層，HR 最遠拉到 30 分鐘，直接把長期記憶與延遲控制的取捨攤開來測。

StreamArena Evaluation Toolkit：streamarena/ 放資料載入、媒體處理、tool-call protocol、OpenAIBackend、GeminiBackend 同 LLM-as-Judge scorer；method/ 則整理多種被測方法，包括 offline 的 Qwen、MiMo、Kimi、Qwen-Omni、Gemini，以及 MiniCPM-o-4.5、VST、StreamForest、ThinkStream。所有方法都寫入同一套 records JSONL schema，所以 judge/ 可以用同一把尺評分。安裝與執行細節在目前資訊裡未完全展開，但可確認它不是單一模型倉庫，而是用來重跑、對齊與比較不同方法的評測框架。

覆蓋四類能力：RTP、HR、Tool、Pro，唔只問答，仲測持續監看與主動互動
243 段長影片、平均 88.8 分鐘，資料規模明顯偏向長時序理解
同一份 JSONL 輸出格式配合通用 judge，方便橫向比較不同方法
StreamMind 在同一 Qwen3.5-397B-A17B backbone 上，把 pooled query-to-answer latency 降低 66.2%

一個重要限制：StreamMind 在這次釋出裡只有 evaluation protocol docs，未附完整可直接重現的實作；AURA 亦只提供 client，server 仍要依賴官方 vLLM。換句話說，StreamArena 現階段更像研究團隊、代理系統開發者同多模態評測工作流會用到的基礎設施。想比較不同 streaming method、檢查長影片代理究竟卡在記憶、反應，還是工具調用，呢個項目比一般短片 benchmark 更接近部署前要面對的現實。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港大學, 香港科技大學, Agentic, 多模態模型, Qwen, Gemini, Video, 香港, Kimi

ComfyUI-Spectrum-MiniMax-H3：為 H3 加速 33%

2026 年 8 月 9 日

將 1056x608 影片生成由 685 秒縮短至 464 秒，避開昂貴的 transformer 重算。它屬近似加速，但影片細節可能走樣。

Repository image for xmarre/ComfyUI-Spectrum-MiniMax-H3

每次跑 MiniMax H3 都要付出完整 transformer 計算成本，對要反覆試 prompt、鏡頭動作同參考音訊的人來說，等待本身就是工作流瓶頸。xmarre/ComfyUI-Spectrum-MiniMax-H3 針對的正是這一步：它屬於 ComfyUI 自訂節點工具，會在部分 solver steps 直接預測 post-transformer hidden features，減少原生 MiniMax H3 audio-video model 的重計算次數。

實測生成 1056×608 影片由 685 秒縮短至 464 秒。加入這 Node 後可惜仍未能解決「廣東話」問題！

它不是把整個模型 shortcut 掉，而是用 Chebyshev ridge model 去擬合已經算出的 hidden features，再對未來步數作 spectral forecasting；但當前步的 output heads、video reconstruction、audio reconstruction、sigma mapping 同回傳結構仍然照常執行。這個取捨很務實，因為它換到的是抽樣成本下降，不是完全無損加速，所以 README 已經講明輸出不會與原生 MiniMax H3 bit-identical。

作者後來把預設路徑改成 offline_smoothing_replay，核心原因不是追求更高畫質，而是先救回音訊品質。早期單次流程會令語音清晰度、自然度同穩定性下降，甚至出現 doubled syllables 同 stuttering；現時預設把 audio_blend_weight 維持在 0，並以第二次無 transformer 的 replay 處理 video blend，目的就是切斷後段 video-to-audio feedback 對聲音的干擾。不過，畫面軌跡仍可能改變，動作、視線、時間點，甚至眼睛、手指、四肢細節都有機會走樣。

安裝十分簡單，適合願意做 exact-seed A/B 比對的創作者、工作流調校者，或者已經在 ComfyUI 內使用 MiniMax H3 的團隊。README 也提到舊版 workflow 可能要手動開啟 offline_smoothing_replay，而且 broader checkpoints、prompts、samplers 同 reference inputs 仍未完成足夠驗證，現階段更像是一個有方向、有明確修正策略，但仍需按素材類型逐步確認的加速方案。

以 spectral forecasting 預測部分 future solver steps，重點是減少 MiniMax H3 最昂貴的 transformer evaluations。
保留當前步的原生輸出頭與音畫重建流程，因此屬於近似加速，不是無損複製原生結果。
預設改用 offline_smoothing_replay，主要是修正早期版本對語音自然度與穩定性的破壞。
音訊路線暫時較保守，但視覺結果仍可能出現 motion、pose 與細節結構偏移。
較適合已在 ComfyUI 工作流內做反覆測試、願意接受 A/B 驗證成本的使用情境。

GitHub

Categories: 開源, ComfyUI, 視頻模型, Video, Audio, MiniMax

VocalRender 用樂譜直接生成人聲歌唱

2026 年 8 月 9 日

寫歌唔再要逐音節對時長。VocalRender用歌詞、MIDI同節奏，直接把譜面轉成更自然的歌聲。

Comparison of duration-based, reference-based, and the proposed score-native singing voice synthesis inputs

寫旋律同填詞的人，最在意往往唔係逐個 phoneme 對時間，而係輸入一份像作曲流程會用到的譜面後，能否聽到有表情、會跟拍子走、又唔會太死板的人聲。VocalRender就瞄準呢個位置：它屬於 singing voice synthesis（SVS）模型，處理的是把歌詞、MIDI pitches、note values 同全域 tempo，連同一段提示音色片段，直接渲染成 48 kHz 歌唱音訊。

它和常見 duration-based SVS 或 reference-based 系統的分野相當明確。前者通常要為每個字或 phoneme 準備精確時長，後者又依賴 time-aligned audio 或 F0 curve；VocalRender改為讀 composer-oriented symbolic scores，讓模型自己在跟譜之下安排較自然的 timing 與 expressive deviations。對作曲、demo 製作、旋律草稿驗證，這種做法比硬性對齊更貼近創作流程。

技術路線亦有清楚取捨。它先用 interleaved lyric-note representation 保留字詞與音符對應，連 melisma 這類一個音節跨多個音都能明確表示；再由 Audio VAE 壓成 continuous acoustic latents，保住 pitch、timbre 同 articulation 細節，之後交給 autoregressive diffusion 建模，其中 AR Transformer負責較整體的 prosody sketch 與長度預測，LocDiT再補回高保真局部聲學內容。

支援資料前處理、訓練同推理，屬於可重現研究流程的最小開源版本
可配合 Hugging Face 模型、CrawlSinger-OS 資料集同官方 Audio Demo 一齊理解效果
輸入核心是 word / pitch / note interleaved score prompt，而唔係逐 phoneme 時長標註
評估線索包括 SingMOS 與 AES，當中 AES 會看 content enjoyment（CE）同 production quality（PQ）

部署時要準備提示音色片段，亦要理解它重視的是「按譜生成有表情歌聲」，不是完全取代後期混音或商業級歌手複製。對需要快速聽到作曲結果、又唔想先做大量時間對齊標註的團隊，VocalRender的價值相當直接，限制亦同樣清楚：它把創作入口大幅簡化，但音色條件、資料品質同最終審美仍然會左右成品。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Audio, 語音

Page 31 of 55

« Previous 1 … 29 30 31 32 33 … 55 Next »