線上服務 – Page 6

H3-World 讓鍵盤控制生成影片世界

2026 年 9 月 2 日

H3-World把鍵盤輸入轉成可控制的未來畫面，展示互動式世界模型由理解指令走向操控環境。

Repository image for Danzer1xxxxChan/H3-World

按下 W、A、S、D 控制角色，或以 I、J、K、L 操控鏡頭，H3-World 便會由初始畫面生成相應的動作影片。這個項目屬於互動式世界模型，實際處理的是角色與鏡頭動作如何連貫地影響後續畫面，適合遊戲代理、視覺模擬及 Computer-use agents（CUAs）相關研究。

H3-World 建基於 MiniMax-H3，將每個鍵盤狀態轉換成對應未來 video latent 的語言指令，再透過 directed attention routing 把指令綁定到相應的 latent 區間。模型以 8,000 段 ABot-World-Explorer-500h gameplay clips 訓練，只學習 65.6M 個 Low-Rank Adaptation（LoRA）參數，約佔 33B backbone 的 0.199%，在保留大型模型能力與控制專用訓練成本之間取得折衷。

目前資料提供的重點包括：
– 角色控制使用 W、A、S、D；鏡頭控制使用 I、J、K、L，F 代表快速鏡頭移動。
– H3-World LoRA 是 MiniMax-H3 的 delta，不能直接套入未修改的 MiniMax-H3 pipeline。
– 推理需要約 135 GB 的 MiniMax-H3 base weights，以及 H3-World 的 directed-attention patch。
– 公開資料沒有列出明確的畫質、延遲或成功率比較，因此未能判斷它在不同世界模型之間的性能差距。

儲存庫提供 Python 3.10、CUDA 12.8、PyTorch 2.10.0 和指定版本 DiffSynth-Studio 的配置要求；模型權重及 LoRA checkpoint 則分別放在 Hugging Face 指定位置，訓練另需 ABot-World-Explorer-500h。研究團隊、遊戲代理開發者及需要可控影片生成的視覺模擬項目較容易受益，但硬件容量、專用 patch 和模型授權條款都是採用前必須核對的條件。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, AI productions, 多模態模型, 視頻模型, 模型訓練, NVIDIA, Video, Python, MiniMax

ComfyUI-OCIO：ComfyUI 直通 ACES 與 HDR 的色彩管理節點

2026 年 9 月 2 日

由模型輸出到 ProRes、EXR 或 HDR 交付，ComfyUI-OCIO 保留更多影像色彩與亮度資訊。

OCIO Nodes for ComfyUI - by AI VFX NEWS, Slava Sexton

由 LTX、Flux 或其他影像流程產生的 HDR、Cineon 及 10-bit 影片，可以在 ComfyUI 原生 VIDEO wire 內完成色彩管理、ACES 調色及輸出。ComfyUI-OCIO 屬於 ComfyUI 自訂節點項目，處理的是模型解碼後容易被截斷、降位深或轉成 4:2:0 的影像資料。

核心差異在於 OCIO VAE Decode 以 float32 解碼，而且不會把數值夾到固定範圍；低於 0 的值亦會保留，讓超出工作色域的顏色和場景線性動態範圍交由 OpenColorIO 轉換。普通 SDR 生成不會因取消 clamp 自動變成 HDR，素材本身沒有相關範圍時，收益亦會有限。

LTX-2.5 可經由 ACEScct 路徑接入其 HDR path，補足 ComfyUI 原生流程未能直接觸及的部分。輸出可包括 32-bit float EXR、ProRes 4444 10-bit 4:4:4、DPX log，以及 Rec.2100 PQ／HLG；FFV1 才能做到無損保存，ProRes 讀回則以 12-bit 處理並承載 10-bit 資料。

ComfyUI-OCIO 提供的單一 LTX-2.5 測試中，模型浮點母片有 2304 個亮度級別，該項目的 ProRes 4444 版本保留 3520 個可辨識級別，與母片可辨識差異為 0.0001%；原生 10-bit 流程則為 882 級，出廠流程只有 220 級。安裝所需依賴包括 OpenColorIO、OpenCV、tifffile、Pillow、numpy 及 FFmpeg，但資料未提供完整圖形化操作步驟；較適合熟悉 ComfyUI、ACES 和影片編碼的 VFX、影片生成及後期團隊。

保留 float32 解碼結果，不強制限制亮度範圍
支援 ACES、HDR、Cineon、LTX、Flux 及 10-bit 影片流程
可在原生 VIDEO graph 內讀取序列、調色及寫出影片
LTX-2.5 可經 ACEScct 進入其 HDR path
FFV1 適合無損保存，ProRes 4444 適合交付

GitHub

Categories: 開源, ComfyUI, AI productions, Video, LTX

[教學影片] Seedance 2.5 逼近寫實 AI 影片生成

2026 年 9 月 2 日

Seedance 2.5 走向超寫實 AI 影片生成，重點放在畫面真實感同創作效率。這類工具適合想快速做出貼近真人拍攝效果嘅內容製作者。

Seedance 2.5 透過影片生成能力，主打把 AI 片段做得更貼近真實拍攝感，適合內容創作者、短片製作同需要快速試片嘅工作流。片段描述雖然唔多，但方向好清楚：重點唔係花巧效果，而係提升畫面可信度同整體觀感。

對一般創作者嚟講，呢類模型最有用之處係可以縮短由構思到成片嘅時間，尤其係要做概念片、廣告草稿、社交平台短片，或者先行測試視覺風格嘅時候。它強調 ultra realistic，代表畫面一致性、材質細節同動態自然度會係主要賣點。

不過，原始資料只提到示範與推廣用途，未有交代訓練細節、評測指標、輸入限制或實際可否隨意下載使用，所以唔適合自行推斷佢嘅開放程度。現階段較合理嘅理解係：Seedance 2.5 係一個面向高寫實影片生成嘅模型/服務，重點在於實用視覺效果，而唔係提供完整技術規格。

主打超寫實 AI 影片生成
適合短片、概念片同視覺草稿
核心價值係提升真實感同創作效率
原始資料未交代下載、開放程度同技術細節
內容明確偏向影片模型與線上服務場景

項目主頁

Categories: Video, 提示詞, 教學

Breeze TTS 2 即時語音生成

2026 年 9 月 2 日

Breeze TTS 2 主打即時語音互動，兼顧聲線設計、聲線模仿與低延遲串流。它把自然語言指令和參考音訊結合起來，令語音生成更靈活。

Breeze TTS 2 屬於 text-to-speech（TTS）模型，核心目標是把即時語音互動做得更自然，並同時處理聲線模仿、聲線設計和語氣控制。它基於自然語言指令，既可以用參考音訊去保留聲線特徵，也可以不靠參考音訊直接設計聲音，這令使用場景比一般單一路徑的 TTS 更廣。

模型權重只限研究與非商業用途，而原始程式碼則採用 Apache 2.0，這表示權重與程式碼的授權條款並不相同。

Breeze TTS 2 支援 Voice Clone、Voice Design、Voice Direction，同時提供 Vocal Events，讓使用者可在文字中加入 (laugh)、(cough) 之類的表現指令。頁面亦強調它有 ultra-low-latency streaming，適合需要即時回應的對話式語音互動。

重點主要集中在功能和評測定位，沒有提供 GGUF 檔案、mmproj、量化版本、檔案大小，亦未提到 llama.cpp、Ollama 或 LM Studio。只見到它在 Artificial Analysis TTS leaderboard 排名第一，並聲稱表現超越部分閉源前沿系統；但由於頁面未展示完整測試細節，較適合把它視為一個以互動延遲、可控性和聲線表現力作賣點的語音模型。

支援參考音訊模仿，也支援純文字描述生成新聲線
可以用文字內嵌事件控制笑聲、咳嗽等表現細節
主打低延遲串流，適合即時語音互動
權重屬研究與非商業用途，授權限制要先看清
頁面未提供量化、GGUF 或本地推論框架資訊

模型

Categories: 開源, 文字轉語音, 模型, 語音

ReFlowSET 影像翻譯模型，衛星影像新標準

2026 年 9 月 2 日

ReFlowSET瞄準 SAR 影像難讀這個老問題，唔再沿用 latent diffusion model 的天花板。它用高保真 latent 空間配合 flow matching，換來更快取樣同更穩定畫質。

Repository image for KAIST-VICLab/ReFlowSET

落雨、夜晚甚至雲層遮擋時，Synthetic Aperture Radar（SAR）仍然影到地表，但訊號雜訊同幾何外觀都令判讀門檻偏高。ReFlowSET 屬於影像翻譯模型項目，處理的是 SAR-to-EO image translation：把 SAR 影像轉成較接近光學 Earth Observation（EO）影像的表達，方便人看，也方便接到後續視覺流程。

它沒有沿用常見的 latent diffusion model 微調路線，而是保留凍結的 FLUX.2 autoencoder，改用從零開始訓練的 conditional flow-matching transformer。這個選擇直接避開舊方法受限於原有 autoencoder 重建上限的問題，同時把生成放進較高保真的 latent space 內處理；代價是主體模型仍然相當大，DiT 達 509M 參數，訓練門檻不算低。

訓練時，模型會根據 SAR latent 去預測由隨機噪聲走向 EO latent 的線性 flow velocity，並加入 representation alignment，將中途特徵對齊到凍結的 DINOv3 ViT-L/16 teacher。呢個 teacher 同 REPA projector 只在訓練期間使用，推理時會移除，所以正式生成流程比訓練結構簡潔，亦解釋到它點樣兼顧語義對齊同推理效率。

項目在 QXS-SAROPT 與 SAR2Opt 上，團隊把十五種早前方法放到同一 protocol 同 evaluator 之下重訓比較，ReFlowSET 取得兩個資料集最佳 DISTS，並在 SAR2Opt 拿到最佳 FID 與 LPIPS。它亦提供四步取樣設定，速度約比五十步版本快 11 倍，較適合想測試 SAR 轉光學可視化、遙感分析前處理，或研究生成品質與延遲取捨的團隊。

以 frozen FLUX.2 autoencoder 加 conditional flow-matching transformer 重建 SAR-to-EO 流程
用 DINOv3 ViT-L/16 做 representation alignment，但 teacher 不會帶入推理
在 QXS-SAROPT 與 SAR2Opt 拿到最佳 DISTS，SAR2Opt 亦有最佳 FID 與 LPIPS
四步取樣版本大幅縮短生成時間，適合做速度與畫質折衷測試
已公開 PyTorch 實作、論文預印本與預訓練模型，較適合研究型團隊直接驗證

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Image, Python, Dataset 數據集

KATok 教影片 VAE 自己丟 Token 減運算量

2026 年 9 月 1 日

Kakao 開源 KATok，一個會根據內容自動決定保留多少 token 的影片 VAE，靜態畫面用得少，動態場景留得多，省下的算力直接交給下游擴散模型。

KATok 處理嘅係影片生成入面一個常見但少有人拆開嚟解決嘅問題：傳統影片 VAE 用固定壓縮比，無論係一張幾乎唔郁嘅定鏡，或者主體快速移動嘅場面，每段都會被切成同一個 token 數。呢種做法喺靜態片段上明顯浪費頻寬，令擴散模型要做好多無意義嘅工作。

佢嘅做法係喺 transformer VAE 嘅 latent bottleneck 加一個可學習嘅 keep-or-drop 決策，對每個 token 估計要唔要保留，仲會一齊學 latent 表示。遮罩同時控制 latent 值同 decoder 嘅注意力，decoder 用 coarse-to-fine 結構由稀疏 token 重建細節，因此 token 數變成內容嘅結果，而唔係預設參數，亦唔需要推理時搜索。

喺 Panda-70M 256²×16 設定下，平均 366 個 token 就可以達到 31.24 PSNR 同 5.12 rFVD；喺 UCF-101 嘅稀疏生成實驗中達到 61.53 gFVD，比 dense transformer tokenizer 訓練快 6.9 倍。代價係當 token 被丟棄後空間佈局會被打亂，所以佢哋仲設計咗 cascaded mask prior 同 joint content–position 變體，幫下游擴散模型補返結構。

值得留意嘅重點：

自適應 token 化，內容決定 token 數，無需推理時搜索或人手調參
喺 Panda-70M 用 366 個 token 達到 31.24 PSNR / 5.12 rFVD
UCF-101 稀疏生成快 6.9 倍訓練速度，質素達 61.53 gFVD
提供 inference code 同權重（仍在內部審核），訓練碼暫未開源
直接用 PyTorch SDPA 即可行，安裝簡單

如果你嘅團隊需要處理大量冗餘嘅影片片段，又想慳運算量畀下游生成模型，呢種由內容決定 token 數嘅做法比起單純壓解像度更貼近問題本質。

項目主頁 · GitHub

Categories: 開源, Image, 推理引擎

Lucida：用「解析、生成、放置」三步把實景變成可編輯的模擬場景

2026 年 9 月 1 日

字節跳動 Seed 團隊把真實室內環境拆解成獨立物件資產，透過閉環姿態修正讓重建結果能直接用於模擬。

從一段真實拍攝的室內影片，要還原成可以模擬、可逐個編輯嘅場景，一直都係 3D 重建嘅痛點：擺位、遮擋同殘缺幾何往往令資產難以重用。Lucida 就係針對呢個矛盾提出嘅方案，屬於實景到模擬（real-to-sim）類嘅場景建模系統。

整個流程分成三步。第一步 Parse 揀選有用嘅關鍵幀，跨視角對應實例並建立場景圖，輸出遮擋、局部點雲同參考視圖等證據。第二步 Generate 利用每組證據合成無遮擋嘅物件影像，再提升成完整、可編輯嘅 3D 資產。第三步 Place 先粗略初始化，再用 GizmoAct 喺閉環中反覆執行姿態編輯，直到渲染結果同觀察對齊。

GizmoAct 係呢套系統嘅核心控制器，由視覺語言模型（VLM）操作 3D 編輯器，每一步根據渲染觀察、點雲疊加同正交視圖等線索，落一個可執行嘅姿態修正。同一條策略可應付由 Boxer、Any6D* 到 SAM 3D 等不同初始化，並以最多 4 個視圖同 12 步修正完成對齊。

Lucida 喺 R2S、CA-1M 同 Aria Digital Twin 數據集上都提升咗場景級 3D 物件檢測、姿態估計同完整場景重建指標。重建出嚟嘅場景以一組獨立、可編輯嘅 mesh 呈現，每件物件都準備好進入模擬階段。

對從事機器人模擬、室內數據合成或場景理解嘅團隊，呢套閉環做法比起傳統單次擬合更能容忍幾何誤差同遮擋問題，令實景資產更易直接落落去模擬器使用。

重點摘要

三步流程：Parse、Generate、Place 把實景拆解成可重用物件資產
GizmoAct 閉環修正：VLM 操作 3D 編輯器，反覆落姿態編輯直到對齊
初始化容忍度高：同一策略兼容 Boxer、Any6D*、SAM 3D 等不同起點
輸出可直接模擬：每件物件係獨立、可編輯 mesh
多數據集提升：喺 R2S、CA-1M、Aria Digital Twin 都有指標改進

項目主頁

Categories: 北京大學, 字節跳動, 視覺模型, Video, Image, 3D

GeoNeXt 把影片生成模型當幾何學習：統一深度與法向量估計

2026 年 9 月 1 日

GeoNeXt 把現成的影片生成模型改造成單一架構，同時預測單目深度與表面法向量；只需五萬九千筆訓練樣本，就能做到跨場景的零樣本遷移。

過往要從一張 RGB 影像同時取得深度圖與表面法向量，往往要靠兩個獨立網路串接，幾何一致性也容易在接縫處走樣。GeoNeXt 的切入點是把這些幾何訊號當成影片生成模型的「下一幀」：以 Stable Video Diffusion 為骨幹，把 RGB、深度、法向量一起送進 VAE 潛空間，在同一條去噪軌跡上共同生成，讓外觀與幾何從訓練開始就互相對齊。

兩個權重版本都放在 Hugging Face：GeoNeXt-Wan 約 1.42B 參數，GeoNeXt-SVD 約 1.52B 參數，兩者都能輸出深度與法向量。本地跑推論需要一張 24 GB VRAM 的 CUDA GPU，並透過 Conda 建立獨立環境；首次執行會自動從 Hub 下載所需的 checkpoint、base model 與 VAE，之後會從本地快取載入，因此斷網或重複測試時可直接用 –checkpoint、–base-model、–vae-model 指向本地檔案。

從應用角度，3D 重建、AR/VR 場景理解、機器人視覺等需要一致幾何的工作流都會受惠；研究員也能把它當作零樣本基準，與 GeoWizard 等專用模型直接比較深度、法向量及重建網格品質。

重點摘要：

新意：把幾何估計重新表述為影片模型的下一幀預測，讓 RGB、深度、法向量共享同一條去噪軌跡。
規模：以 Stable Video Diffusion 為基礎，提供 Wan 與 SVD 兩組約 1.4B–1.5B 參數的權重。
數據效率：只用 59K 訓練樣本，就在多個基準上做到強健的零樣本泛化。
硬體門檻：24 GB VRAM 的 CUDA GPU 即可推論，兩個版本需分開建立 Conda 環境。
差異：相比串接兩個專用網路，單一模型同時輸出深度與法向量，有助於改善跨通道的一致性。

項目主頁 · GitHub · 模型

Categories: 開源, 視覺模型, 世界模型, Video, Robotic, 3D, Dataset 數據集

ComfyUI-FL-MiniMaxH3 時間軸節點

2026 年 8 月 29 日

這套 ComfyUI 節點把 MiniMax H3 的提示詞、音訊與影片生成整理成可重拍、可分鏡及可組裝的時間軸工作流。

想控制影片每一秒出現甚麼畫面、配合節拍切分鏡頭，或者只重做其中一段而保留其餘內容，FL MiniMax H3 提供的是一套 ComfyUI workflow nodes，實際處理 MiniMax H3 影片與音訊 latent 的時間軸編排、取樣和合成問題。

核心節點會建立原生的 nested H3 video/audio latent 及 prompt conditioning。你可以手動設定 timeline，亦可接入 FL PROMPT SCHEDULE；系統支援以秒、frame 或 beat 安排提示詞，並把 H3 image、video、video audio、soundtrack 及獨立 audio reference 編碼到同一條可重用時間軸。

與先將資料攤平再處理的流程相比，項目保留 MiniMax H3 原有的巢狀影片及音訊結構，並提供 native latent upscaling，調整影片 latent 的高度和寬度時毋須經過 VAE 往返。需要更細緻修整時，pixel-space refinement 才會執行 decode、resize、re-encode，再於指定 sampling-step window 內細化結果。

可按節拍規劃獨立或明確分組的 shots
支援 frame-exact temporal reshots，只重生成指定區間
可把上一個 render 的 authored tail 作為 hard-cut motion context
內置 sampler previews，並可按時間軸組裝最終影片

使用者需要已有節點所需的 H3 text encoder、video VAE 和 audio VAE；適合需要精確控制分鏡、重拍範圍和聲畫結構的 ComfyUI 創作者及影片工作流程，而非用作性能比較。

GitHub

Categories: 開源, ComfyUI, Video, Image, Audio, MiniMax

MiniMax H3 迎來 19 款 LoRA，影片生成速度與風格同步擴展

2026 年 8 月 29 日

MiniMax H3 的 LoRA 生態逐步成形，從加速推理到角色動作與畫面風格，為 ComfyUI 工作流提供更多選擇。

AVvXsEjfkOvyf5h2H5Z vYu8kIES0pGOidPGIbqyszhocYoXkK67 2yzenUgugZ9qtXe3Hzn5kB0K6Sdy36A78G4DPO1 veLpRRoPuSivw3r4Vdw zSOSgs1

想用MiniMax H3製作影片時，速度、動作表現和視覺風格往往難以同時兼顧。這項整理聚合19款MiniMax H3 LoRA（Low-Rank Adaptation）模型及變體，讓使用者按工作流需要調整生成方式，而不只依賴基礎模型。

加速類模型以Alibaba的MiniMax-H3 Acc LoRAs為例，透過Parallel Decoding Distillation（PDD）支援FL2VA與Ref2VA工作流，目標是在較少推理步數下維持影像質素。MiniMax H3 Turbo Sparse Linear Attention LoRA則採用Sparse Linear Attention（SLA），以85%注意力稀疏比例提升效率，在NVIDIA RTX 5090上約可達2.5倍推理速度。

其他變體針對不同創作需求，包括1930年代手繪動畫質感、Z-Image風格帶來的紋理和較自然的粗獷感，以及更適合本地執行的4-bit版本。模型需要配合MiniMax H3基礎模型與ComfyUI工作流，LoRA檔案則放入ComfyUI/models/loras資料夾。

• 以少量步數加快影片生成
• 支援FL2VA及Ref2VA工作流
• 涵蓋動畫、寫實、動作和鏡頭風格
• 提供VRAM較友善的4-bit選項
• 速度提升仍需按硬件與畫質要求取捨

適合已使用ComfyUI，並希望細緻控制生成速度、角色移動、鏡頭行為或整體美術方向的創作者。不同LoRA針對的任務差異很大，選擇時應以工作流兼容性和輸出要求為先。

項目主頁

Categories: 開源, ComfyUI, NVIDIA, Video, Image, 教學, 動畫, MiniMax

Page 6 of 36

« Previous 1 … 4 5 6 7 8 … 36 Next »