四步生成同步音畫：FastH3 預覽模型拆解

2026 年 8 月 29 日 Share to X Copy link

非官放加速 MiniMax FastH3 以四次 Transformer forward 生成同步影片與音訊，但需要專用 VSA-H3 後端及多張高階 GPU。

文字提示輸入後，FastVideo-FastH3-4-step-Preview-v1-VSA-DataFree 可在四次 Transformer forward 內生成同步影片與音訊，適合測試快速 text-to-audio-video 工作流程。模型明確基於 MiniMaxAI/MiniMax-H3 微調及蒸餾，並以 data-free DMD2 和 VSA-H3 訓練至 step 1300，在 90% sparsity 下換取較少取樣步驟。

模型需要 FastVideo 的 VSA-H3 attention backend，不能只下載權重後以一般推論工具直接執行。官方測試配置使用四張 B200 GPU；其他多 GPU CUDA 系統可改用 Triton kernel，但 GPU 數量必須能整除 H3 的 56 個 attention heads。頁面沒有提供 llama.cpp、Ollama 或 LM Studio 支援，也沒有列出 GGUF 檔案、量化級別、檔案大小或 mmproj 附加檔案，因此不能據此建議 Q4_K_M 或其他量化方案。

• 四次 forward 生成音訊與影片，速度取向明確
• DMD2、VSA-H3 及 90% sparsity 用於 data-free 蒸餾
• 目前只支援 text-to-audio-video，FL2VA 和 Ref2VA 尚未蒸餾
• 困難動作、細節及部分音訊可能不及 MiniMax H3 base model
• 頁面未提及 MTP draft speculation、v2 更新或檔名變更

這個 Preview checkpoint 仍可能在動態、細節和音訊穩定度上落後原始 MiniMax H3，定位較接近快速生成與研究測試版本。使用時要留意 MiniMax H3 Community License，以及 FastVideo 安裝流程對 CUDA 13、Blackwell 路徑和專用 kernel wheel 的要求。

模型

Categories: 開源, 視覺模型, 多模態模型, 視頻模型, NVIDIA, Video, MiniMax

---

write-then-publish：自動 .md 排版成為圖文卡

2026 年 8 月 29 日 Share to X Copy link

寫完文章後，毋須再分別排版圖片、卡片和長文格式，這個項目把發布前的整理工作集中在同一個工作區。

由寫作到發布，最花時間往往不是產生內容，而是重新分頁、整理圖片和適配不同平台格式。這個項目屬於內容製作工具，讓同一份 Markdown 正文同步輸出圖文卡片與公眾號長文，並保留原有結構，不會因為切換模式而改寫內容。

項目採用 Vanilla HTML/CSS/JS，亦提供本地運行方式。圖片支援上傳、貼上、拖放和批量導入，Wiki 圖片引用則可讀取 Obsidian 的 ![[圖片.png]]、![[附件/圖片.png]] 及標準 Markdown 圖片語法。瀏覽器獲得目錄權限後，Markdown 會寫回「寫了就發」，新增圖片則放到「寫了就發/附件/」；未能寫入時會降級為 Markdown 加附件 ZIP。

圖文卡片會自動分頁，標準輸出為 1728 × 2304 PNG；公眾號模式保留標題、列表、引用、程式碼、表格和正文圖片，亦可調整主題、字體、字號與主題色。Live Photo 透過 WebCodecs 處理，可按小紅書或公眾號設定片段時長、比例、裁剪及聲音，並按原始頁序批量下載。

• 同一份正文切換兩種發布格式
• 支援 Obsidian 雙向同步及附件整理
• Live Photo 可剪輯、預覽及批量打包
• 未授權目錄時提供 ZIP 降級方案
• Supabase 登入模式以 Row Level Security 按 auth.uid() 隔離資料

項目不涉及生成模型，因此不會替作者寫稿或改寫內容，價值集中在發布前的排版與素材整理。內容創作者、經常維護 Obsidian Vault 的作者，以及需要同時經營公眾號和圖文平台的小型團隊會較容易受益；macOS 本地版另可在配置完成後同步到公眾號草稿箱，但跨平台發布能力仍受瀏覽器權限和平台整合限制影響。

GitHub

Categories: 開源, Image, Mac, 安全

---

Breeze TTS 2：低延遲語音生成再推一級

2026 年 8 月 28 日 Share to X Copy link

Breeze TTS 2 把即時語音互動、聲線設計同語氣控制放埋一齊，主打低延遲同高可塑性。它較適合要做配音、語音代理或互動內容嘅團隊。

Breeze TTS 2 係一個文字轉語音（text-to-speech, TTS）模型，重點唔止係把文字讀出，而係處理即時互動入面最難平衡嘅兩件事：聲音要自然，回應又要夠快。佢支援 Voice Clone、Voice Design 同 Voice Direction，代表可以由參考錄音複製聲線，亦可以純靠自然語言描述去設計新聲線，再按指令調整語氣、節奏同表達。

對內容製作、語音代理、遊戲角色配音同多語言產品來講，呢種做法比單純 TTS 更有彈性。文本內仲可以插入 Vocal Events，例如笑聲、咳嗽、清嗓子呢類表情提示，令生成聲音更接近真人演繹，而唔係只係平鋪直敘讀稿。

項目資料顯示，佢喺 Artificial Analysis TTS leaderboard 排名第一嘅 open-weight 模型，亦聲稱喺部分測試中超越商業系統。低延遲係另一個賣點：warming 後喺 NVIDIA H100 可做到少於 40 ms 的 time to first audio，RTF 約 0.32，適合即時對話場景。

不過，repo 同時寫明模型權重、衍生模型同 self-hosted outputs 只限研究同非商業用途，呢點對想直接落地嘅團隊影響好大。代碼層面提供 PyTorch inference code，但原始資料未交代完整安裝流程或部署細節，較合理嘅理解方式係先把佢視為一個面向研究與產品原型驗證的高性能 TTS 模型。

• 支援參考錄音複製聲線，亦支援純文字描述設計新聲線
• 可以用指令調整語氣、情緒、語速同演繹方式
• 低延遲串流適合即時語音互動同 voice agent
• 在 open-weight TTS 基準中聲稱領先，但授權限制較嚴
• 適合配音、互動內容、多語言語音產品同研究團隊

項目主頁 · GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, 模型, NVIDIA, Audio, Clone, Python, 語音, Dataset 數據集

---

WeMM-Embedding：對齊文字、圖片、影片的多模態檢索

2026 年 8 月 28 日 Share to X Copy link

騰訊微信視覺團隊把文字、圖片、影片、視覺文件等多種輸入收進同一個嵌入空間，推出涵蓋 2B／4B／9B 三個尺寸的 WeMM-Embedding 系列，主打檢索與多模態理解一條龍。

把文字、圖片、短影片、文件截圖一次過丟進同一個嵌入空間做檢索，一直是多模態團隊頭痛的工程難題。WeMM-Embedding 系列由騰訊微信視覺團隊開源，正是針對這個場景而來：三個規模（2B／4B／9B）都用同一套介面，輸出可直接比對的向量，免卻多模型串接的麻煩。

向量從模型最後一層的 <embedding> token 位置取出，再做 L2 正規化，方便直接接入既有向量資料庫。對想做跨模態檢索或 RAG 的團隊而言，這類統一模型比起同時維護 CLIP 系、BGE 系、影片模型幾套 pipeline，部署成本明顯較低。

官方推薦 transformers==5.2.0 以保證預處理一致性，亦支援 SentenceTransformer 直接載入 Hugging Face 模型 ID。比較有彈性的是 Matryoshka Representation Learning（MRL）：例如 9B 版本支援 64 到 4096 多段維度，開發階段可以用低維度快速迭代，再逐步切到高維度；2B 與 4B 版同樣提供 64 至 2048 左右的選項。已驗證 vLLM 0.27.0 與 SGLang 0.5.9 兩套推理引擎，兩者都以 pooling runner 啟動，搭配專屬的 chat template 即可提供 embedding 服務。

與同類開源嵌入模型相比，WeMM-Embedding 強調「影片與視覺文件也在同一個向量空間」，而不是只覆蓋到圖文。短影片摘要、PDF 截圖理解、社交媒體（X Demo）多模態內容推薦等場景，會比純圖文模型更貼地。音訊輸入目前不在支援範圍內，是規劃時要留意的限制。受惠對象包括做多模態 RAG、跨模態檢索、商品搜尋及內容審核的中小團隊，因為他們通常缺乏同時訓練多個專門模型的資源。

重點：

• 統一嵌入空間：文字、圖片、影片、視覺文件、交錯輸入共用同一向量表示，免除多模型串接。
• 三種規模：2B、4B、9B 同步開源，可在準確度與成本之間靈活取捨。
• Matryoshka 維度彈性：支援 64 至 4096 多段可選維度，平衡儲存與效果。
• 生態友善：兼容 transformers、SentenceTransformer，並已驗證 vLLM 與 SGLang 部署。
• 目前限制：音訊輸入未支援，預處理對 Transformers 版本敏感，需固定在 5.2.0。

GitHub · 模型

Categories: 開源, 騰訊, AI productions, RAG, Embedding, 模型, Video, Image, Dataset 數據集

---

Ox Alpha 百萬 Token 上下文免費試用

2026 年 8 月 27 日 Share to X Copy link

Z.ai 最新模型 Ox Alpha 提供 1M-token context window，讓大型程式碼庫、圖像與影片可在同一個推理流程中處理。

面對大型程式碼庫、長篇規格文件或連續多步工作，Ox Alpha reasoning model（推理模型）可把最多 1M-token context window 的內容放在同一個脈絡中處理，減少反覆切分資料或遺失前文。它亦支援文字、圖像和影片輸入，適合除錯、重構及分析截圖或介面流程。

Ox Alpha 會先規劃和自我檢查，再產生答案，並以 visible thinking 展示推理過程。模型同時提供原生 tool calling、tool_choice，以及配合 response_format 的結構化 JSON 輸出，方便用於長時間運行的 agentic 工作流程。

網站列出的獨立測試涵蓋 10 項真實編程任務，Ox Alpha 完成 8 項，得分 80%；同一比較中，Fable 為 65%，GLM-5 為 62%，GPT-5 和 Grok 4 均為 52%。樣本只有 10 項任務，結果較適合作為參考，未足以代表所有編程場景。

• 1M-token context window，最高 131K tokens 輸出
• 支援文字、圖像和影片三種輸入
• 適合大型程式碼庫的 debugging 和 refactoring
• 原生 tool calling 與結構化輸出
• 免費試用、毋須登入，網站表示不會把聊天儲存在伺服器

項目主頁

Categories: Agentic, 模型, 多模態模型, Video, Image, 軟件, Python, 編程, 免費試用, UI/UX

---

Video-IFBench：跟足要求的影片評測

2026 年 8 月 27 日 Share to X Copy link

Video-IFBench 用來量度多模態大語言模型在影片理解場景中的指令跟隨能力。它把單步、多步、選擇和嵌套指令拆開測，直接看模型能否按條件做對。

Video-IFBench 是一個用來評測多模態大語言模型（Multimodal Large Language Models, MLLMs）在影片理解場景中是否跟足指令的資料集與基準。它處理的不是單純看懂影片，而是模型能否在複雜限制下，依照影片證據作出正確分支判斷、完成多重要求，並保持輸出格式一致。

這套基準把任務分成 Single、Multi、Selection 和 Nested 四類，覆蓋由簡單到層層加條件的情境。項目建構流程結合影片標註、任務與限制採樣、複雜指令生成、checklist、程序化處理和人工驗證，適合拿來測試模型在真實工作流裡會否因為條件一多就失手。

和一般只看整體問答正確率的影片基準相比，Video-IFBench 更著重嚴格遵循指令的程度。資料集同時提供 TCSR 和 TISR 兩種指標，結果顯示即使是頂級商用模型，遇到條件累積或需要按證據選分支的題目，分數也會明顯下滑；開源模型的差距更大，尤其在 Nested 類別。

對做影片理解、視覺問答、agent 評測，或者需要檢查模型能否按規則輸出內容的團隊，這個基準很有參考價值。它不只看模型「知唔知」，而是看模型「有冇照做」，這正是很多落地應用最容易出問題的位置。

• 覆蓋影片理解中的四種指令型態，從單步到嵌套條件都有測。
• 以 checklist 和人工驗證強化標註可靠度。
• 用 TCSR 與 TISR 分開看內容命中與指令跟隨。
• 商用模型整體較強，但複雜條件下仍有明顯失分。
• 開源模型在多條件、分支選擇和格式遵循上差距更大。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 字節跳動, 騰訊, Agentic, 視覺模型, 多模態模型, Video, Dataset 數據集

---

Super-Star：讓數字人邊聽邊做

2026 年 8 月 27 日 Share to X Copy link

Super Star 將串流語音、對話和身體動作連成一條即時管線，令 3D 數字人毋須等待完整語音才開始配合手勢。

數字人要一邊回應、一邊自然做出配合語氣的動作，關鍵不只是生成語音，而是不能偷看未來內容。Super Star 屬於面向 3D 數字人的即時互動框架，處理多模態輸入、串流回應語音，以及與語音同步的身體姿態生成。

Super-Star 把 Streaming Speech Response 與 Online Gesture Generator 兩個模組接合。前者採用 Qwen3-omni 產生串流回應語音，後者是因果多模態自回歸模型，根據目前收到的語音和 motion history 預測下一段動作，因此可在低延遲下生成手勢，不需等整段對話完成。

離線資料流程會按主題和情緒建立人機對話，再為回應語句生成 co-speech gestures；線上互動收集到的使用者偏好，會回流到 closed-loop self-evolving data pipeline，支援持續調整。相比先取得完整語音再生成動作的做法，Super Star 以較少未來資訊換取即時性，但動作預測亦更依賴目前語音片段和歷史狀態。

• 串流語音與動作同步，適合虛擬陪伴、直播角色及互動式數字人
• Qwen3-omni 負責回應語音，Online Gesture Generator 負責身體動作
• 研究結果主張改善 latency-quality trade-off、語音動作同步及使用者偏好
• 訓練 Motion Tokenizer 和 Online Gesture Generator 時需要 WAV 音訊
• CUDA driver 需為 12.4 或以上，完整執行細節仍要配合 Qwen3-omni 及 vLLM-Omni 文件

提供的資料包含 training、inference 和 evaluation code。訓練部分使用 RQVAE 的第一層 codebook 解碼，對應論文線上模型採用的 VQVAE，測試者需要準備 WAV 檔案並填寫音訊路徑和輸出目錄。對研究團隊及需要低延遲數字人互動的開發者而言，項目較適合作為研究原型或客製化系統的起點，而非即裝即用的成品。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, 多模態模型, 模型訓練, Qwen, NVIDIA, Audio, 3D, 語音, Dataset 數據集

---

Code World Model：以 coding agent 當大腦，video model 演畫面，世界不再失憶

2026 年 8 月 27 日 Share to X Copy link

Code World Model 讓 coding agent 負責推演世界狀態，再由 video model 將結果呈現成影像，支援更持續的互動場景。

當影片模型只能呈現事件結果，卻難以記住規則、因果和長期後果，互動世界就容易變得不連貫。Code World Model 以 coding agent 作為「世界大腦」，透過可執行程式碼更新及控制世界狀態，再交由 video model 將狀態轉化為視覺觀察。

這種分工把世界演化和畫面生成拆開處理。coding agent 會根據事件推理後果、規劃變化並編寫程式；video model 則負責利用生成先驗呈現場景，讓同一個世界狀態可以延伸出不同視覺體驗。

項目展示了長時間生成及定期轉換風格的場景，包括海底港口、魔法學院、糖果運河和雲上海港等內容；展示中亦使用 RGB Proxy，並以約每60秒一次的節奏改變風格。這類架構適合研究開放式世界模擬、互動敘事，以及需要持續狀態和因果後果的視覺體驗。

• coding agent 負責規則、事件與世界狀態
• video model 負責將狀態實現為影像觀察
• 可支援較長時間的世界演化與持續後果
• 透過分離邏輯和畫面，減少只從影像學習動態的限制

目前資料集中於框架概念、展示場景及研究論述，因此不能視為已確認可自由下載的模型。使用者亦需要留意，視覺效果和世界狀態的一致程度仍會取決於 coding agent 的推理、規劃及編程能力，以及 video model 的生成能力。

項目主頁 · Paper

Categories: 開源, Agentic, 視頻模型, 世界模型, 模型訓練, Video, 框架, Vibe Coding, 編程, AGI, 動畫, MiniMax

---

阿里巴巴 PAI 以 PDD 加速 MiniMax-H3 影片生成

2026 年 8 月 27 日 Share to X Copy link

阿里巴巴 PAI 團隊把 MiniMax-H3 變成少步數就能出片的版本。你可以把它理解成針對影片生成速度做加速的 LoRA。

阿里巴巴 PAI 團隊針對 MiniMax-H3 做了 Parallel Decoding Distillation（PDD），目標是用更少推理步數完成影片生成。這份項目同時保留 MiniMax-H3 的兩條路線，分別對應 FL2VA 和 Ref2VA，方便按不同基礎版本套用加速 LoRA。

兩個官方 8-step Acc LoRA，檔名分別是 MiniMax-H3-FL2VA-Acc-8Step.safetensors 和 MiniMax-H3-Ref2VA-Acc-8Step.safetensors，兩者都標示 rank=64、network_alpha=64，並以 BF16 形式提供。這表示它們不是完整底模，而是掛在對應 base model 上的加速適配器。

8-step Acc LoRA 可配合 768p 生成流程，並對比 baseline、Turbo 4-step 版本和 8-step Acc LoRA。

實務上，8-step Acc LoRA 代表在速度和畫面穩定度之間做取捨，重點是把影片生成的推理成本壓低，而不是追求最長流程。相較原始 MiniMax-H3，這類 LoRA 的用途更偏向快速出樣和迭代，適合需要較短等待時間的影片生成工作流。

• 開發團隊是 Alibaba-PAI，並以 MiniMax-H3 做 PDD 加速
• 提供兩個 8-step 官方 Acc LoRA，分別對應 FL2VA 和 Ref2VA
• 檔案以 BF16、rank=64、network_alpha=64 方式發布
• 頁面有 768p Demo，但未交代 GGUF、mmproj 或硬體需求

項目主頁 · 模型

Categories: 開源, 阿里巴巴, AI productions, 多模態模型, 視頻模型, Video, MiniMax

---

TLive-Omni：專攻直播電商的多模態理解模型

2026 年 8 月 26 日 Share to X Copy link

TLive-Omni 將影像、影片、語音和文字統一成文字輸出，特別適合要即時理解直播內容的場景。它同時處理商品畫面、聲音與對話脈絡，目標是減少直播電商裡資訊斷裂的問題。

TLive-Omni 是一個多模態理解模型，針對直播電商場景，把影像、影片、語音和文字整合到同一個文字輸出介面。對做直播監控、商品理解、內容標註或客服輔助的人來說，它處理的是同一場直播裡多種訊號難以對齊的問題。

這個項目建基於 Qwen3.5 backbone，再接入 AuT audio encoder 和輕量 MLP 對齊層，並用 timestamped Per-vGrid 把聲音片段和對應畫面放在一起。它支援最長 256K tokens context，適合長時間直播流的連續理解，而不是只看單段截圖或單句語音。

訓練流程分三階段 SFT，先做語音與語言對齊，再擴展到完整多模態指令跟隨，之後加入 Faithful-RFT，強調回答要貼近直播場景的即時需要。README 亦列出聲音辨識、講者分析、商品視覺定位、文字辨識、時序定位、影片密集描述和 omni-modal QA 等能力，顯示它不是單一功能模型，而是面向直播任務的綜合型系統。

• 4B 和 9B 版本都已公開，方便按算力和部署成本選擇。
• 在直播電商的音訊、影像和影片任務上有不錯表現。
• 對一般基準也有泛化能力，不只局限於單一場景。
• 更適合需要長上下文、多訊號同步分析的團隊。
• 取捨在於它很聚焦直播電商，未必是通用多模態助手的最佳替代。

整體來看，TLive-Omni 把直播場景最麻煩的訊號對齊、長上下文理解和即時回答放在同一條路徑處理，對做電商直播分析、內容審核和銷售輔助的團隊會更實用。它的價值不在於把功能堆滿，而在於把多模態理解收斂到直播工作流裡真正會撞到的問題。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 多模態模型, Qwen, Video, Audio, 語音

---