Marimba:讓短音訊只回答最後八秒

Marimba 是一個音訊決策工具,能回答「是否說完」「使用哪種語言」等問題。它不是語音辨識模型。

marimba

即時語音系統常遇到一個矛盾:想判斷對話狀態,卻不想為每個問題重新處理整段音訊。Marimba 的做法很直接,集中分析音訊視窗最後 8 秒,再以同一份音訊編碼結果回答多個結構化問題。

Marimba 屬於音訊分類與推論工具,實際處理的是「音訊發生了甚麼」而非「音訊說了甚麼」。它可以判斷是否有人說話、說話者是否完成一輪、語言選項、關鍵詞出現與否,以及說話者是否轉換;它不是 speech-to-text(把說話內容轉成文字)系統,也不會辨識個人身份或建立時間線。

首次載入模型時,系統會按 marimba.weights.DEFAULT_MODEL_REVISION 固定的版本下載權重及 Qwen3-ASR-0.6B 編碼器,並以 SHA256 校驗檔案。之後可把音訊檔、位元組或陣列交給 model(audio, questions);大量檔案可使用 batch 或 Hugging Face datasets 的 map_fn,即一次處理資料集中的多段音訊。

它把問題分成三種輸出:Question.noul 回傳布林值,Question.score 回傳機率,Question.choice 回傳選項及各選項機率。同一視窗的所有問題共用一次凍結的 Qwen3-ASR-0.6B encoder pass,之後由小型 readout、question-conditioned head(按問題調整輸出的模組)和凍結 decoder 產生答案。這種分工減少重複編碼,也讓同一份音訊可同時追問多項狀態。

Marimba 的幾個重點如下:

  • 已驗證工作包括 turn_end、voice_activity、language、term、same_speaker、speaker_change 與 speaker_count。
  • 可處理單一音訊、batch、Hugging Face datasets、即時串流,以及 encoder/decoder 分工排程。
  • 串流輸入須為 mono 16 kHz;hop_seconds=0.25 每次推送 4,000 個 float32 樣本。
  • 提供 OpenAI-compatible server、Pipecat、LiveKit Agents、Vapi、本機 demo、Runpod Serverless decoder worker、Space 與 benchmarks。
  • pii 仍是 experimental,須由呼叫端提供文字偵測器;audio_class 則沒有可用安裝路徑。
  • 不可用功能會回傳 None,不會以其他預測冒充答案。

在 NVIDIA L4、bf16、batch one 與 8 秒視窗的公開 API 測試中,turn end 的 p50/p95 latency(延遲中位數與第 95 百分位)為 12.23/13.31 ms,voice activity 為 14.40/15.77 ms。language 明顯較慢,為 153.67/160.80 ms;term 更達 1399.44/2349.14 ms。項目沒有宣稱即時處理保證,適合與等候時間較長的工作流結合。

Accent、language、noise、overlap、microphone 及 domain shifts 都可能改變決定,語言選項中的 Other 亦只是聚合其他受支援語言,並非 unknown-language detector。實際接入時,可用 model.calibrate(windows, labels, question) 以自家資料校準,再透過 marimba serve 供路由器或 OpenAI SDK 使用。這個版本更適合需要快速判斷對話狀態的語音代理、客服流程與 LiveKit/Pipecat 整合,而非需要完整逐字稿、身分確認或安全關鍵決策的系統。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, NVIDIA, OpenAI, API, Audio, 工具, Python, 語音, 安全, Dataset 數據集

MovieRoll:讓長影片生成減少走樣

MovieRoll 將持續生成、事件控制與模型蒸餾放在同一框架,嘗試減少長影片後段褪色、變形與語意漂移。

MovieRoll: And... Action!

通常影片越長,角色走樣越明顯。MovieRoll 是一套長影片生成框架,針對的正是生成持續到後段後容易褪色、變形及失去劇情連貫的問題,並同時提供 Base 與 Distilled 兩條模型路徑。

  • 兩種模型定位:MovieRoll-Base 偏重品質與可控性,MovieRoll-Distilled 以更少步數加快生成。
  • 支援 T2V 與 I2V:可由文字生成影片,也可從圖片出發,另可使用有序 event prompt 序列加入多個事件。
  • 降低長片退化:joint window denoising、hierarchical KV caching 與 cache recomputation 共同支援持續生成。
  • 更快版本:MovieRoll-Distilled 的 denoising steps 為 5,Base 則需要 50 步並使用 AnnealCFG。
  • 評測覆蓋較長時長:HeliosBench 測試 10、30、60 秒單事件影片,以及 30 秒/3 events、60 秒/6 events 多事件影片。

MovieRoll-Base 以 window-wise teacher forcing 訓練,讓模型在較長生成期內逐步維持前後關係。進入推論階段後,它結合 joint window denoising、hierarchical KV caching 和 cache recomputation,針對持續滾動生成時容易累積的品質損耗逐段處理。AnnealCFG 會逐步降低 guidance,讓結果靠近 clean endpoint。

Distilled 版本則走另一條路。ODE initialization 配合 cumulative long tuning(CuLT-DMD)製成 MovieRoll-Distilled,把原本 50 個 denoising steps 壓至 5 個,而且不再使用 CFG(Classifier-Free Guidance)。這個取捨很直接:想要較快試不同 prompt、鏡頭與事件安排,Distilled 較合適;團隊若要優先研究 Base 模型的控制方法,便有另一條路可走。兩者均提供 text-to-video(T2V)及 image-to-video(I2V)checkpoint。

長影片通常會描述多過一個事件。MovieRoll 可用單一 prompt,也可按次序輸入多個 event prompt,讓同一場景繼續發展,同時引入新動作。HeliosBench 的多事件評測正針對這項能力:30 秒版本包含 3 個 events,60 秒版本包含 6 個,single-event 與 multi-event 分別使用 200 及 100 個 prompts。

評測結果由 MovieRoll-Distilled 取得各個已報告設定中的最高 total score,評分涵蓋視覺品質、動態、平滑度、語意對齊、自然度,以及隨時間累積的 drift。

另有 59 名專業人士參與 paired study,對同一 prompt 產生的影片選擇偏好影片或 tie,每對影片至少由 3 名專家評估。項目文件同時提供 5 個相同 prompt 與目標時長的比較案例,並列出 Base 與 Distilled 版本,讓團隊可以觀察蒸餾前後的取捨,而不只依賴單一總分。

安裝與模型下載需要 Python 3.12、支援 CUDA 的 PyTorch,以及已安裝的 FlashAttention kernels。FlashAttention-3 要從 flash-attention 的 hopper/ 目錄建置,並需要 Hopper(sm90)GPU,例如 H100;開始長時間生成前,應先確認 kernel build 支援所用 GPU。

模型權重在 Hugging Face 的 yunyangge/MovieRoll,下载前需要接受存取條件並完成認證。單一 checkpoint 仍須配備 HunyuanVideo-1.5 的 VAE、Qwen2.5-VL-7B-Instruct、byt5-small 與 Glyph-SDXL-v2。這些不是可省略的提示詞工具,而是完整推論管線的共用元件。

硬體門檻是 MovieRoll 目前的明顯限制。Quick Start 的單 GPU 設定要求整條 pipeline 能放入 GPU,文件列出的 96 GB GPU 可容納整條管線;8 GPU 設定則採用分散式與序列平行。--sp-size 必須同時整除 GPU 數及模型的 16 個 attention heads,8 GPU 範例使用 --sp-size 8 與 --shard-world 8。單程序推論不使用 FSDP(Fully Sharded Data Parallel)。

原生 inference entry point 尚未支援 CPU offload,RTX 4090、RTX 5090 等 consumer GPU 亦列於 TODO。Gradio、串流播放與 inference efficiency 改善仍未完成,因此這套模型現階段較適合具備大型 GPU 環境的影片研究與製作團隊,而非一般消費級電腦。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 北京大學, 騰訊, AI productions, 模型, 視頻模型, 模型訓練, Qwen, Google, NVIDIA, Stable Diffusion, API, Video, Image, 提示詞, 框架, 香港, 工具, Python

VoxMel:直接以頻譜簡化語音生成

少一層語音編碼,不等於少一層難題。VoxMel 捨棄 learned acoustic tokenizer,直接從頻譜生成語音。

VoxMel TTS

VoxMel 是一種無需聲學分詞器的連續自回歸文本轉語音(TTS)框架,通過固定且精確可逆的雙軸 Haar 變換直接建模梅爾頻譜。語言模型骨幹與流匹配預測頭以自回歸方式生成 Coarse-Mel,兩個非自回歸殘差層依次恢復時間和頻率細節,且不會將這些殘差反饋至自回歸歷史。獨立的 Vocos 聲碼器將重建的梅爾頻譜轉換為語音。

✨ 主要亮點
– 直接建模梅爾頻譜 — 無需學習聲學分詞器或壓縮聲學潛空間;文本前端使用 Qwen2.5 分詞器。

  • 精確可逆分解 — 沿頻率和時間軸的 Haar 分解保留全部梅爾系數。精確可逆指變換本身,並不保證生成音頻或聲碼器重建無損。

  • 僅對粗粒度分量自回歸 — 先生成 Coarse-Mel,再按依賴順序生成時間殘差和頻率殘差;殘差細節不進入自回歸歷史。

  • 中英文零樣本聲音克隆 — 使用參考音頻及其轉錄文本合成語音,論文配置輸出 24 kHz 音頻。

  • 後訓練 — 凍結預測頭的 GRPO 改善了全部四項 Seed-TTS 指標。

  • 直接生成 mel-spectrogram,不需 learned acoustic tokenizer。

  • 固定雙軸 Haar transform 保留全部 mel coefficients。

  • 提供 VoxMel-0.6B 與 VoxMel-0.3B 兩個模型。

VoxMel 使用 10 萬小時 Emilia 數據訓練,並在英語和中文零樣本聲音克隆任務上評測。0.6B 監督模型在 Seed-TTS-eval test-en 上達到 1.51% WER / 0.738 SIM;凍結預測頭的 GRPO 將結果提升至 1.15% WER / 0.753 SIM。對比結果和評測協議見評測。

VoxMel 的核心不是把梅爾頻譜再壓縮,而是重新安排資料的生成次序。系統先以 decoder-only transformer 和 flow-matching head 逐步產生 Coarse-Mel,再按 dependency order 預測 temporal residual 與 frequency residual。兩層 residual 均以 non-autoregressive 方式處理,而且不會回饋到 Coarse-Mel 的 autoregressive history。

VoxMel 把高維連續語音的難題集中在高階結構,而不是先學習一套壓縮 acoustic representation。Haar transform 可逆,代表頻率與 temporal splits 沒有自行丟失 mel coefficients,但這個保證不延伸到生成音訊或 Vocos reconstruction。換言之,數學上的可逆分解,但並不等於輸出音訊可以無損重建。

在 24 kHz 設定下使用 100-channel log-mels、1024-point FFT/window 與 256-sample hop。完整 mel 的 frame rate 是 93.75 Hz,Coarse-Mel 則降至 46.875 Hz。模型以 Emilia 的 100K hours 訓練,最後由凍結的 24 kHz Vocos vocoder 把重建的 mel-spectrogram 轉成波形。

英語結果是這套方法最突出的部分。VoxMel-0.6B 在 Seed-TTS-eval test-en 錄得 1.51% WER 和 0.738 SIM,數字低於 CosyVoice 的 3.39%、CosyVoice 2 的 2.57%、Qwen3-TTS 的 1.66%及 DiTAR 的 1.69%。加入 frozen-head GRPO post-training 後,結果改善至 1.15% WER 和 0.753 SIM。

安裝需要 Python 3.10–3.12,並按硬件選擇相容的 PyTorch 與 torchaudio 版本。原始環境採用 torch/torchaudio 2.4.1 和 CUDA 12.1,程式碼以 editable package 方式安裝,requirements.txt 會共用套件安裝設定。CPU 與 Apple Silicon 需要使用相應的 PyTorch build;device="auto" 會依次選擇 CUDA、MPS、CPU,但 MPS 的 operator support 與 performance 仍要按 checkpoint 驗證。

執行推理前,要準備 config.yaml、model_L_final.pt,以及指定 Vocos 目錄內的 config.yaml 和 pytorch_model.bin。VoxMel-0.6B 與 0.3B 可從 Hugging Face 取得,但只有 0.6B 做過 frozen-head GRPO,0.3B 並沒有相同的后訓練流程。

Python API 以 model.generate() 合成語音,能獨立調整 text guidance、speaker guidance、residual solver steps、duration bounds 與 random seed,並回傳 mono float32 NumPy waveform。CLI 可輸出 WAV;Web Demo 提供播放、下載與本地示例,預設採用 32 個 coarse 和 residual solver steps,Text CFG 與 Speaker CFG 分別為 3.5 和 3.0,隨機 seed 固定為 42。

項目主頁 · GitHub · 模型

Categories: 開源, 文字轉語音, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, API, Audio, 框架, Clone, Mac, Python, 語音, 蘋果, Tokenize

VoiceStudio:廣東話本地生成的聲音複製、配音與轉錄

VoiceStudio 將聲音複製、影片配音、語音設計和轉錄放進同一個本機工作流,支援 646 種語言。

logo

VoiceStudio 是一個開源、完全本機運行的 AI 語音工作室,處理聲音複製、影片翻譯配音、語音設計、聽寫、轉錄和有聲書製作,目標是把依賴網上語音服務的流程移回自己的電腦。項目文件標示支援 646 種語言,實際效果則取決於所選引擎、參考錄音和可用硬件。

它並不是單一模型,而是一個容納多個語音引擎的桌面應用程式。預設引擎是由 k2-fsa/OmniVoice 驅動的 VoiceStudio,Model Manager 亦可選擇其他引擎,並只下載需要的模型。這個安排比固定綁定一個模型更有彈性,但也代表不同引擎的聲音質素、速度、硬件支援和操作結果不能一概而論。

實際工作流可以由一段乾淨的參考錄音開始,複製出相近聲線,再輸入文字生成語音;若要做影片配音,系統會先翻譯內容,再令配音時間貼近原片。Voice design 則改用文字描述聲音,例如指定語氣和特徵後生成語音,適合尚未有固定配音員錄音的內容。浮動聽寫小工具和本機轉錄,則把語音輸入延伸到日常寫作與紀錄。

對需要大量內容的團隊,故事、有聲書和排隊工作比單次生成更實用。VoiceStudio 支持 Local API、MCP(Model Context Protocol)、可重用 recipes 和 watch folders,讓工作可以由其他工具觸發,或在指定資料夾出現檔案後自動處理。這使它較接近一個可編排的媒體工作流,而不只是聲音預覽工具。

VoiceStudio 支持多種平台發行版本:包括 Windows x64、Windows ARM64(experimental)、macOS Apple Silicon、macOS Intel、Linux x64、Android 和 iPhone。下載桌面版本後,再在 Model Manager 取得所需引擎;項目文件沒有提供模型大小、下載容量或最低硬件需求,因此不能預先準確估算儲存空間與等待時間。

硬件差異會直接影響本機部署。Windows ROCm 支援仍屬 experimental,只涵蓋部分 RDNA 2 RX 6000 GPU,目標為 gfx1030、gfx1031 或 gfx1032,RX 6500 XT 的 gfx1034 不包括在內;RX 6700 XT 的測試涵蓋原生 Torch 語音生成及 PyTorch Whisper。若 GPU 初始化失敗,實際可用能力可能退回 CPU,而文件也沒有提供所有引擎的完整效能數據,所以不能只憑顯示卡型號推斷生成速度。

建議先用短錄音測試聲音複製,再用一段需要同步的影片檢查配音時間,最後才把文字批次送入有聲書或排隊工作。測試時應分開比較 VoiceStudio 與 Model Manager 中的其他引擎,因為預設的 k2-fsa/OmniVoice 並不代表整個應用程式的聲音表現;錄音雜音、語言、句子長度和本機資源不足,都可能令結果退化。

幾個關鍵取捨:
– 聲音複製、語音設計、影片配音與轉錄集中在同一個本機工作流。
– VoiceStudio 以 k2-fsa/OmniVoice 為預設,亦容許在 Model Manager 改用其他引擎。
– Local API、MCP、recipes 和 watch folders 可接入批次及自動化流程。
– Windows ROCm 仍是實驗性支援,RX 6500 XT 明確不在支援範圍。
– v0.5.8 提供多平台下載,但部分 Windows、ARM64 和 iPhone 版本有簽署或實驗性限制。

需要處理敏感錄音、長篇旁白或內部轉錄的團隊,會較容易發現本機運行的價值,因為免費桌面應用程式不需要帳戶,資料亦可留在自己的硬件。VoiceStudio Pro 是閉源版本,需要帳戶,面向跨多部裝置的付費客戶工作,單一使用者最多可同時在 3 部裝置使用;VoiceStudio Cloud 則推出的託管語音及配音 API,文件稱不需要 GPU。項目未交代 release 節奏、完整最低配置或各引擎的統一評測,採用前仍應以目標平台和實際素材做小規模驗證。

GitHub · GitHub

Categories: 開源, AI productions, MCP, 模型, 微軟, NVIDIA, API, Video, Audio, 工具, Medical醫學, Mac, Linux, Python, 語音, 蘋果

spillway:智能體免被攻擊工具,鎖定在用戶指定目標

SPILLWAY 在工具執行前核對收件人與資源目標。標準攻擊測試中,2,847 組攻擊未有一次把操作導向用戶未指定的目標…

SAINT Machines

SPILLWAY 1.0.0 是一款即時安全防護工具,供 AI 智能體在執行操作前,核對收件人、帳戶或資源目標是否來自用戶任務。它處理的是提示詞注入 (Prompt Injection) 造成的越權操作,不是替模型判斷所有內容是否可信。

它先用結構化規則決定是否放行,再把工具回傳中有類型標記的欄位,與用戶的目標作集合比對。當電郵或網頁內的攻擊文字要求智能體把資料送往另一個地址,這個地址若只出現在攻擊者提供的文字,而不在用戶任務中,lookup 就會拒絕相關呼叫。

SPILLWAY 先依固定規則和目標比對作決定。管理者可選擇讓 local judge 檢查部分被拒呼叫,也可啟用 identity-target recovery;兩者在預設的 Guard(task) 中均關閉。

使用 AgentDojo v1.2.2 的標準攻擊測試涵蓋 Banking、Slack、Travel、Workspace 四個 suite,配合 gpt-4o-mini、qwen3-coder:30b、qwen3:8b 三個 backbone,共 2,847 組攻擊配對。SPILLWAY 在 12 個測試格中都沒有觀察到範圍內攻擊成功。這個結果表示測試中的攻擊沒有把操作導向用戶未指定的目標。

測試範圍亦包括 ChatInject 的 forged chat template 攻擊,共 665 組配對;以及 AutoDojo 的 389 組已發布、由最佳化器生成的攻擊配對。AutoDojo 結果被文件標註為 descriptive,且所提供內容沒有列出其限制細節。這些數字應視作特定測試集的觀察,不宜延伸成對未知攻擊的保證。

安裝需要 Python 3.10 或以上,項目文件提供的套件版本為 spillway-guard 1.0.0,可用 pip 安裝。安裝後,團隊仍需把防護接入智能體的工具呼叫流程,讓規則在操作執行前檢查目標;文件亦提供瀏覽器試用入口。對已有工具型智能體、且需要限制外發地址或資源操作的團隊,測試時應先用自己的任務與工具回傳驗證規則,再確認 judge 和 recovery 是否符合安全政策。

  • 先以用戶任務和 typed tool returns 比對目標,再按固定規則決定是否放行。
  • Local judge 與 identity-target recovery 均為可選功能,預設關閉。
  • AgentDojo 標準攻擊測試中,12 格均沒有範圍內攻擊成功,UAU 平均值為 .489。
  • ChatInject 測試涵蓋 665 組配對;AutoDojo 涵蓋 389 組,後者結果屬描述性資料。
  • 安裝要求 Python 3.10+;歷史成本數據未有為 1.0.0 重跑。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, Qwen, Gemini, 工具, 安全

gpu unlock:讓 RTX GPU 倍速運算

解鎖運算速度,不代表模型回答快一倍。gpu-unlock 的收益取決於工作負載,量化推理與遊戲未必受惠。

gpu-unlock: full-speed tensor cores for GeForce RTX

運算上限解開,模型也未必快一倍。gpu-unlock 是 Linux kernel module,即在系統核心運作的模組,會在開機時、原裝 NVIDIA driver 載入前解除部分運算速度限制。它改動的是顯示卡運算能力的可用範圍,模型本身毋須更換。

GeForce 的 Tensor Cores 運算單元在特定精度組合下受半速限制。涉及 FP16(16-bit Floating Point)、BF16(Brain Floating Point 16)及 TF32(TensorFloat-32),並以 FP32(32-bit Floating Point)累加結果;簡單理解,就是以較低精度計算,再用較高精度累積答案。同晶片的 RTX A-series 或專業卡則以全速運行,而解除限制毋須修改 NVIDIA driver 或刷寫顯示卡韌體,文件亦稱更新 driver 後毋須重做。

先看自己的工作內容,再決定是否測試,會比單看「解鎖」更有意義。項目列出的收益分布相當不平均,以下數字均屬項目提供的典型加速幅度:

  • Large Language Model(LLM)讀取提示內容的階段,加速 +25–55%;這與之後逐字生成答案是不同工序。
  • BF16 的 Low-Rank Adaptation(LoRA)及完整微調,加速 +25–50%;兩者分別更新少量附加參數和模型整體參數。
  • FP16/BF16 圖像生成,加速 +30–55%,較貼近需要反覆產圖的工作流程。
  • LLM 逐字生成答案,以及遊戲,均標示為 No change,不能把運算吞吐量當成整體體驗的增幅。

這些幅度來自使用者提交的相容性報告,並非每套模型與硬件都會重現。項目稱解鎖前後輸出逐位元一致,但測試時仍應固定模型、輸入及設定,分開量度提示處理和答案生成時間。顧問替客戶估算效益時,也應按實際工序計時,不能把某個階段的加速直接套在整個服務上。

功率是另一道限制,即使運算單元可以跑得更快,也未必有足夠供電空間。RTX 4090 在原裝功率限制下處理大型矩陣乘法,增幅遠低於峰值速率所示。工作中相關精度的矩陣運算比例愈低,解鎖能影響的部分也愈少;評估批量訓練或生成工作時,應量度整項任務的完成時間。

硬件支援亦有成熟度之分:Ampere(RTX 30)標示為 Stable,已有 100+ 份使用者報告。Ada Lovelace(RTX 40)與 Turing(RTX 20)仍屬 Experimental,Blackwell(RTX 50)則不受支援。挑選測試機時,不能只看卡名屬於 GeForce;先核對支援型號及狀態,才能判斷是在驗證收益,還是在試驗相容性。

部署前要有 Linux、受支援顯示卡,以及修改核心開機參數的條件。安裝完成後,仍須透過 gpu_unlock.targets 明確啟用,可選全部支援卡,或指定個別卡的完整硬件地址;未啟用時模組不會解鎖。解鎖也必須趕在 driver 綁定顯示卡之前,已被 driver 接管或已斷電的卡會被跳過,因此它不是開機後隨時切換的加速按鈕。

手提電腦的難題是獨立顯示卡可能在閒置時完全斷電,令解鎖狀態重設。關閉相關動態電源管理只對部分型號有幫助,不能假設開機測試成功後便一直有效。準備採用的團隊應先在目標機器完成一次工作測試,再讓機器閒置後重測,核對日常電源行為會否令收益消失。

GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Image, Linux, LoRA

LongCat-Video-Avatar 1.6:讓長片嘴形更自然

人物影片可以生成超過十分鐘,嘴形與身份能否保持穩定,才是這次更新的看點。

Hero image preview

影片能延長,人物卻不能愈演愈走樣。LongCat-Video-Avatar 1.6 是建基於 LongCat-Video 的開源音訊驅動人物影片生成模型,讓人物隨聲音說話及活動。這次更新集中改善嘴形自然度,以及長片中人物外觀與動作的連貫性,直接影響持續觀看的體驗。

項目文件稱,模型支援生成超過 10 分鐘的影片,並減少 autoregressive video continuation 期間的誤差累積。這個術語指影片按已有內容逐段往後生成,前段的偏差可能延續到後段。因此,長片測試不能只看開場是否逼真,還要檢查後段是否仍像同一個人,嘴部動作有沒有逐漸變得不自然。

與 LongCat-Video-Avatar 1.5 的比較採用相同輸入,讓版本差異較容易辨認。項目文件稱,1.6 減少誇張或繃緊的嘴部動作、過紅的唇色,以及嘴部區域隨時間出現的不穩定情況。這些改動處理的是觀看時容易察覺的細節:嘴巴即使跟着聲音動,也可能因幅度或外觀變化而顯得生硬。

聲音處理由 Whisper-large Audio Encoder 負責,把音訊轉成模型可用的特徵。它能改善音素表徵,也就是更清楚地捕捉發音單位,讓嘴部動作更準確、流暢。另一項方法 Per-Frame Optimization 會逐幀調整聲音與影像的對齊,將同步修正落到每一格畫面,而不只籠統處理整段影片。

幾個可觀察的變化:

  • 說話時嘴部開合是否自然,有沒有持續繃緊或過度張開。
  • 嘴部外觀能否保持連貫,避免唇色與局部畫面忽然變化。
  • 影片延長後,人物身份與動作是否仍然穩定。
  • 比較 1.5 與 1.6 時,沿用相同輸入,觀察差異是否持續出現。

人類偏好研究提供了示範以外的比較依據。研究涵蓋六個系統、15 組模型配對,共收集 33,051 張有效個別選票;1.6 的 Bradley–Terry Elo 分數為 1068.1,排名第二。這套計分方式把兩兩比較的偏好整理成排名,結果落後於 OmniHuman-2.0,領先 1.5、HeyGen、OmniHuman-1.5 及 Kling Avatar 2.0,但不能當成每類輸入都勝出的保證。

超過 10 分鐘的生成能力,也不代表長時間續接已消除退化。項目文件的措辭是「減少」誤差累積,因此需要長段人物影片的製作團隊,仍應檢查片尾與跨段位置,不能只憑短片預覽判斷整段品質。提供的資料未列出硬件需求、記憶體需求或具體推論耗時,亦不足以判斷本地製作的等待時間與資源成本。

授權則要分清模型與展示內容。Hugging Face 的模型識別碼為 meituan-longcat/LongCat-Video-Avatar-1.6,License 標示為 MIT;展示內容的倫理說明另外列明,部分圖像及音訊取自真實影片,生成內容只限學術用途,不准商業使用。準備把示範片段放入客戶提案或公開作品前,應先核對相關素材與生成內容的授權範圍,不能單憑模型的授權標示判斷。

設定RTX 4090 適用情況
BF16 推理VRAM 是主要限制。
FlashAttention-2建議使用;模型設定預設已啟用。
INT8 DiT(--use_int8)最適合單張 4090;官方提供 base_model_int8 權重。
FP8(--use_fp8)Ada 架構理論上支援 FP8,但官方要求先安裝支援 CUDA 的 Transformer Engine;FP8 與 INT8 不可同時使用。
官方 Avatar 範例使用 --nproc_per_node=2 --context_parallel_size=2,即需要兩張 GPU;單張 4090 需自行調整啟動參數,並可能要降低記憶體用量。
FlashAttention-3不適用:它針對 Hopper 架構 GPU,例如 H100/H200/H800,並非 4090。

建議的 4090 設定

優先使用 8 步蒸餾及 INT8,而不是完整 BF16:

torchrun --nproc_per_node=1 \
  run_demo_avatar_single_audio_to_video.py \
  --context_parallel_size=1 \
  --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 \
  --stage_1=ai2v \
  --input_json=assets/avatar/single_example_1.json \
  --use_distill \
  --lora_path loraB/lora.safetensors \
  --model_type avatar-v1.6 \
  --use_int8 \
  --mix_steps=4 --mix_alpha=1.0

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, Image, Audio, Python, 語音, 動畫

Axiom大師班-智能體工程(ADK & MCP)

GoTech World 2026 的一日實作課以 Antigravity IDE 和 Gemini 3.5 Flash… Axiom Masterclass:把程式代理納入人手把關的工程流程

Repository image for gsans/axiom-masterclass-gotech-world-2026

讓 coding agent 改程式碼時,工作可以在獨立 Git worktree 進行,再交由人手批准、確定性檢查和獨立 reviewer 把關。Axiom Masterclass 是一日實作課,面向 GoTech World 2026 的參加者,聚焦 Agentic Engineering(智能體工程)及 ADK(Agent Development Kit)與 MCP(Model Context Protocol);活動於 Tue 10 Nov 的 10:00–17:00,在布加勒斯特 ROMEXPO Pavilion B1 舉行。

課程提供 Antigravity IDE 的 code labs,參加者可在每個時段開始時更新 repo,取得當日發布的 lab。notebooks/ 內有各 block 的唯讀參考筆記,適合跟着內容核對,而不是直接當作可執行練習。項目文件沒有列出 labs 的具體發布時間,亦未交代各 block 的詳細課程安排。

正式活動前,參加者要安裝 Antigravity IDE (Standalone),並以個人 Gmail 登入;另外還要在 Google AI Studio 建立 API key。兩者用途不同:IDE 登入本身不會提供 code labs 所需的 API 存取權。API key 需要放在本機環境設定中,並避免貼到聊天或提交至 Git。

一般環境需要 Node.js v20 或更新版本,以及 Git。安裝依賴會下載約 380 MB,宜在網絡穩定時預先完成;之後執行 npm run verify,由 verify.mjs 檢查 API key,成功會顯示 Ready for Tuesday,失敗則提示需要修正的內容。項目文件亦提供 setup guide 和 Slow Engineering Field Manual 兩份 PDF,供參加者事前準備。

免費 API key 配合 Gemini 3.5 Flash Lite 約有每日 60 requests,而每次向 lab agent 提問會消耗 2 至 6 requests。免費層每週 quota 亦較少,因此文件要求參加者在 Tuesday 前不要於 Antigravity 執行 agents;這會限制預先試跑的次數,測試時應先保留額度給課堂練習。文件沒有說明每日配額是否適用於其他模型。

收尾示範 Mission Control,展示一個 coding agent 如何在獨立 Git worktree 內工作,再由 human gate、人手可控的批准點、deterministic checks 和 independent reviewer 分別把關;操作可用 clicks 或 voice。這套流程比單靠 agent 自行完成更重視審核與可檢查結果,但多了人工關卡和檢查步驟,工作流程也較複雜。

  • Antigravity IDE 與 Google AI Studio API key 必須分開準備。
  • 執行一般 code labs 需要 Node.js v20 或更新版本及 Git。
  • npm run verify 可在活動前確認 API key 是否可用。
  • 每個 block 開始時以 git pull 取得新 lab;發布時間未有說明。
  • Mission Control demo 另需 Python,並有獨立 setup;Python 版本要求未列明。

這項課程較適合想親手走過 coding agent 開發流程、並了解人手審批與自動檢查如何分工的工程師及團隊。要自行執行 Mission Control,除 Node.js 外還要準備 Python;而 repo 的一般安裝步驟只明確列出 Node.js v20 或更新版本及 Git。項目文件沒有提供發布節奏或維護活動資料,參加者宜按活動安排預先完成環境檢查,並把免費配額留到課堂使用。

GitHub

Categories: 開源, Agentic, MCP, 模型, Google, Gemini, API, Vibe Coding, IDE, Python, 編程, 語音

Gamer:把畫面觀察變成連續遊戲操作

Gamer 把看畫面、記住進度與按鍵操作串起來。解謎成績有進步,但測試結果仍不足以保證穩定通關。

Repository image for RainBowLuoCS/Gamer

Gamer 能按遊戲畫面發出鍵盤與滑鼠操作,並把先前經歷納入下一步決定。這個 Vision-Language-Action(VLA)模型把視覺、語言與動作連起來,處理需要持續操作的遊戲任務。對研究遊戲代理的團隊而言,它的價值在於將觀察、記憶與控制放進同一條工作流程。

操作節奏是 Gamer 最具辨識度的部分。畫面以 5 Hz 採樣,模型每個 200 ms interval 預測一次滑鼠位移,以及六個連續的 33 ms key-state blocks,也就是逐段指定按鍵狀態。這讓它支援 30 Hz control,無需 separate action head,即額外負責輸出動作的模組;但控制頻率不能當成每秒重新看畫面的次數。

長任務需要保留進度,否則舊畫面離開可讀取的內容範圍後,先前探索便難以延續。Gamer 的記憶會保留已完成目標、失敗嘗試、重要位置、資源及剩餘計劃。推理、記憶更新與操作共用 autoregressive output sequence,即模型逐步產生同一串輸出,讓行動可以接續先前的決策。

Gamer-SFT 是經 Supervised Fine-Tuning(SFT)訓練的版本,Gamer-RL 則再經 Online Reinforcement Learning(RL)改善操作策略。在七類解謎、四十個未參與訓練的測試任務中,兩者的 macro-average success rate 分別為 39.2% 與 49.7%,相差 10.5 percentage points。這個指標給每類謎題相同權重;兩個版本都曾在全部七類成功解題,但不代表每類都能穩定完成。

  • 輸入除了當前畫面,還包括任務、觀察歷史與記憶。
  • 輸出涵蓋按鍵狀態、滑鼠移動及滾動,可表達連續操作。
  • 觀察頻率與控制頻率不同,解讀即時能力時需要分開看。
  • 記憶保留失敗嘗試,讓後續決策能參考先前探索。
  • 解謎成功率反映指定測試範圍,不能直接當成任意遊戲的通關率。

即時互動也取決於推理服務能否及時送出動作。Streaming-vLLM 跨輪次重用每個 client 的 Key-Value(KV)cache,即保留先前計算結果,並在整段輸出完成前發送已驗證的動作區塊。連同針對模型架構的運算優化,H200 Mixture-of-Experts(MoE)workload 的端到端 request latency 由 1,306 ms 降至 65.12 ms;這是指定硬件與工作負載的結果,不能套用到其他配置。

當任務超出已測試的解謎類型,或環境變化快於畫面觀察節奏,可靠性便需要重新驗證。後者尤其涉及操作期間能否及時取得新畫面,單靠提高按鍵輸出頻率不足以證明能應付。即使在已報告的測試範圍,Gamer-RL 的成功率仍只有 49.7%,因此較適合研究與受控測試,不宜直接承諾無人監督的長時間通關。

準備試驗的團隊可從官方儲存庫 RainBowLuoCS/Gamer 及項目網站 https://mihoyo-gamer.github.io/ 查閱實作。測試需要能提供畫面並接收鍵盤滑鼠操作的遊戲環境,以及承載模型的推理服務;原始資料未交代完整安裝流程、軟件依賴與最低硬件要求,也不足以判斷儲存庫維護節奏。H200 延遲測試只能作效能參考,不能視為最低配置。

題述要求加入的 MiniMax-H3 影像重建與增強定位,並無原始資料支持。感知相似度、結構能量增強、色彩分佈變化、飽和度增強,以及銳利度與高頻細節,都不能列作 Gamer 已驗證的用途。評估此項目時,應以畫面到操作的控制流程、記憶延續能力及遊戲任務成功率作依據。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Image, VLA, 軟件, 庫, MiniMax, 強化學習

MiniMax-H3 LoRA:[特集]讓影片生成更懂運鏡與物件互動

從穩定物件動作到固定首尾畫面的 360° 環繞,這批 LoRA 把 MiniMax-H3 延伸成多種影片工作流。

AVvXsEjfkOvyf5h2H5Z vYu8kIES0pGOidPGIbqyszhocYoXkK67 2yzenUgugZ9qtXe3Hzn5kB0K6Sdy36A78G4DPO1 veLpRRoPuSivw3r4Vdw zSOSgs1

生成影片時,物件可能在動作中複製或互相穿透,鏡頭也未必能按要求回到起點。這批 MiniMax-H3 LoRA 和相關版本,分別處理物件一致性、鏡頭運動、視覺風格,以及音畫同步等需求,讓影片創作可以按任務挑選適合的能力。

其中,H3 Licon VBVR LoRA 把圖片轉成影片,並以專為 H3 重建的 VBVR data 訓練。它著重改善物件在運動期間的連貫性,減少複製、穿透和錯誤重疊,適合需要人物或物件持續移動的 image-to-video(I2V)工作流。它處理的是生成過程中的空間一致性,不代表所有動作都會符合現實物理。

要製作可循環播放的環繞鏡頭,MiniMax-H3 360° Orbit LoRA(FL2VA version)採用另一種約束:同一張圖片同時作為影片的首尾 keyframe。模型需要在兩個相同畫面之間完成 360° 鏡頭環繞,再回到起始視角。相較之下,Reference-to-Video(Ref2V)把圖片當成較寬鬆的參考;First-and-Last-Frame-to-Video(FL2VA)則會固定起始與結束畫面。一般情況下,首尾畫面相同容易令 base model 停在原地,這個 LoRA 專門用來生成兩者之間的運鏡。

風格轉換方面,MiniMax H3 3D Animation Style LoRA 支援 text-to-video(T2V)和 I2V,使用自訂 3D animation dataset 訓練。人類角色建議將 strength 設為 0.8,以兼顧提示詞跟隨和角色一致性;動物、幻想角色或環境則建議 1.0,令 3D 動畫風格更明顯。MiniMax-H3 Anime2Realism 則透過 Ref2V,把動漫圖片轉成寫實真人影片,同時保留角色特徵、姿勢、服裝、構圖、物件、光線和色彩,適合需要延續原有設計元素的風格轉換。

若要替換影片中的人物,MiniMax-H3 Character Swap LoRA 會參考新角色圖片,嘗試在保留原場景的情況下換掉來源影片中的人物。這個實驗版本訓練了 1,000 steps;項目文件稱,本地測試中它比 base model 更能保留背景。不過,動作時間、面部表情和 hard cuts 仍可能不準確,因此較適合先做概念測試,不宜直接假設每個鏡頭都能無縫接合。

需要音訊與影片一同生成時,TaoMate-H3 使用 3-step LoRA,以小段方式同步產生兩者,並可延續生成較長影片。它支援 480p、768p 和 1080p,但須配合原版 TaoMate-H3 model。另有供 ComfyUI 使用的轉換版本,目的是讓既有 MiniMax H3 workflows 更容易載入;這是 checkpoint 轉換,不應與原版模型本身混為一談。

更多的 LoRA 未能盡列,請到 項目主頁

Categories: ComfyUI, AI productions, 模型, 視頻模型, 模型訓練, Video, Image, World-Action Model, Audio, 提示詞, 3D, 動畫, Dataset 數據集, MiniMax, LoRA

Page 1 of 193
1 2 3 … 193