VoiceStudio:廣東話本地生成的聲音複製、配音與轉錄

VoiceStudio 將聲音複製、影片配音、語音設計和轉錄放進同一個本機工作流,支援 646 種語言。

logo

VoiceStudio 是一個開源、完全本機運行的 AI 語音工作室,處理聲音複製、影片翻譯配音、語音設計、聽寫、轉錄和有聲書製作,目標是把依賴網上語音服務的流程移回自己的電腦。項目文件標示支援 646 種語言,實際效果則取決於所選引擎、參考錄音和可用硬件。

它並不是單一模型,而是一個容納多個語音引擎的桌面應用程式。預設引擎是由 k2-fsa/OmniVoice 驅動的 VoiceStudio,Model Manager 亦可選擇其他引擎,並只下載需要的模型。這個安排比固定綁定一個模型更有彈性,但也代表不同引擎的聲音質素、速度、硬件支援和操作結果不能一概而論。

實際工作流可以由一段乾淨的參考錄音開始,複製出相近聲線,再輸入文字生成語音;若要做影片配音,系統會先翻譯內容,再令配音時間貼近原片。Voice design 則改用文字描述聲音,例如指定語氣和特徵後生成語音,適合尚未有固定配音員錄音的內容。浮動聽寫小工具和本機轉錄,則把語音輸入延伸到日常寫作與紀錄。

對需要大量內容的團隊,故事、有聲書和排隊工作比單次生成更實用。VoiceStudio 支持 Local API、MCP(Model Context Protocol)、可重用 recipes 和 watch folders,讓工作可以由其他工具觸發,或在指定資料夾出現檔案後自動處理。這使它較接近一個可編排的媒體工作流,而不只是聲音預覽工具。

VoiceStudio 支持多種平台發行版本:包括 Windows x64、Windows ARM64(experimental)、macOS Apple Silicon、macOS Intel、Linux x64、Android 和 iPhone。下載桌面版本後,再在 Model Manager 取得所需引擎;項目文件沒有提供模型大小、下載容量或最低硬件需求,因此不能預先準確估算儲存空間與等待時間。

硬件差異會直接影響本機部署。Windows ROCm 支援仍屬 experimental,只涵蓋部分 RDNA 2 RX 6000 GPU,目標為 gfx1030、gfx1031 或 gfx1032,RX 6500 XT 的 gfx1034 不包括在內;RX 6700 XT 的測試涵蓋原生 Torch 語音生成及 PyTorch Whisper。若 GPU 初始化失敗,實際可用能力可能退回 CPU,而文件也沒有提供所有引擎的完整效能數據,所以不能只憑顯示卡型號推斷生成速度。

建議先用短錄音測試聲音複製,再用一段需要同步的影片檢查配音時間,最後才把文字批次送入有聲書或排隊工作。測試時應分開比較 VoiceStudio 與 Model Manager 中的其他引擎,因為預設的 k2-fsa/OmniVoice 並不代表整個應用程式的聲音表現;錄音雜音、語言、句子長度和本機資源不足,都可能令結果退化。

幾個關鍵取捨:
– 聲音複製、語音設計、影片配音與轉錄集中在同一個本機工作流。
– VoiceStudio 以 k2-fsa/OmniVoice 為預設,亦容許在 Model Manager 改用其他引擎。
– Local API、MCP、recipes 和 watch folders 可接入批次及自動化流程。
– Windows ROCm 仍是實驗性支援,RX 6500 XT 明確不在支援範圍。
– v0.5.8 提供多平台下載,但部分 Windows、ARM64 和 iPhone 版本有簽署或實驗性限制。

需要處理敏感錄音、長篇旁白或內部轉錄的團隊,會較容易發現本機運行的價值,因為免費桌面應用程式不需要帳戶,資料亦可留在自己的硬件。VoiceStudio Pro 是閉源版本,需要帳戶,面向跨多部裝置的付費客戶工作,單一使用者最多可同時在 3 部裝置使用;VoiceStudio Cloud 則推出的託管語音及配音 API,文件稱不需要 GPU。項目未交代 release 節奏、完整最低配置或各引擎的統一評測,採用前仍應以目標平台和實際素材做小規模驗證。

GitHub · GitHub

Categories: 開源, AI productions, MCP, 模型, 微軟, NVIDIA, API, Video, Audio, 工具, Medical醫學, Mac, Linux, Python, 語音, 蘋果

spillway:智能體免被攻擊工具,鎖定在用戶指定目標

SPILLWAY 在工具執行前核對收件人與資源目標。標準攻擊測試中,2,847 組攻擊未有一次把操作導向用戶未指定的目標…

SAINT Machines

SPILLWAY 1.0.0 是一款即時安全防護工具,供 AI 智能體在執行操作前,核對收件人、帳戶或資源目標是否來自用戶任務。它處理的是提示詞注入 (Prompt Injection) 造成的越權操作,不是替模型判斷所有內容是否可信。

它先用結構化規則決定是否放行,再把工具回傳中有類型標記的欄位,與用戶的目標作集合比對。當電郵或網頁內的攻擊文字要求智能體把資料送往另一個地址,這個地址若只出現在攻擊者提供的文字,而不在用戶任務中,lookup 就會拒絕相關呼叫。

SPILLWAY 先依固定規則和目標比對作決定。管理者可選擇讓 local judge 檢查部分被拒呼叫,也可啟用 identity-target recovery;兩者在預設的 Guard(task) 中均關閉。

使用 AgentDojo v1.2.2 的標準攻擊測試涵蓋 Banking、Slack、Travel、Workspace 四個 suite,配合 gpt-4o-mini、qwen3-coder:30b、qwen3:8b 三個 backbone,共 2,847 組攻擊配對。SPILLWAY 在 12 個測試格中都沒有觀察到範圍內攻擊成功。這個結果表示測試中的攻擊沒有把操作導向用戶未指定的目標。

測試範圍亦包括 ChatInject 的 forged chat template 攻擊,共 665 組配對;以及 AutoDojo 的 389 組已發布、由最佳化器生成的攻擊配對。AutoDojo 結果被文件標註為 descriptive,且所提供內容沒有列出其限制細節。這些數字應視作特定測試集的觀察,不宜延伸成對未知攻擊的保證。

安裝需要 Python 3.10 或以上,項目文件提供的套件版本為 spillway-guard 1.0.0,可用 pip 安裝。安裝後,團隊仍需把防護接入智能體的工具呼叫流程,讓規則在操作執行前檢查目標;文件亦提供瀏覽器試用入口。對已有工具型智能體、且需要限制外發地址或資源操作的團隊,測試時應先用自己的任務與工具回傳驗證規則,再確認 judge 和 recovery 是否符合安全政策。

  • 先以用戶任務和 typed tool returns 比對目標,再按固定規則決定是否放行。
  • Local judge 與 identity-target recovery 均為可選功能,預設關閉。
  • AgentDojo 標準攻擊測試中,12 格均沒有範圍內攻擊成功,UAU 平均值為 .489。
  • ChatInject 測試涵蓋 665 組配對;AutoDojo 涵蓋 389 組,後者結果屬描述性資料。
  • 安裝要求 Python 3.10+;歷史成本數據未有為 1.0.0 重跑。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, Qwen, Gemini, 工具, 安全

gpu unlock:讓 RTX GPU 倍速運算

解鎖運算速度,不代表模型回答快一倍。gpu-unlock 的收益取決於工作負載,量化推理與遊戲未必受惠。

gpu-unlock: full-speed tensor cores for GeForce RTX

運算上限解開,模型也未必快一倍。gpu-unlock 是 Linux kernel module,即在系統核心運作的模組,會在開機時、原裝 NVIDIA driver 載入前解除部分運算速度限制。它改動的是顯示卡運算能力的可用範圍,模型本身毋須更換。

GeForce 的 Tensor Cores 運算單元在特定精度組合下受半速限制。涉及 FP16(16-bit Floating Point)、BF16(Brain Floating Point 16)及 TF32(TensorFloat-32),並以 FP32(32-bit Floating Point)累加結果;簡單理解,就是以較低精度計算,再用較高精度累積答案。同晶片的 RTX A-series 或專業卡則以全速運行,而解除限制毋須修改 NVIDIA driver 或刷寫顯示卡韌體,文件亦稱更新 driver 後毋須重做。

先看自己的工作內容,再決定是否測試,會比單看「解鎖」更有意義。項目列出的收益分布相當不平均,以下數字均屬項目提供的典型加速幅度:

  • Large Language Model(LLM)讀取提示內容的階段,加速 +25–55%;這與之後逐字生成答案是不同工序。
  • BF16 的 Low-Rank Adaptation(LoRA)及完整微調,加速 +25–50%;兩者分別更新少量附加參數和模型整體參數。
  • FP16/BF16 圖像生成,加速 +30–55%,較貼近需要反覆產圖的工作流程。
  • LLM 逐字生成答案,以及遊戲,均標示為 No change,不能把運算吞吐量當成整體體驗的增幅。

這些幅度來自使用者提交的相容性報告,並非每套模型與硬件都會重現。項目稱解鎖前後輸出逐位元一致,但測試時仍應固定模型、輸入及設定,分開量度提示處理和答案生成時間。顧問替客戶估算效益時,也應按實際工序計時,不能把某個階段的加速直接套在整個服務上。

功率是另一道限制,即使運算單元可以跑得更快,也未必有足夠供電空間。RTX 4090 在原裝功率限制下處理大型矩陣乘法,增幅遠低於峰值速率所示。工作中相關精度的矩陣運算比例愈低,解鎖能影響的部分也愈少;評估批量訓練或生成工作時,應量度整項任務的完成時間。

硬件支援亦有成熟度之分:Ampere(RTX 30)標示為 Stable,已有 100+ 份使用者報告。Ada Lovelace(RTX 40)與 Turing(RTX 20)仍屬 Experimental,Blackwell(RTX 50)則不受支援。挑選測試機時,不能只看卡名屬於 GeForce;先核對支援型號及狀態,才能判斷是在驗證收益,還是在試驗相容性。

部署前要有 Linux、受支援顯示卡,以及修改核心開機參數的條件。安裝完成後,仍須透過 gpu_unlock.targets 明確啟用,可選全部支援卡,或指定個別卡的完整硬件地址;未啟用時模組不會解鎖。解鎖也必須趕在 driver 綁定顯示卡之前,已被 driver 接管或已斷電的卡會被跳過,因此它不是開機後隨時切換的加速按鈕。

手提電腦的難題是獨立顯示卡可能在閒置時完全斷電,令解鎖狀態重設。關閉相關動態電源管理只對部分型號有幫助,不能假設開機測試成功後便一直有效。準備採用的團隊應先在目標機器完成一次工作測試,再讓機器閒置後重測,核對日常電源行為會否令收益消失。

GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Image, Linux, LoRA

LongCat-Video-Avatar 1.6:讓長片嘴形更自然

人物影片可以生成超過十分鐘,嘴形與身份能否保持穩定,才是這次更新的看點。

Hero image preview

影片能延長,人物卻不能愈演愈走樣。LongCat-Video-Avatar 1.6 是建基於 LongCat-Video 的開源音訊驅動人物影片生成模型,讓人物隨聲音說話及活動。這次更新集中改善嘴形自然度,以及長片中人物外觀與動作的連貫性,直接影響持續觀看的體驗。

項目文件稱,模型支援生成超過 10 分鐘的影片,並減少 autoregressive video continuation 期間的誤差累積。這個術語指影片按已有內容逐段往後生成,前段的偏差可能延續到後段。因此,長片測試不能只看開場是否逼真,還要檢查後段是否仍像同一個人,嘴部動作有沒有逐漸變得不自然。

與 LongCat-Video-Avatar 1.5 的比較採用相同輸入,讓版本差異較容易辨認。項目文件稱,1.6 減少誇張或繃緊的嘴部動作、過紅的唇色,以及嘴部區域隨時間出現的不穩定情況。這些改動處理的是觀看時容易察覺的細節:嘴巴即使跟着聲音動,也可能因幅度或外觀變化而顯得生硬。

聲音處理由 Whisper-large Audio Encoder 負責,把音訊轉成模型可用的特徵。它能改善音素表徵,也就是更清楚地捕捉發音單位,讓嘴部動作更準確、流暢。另一項方法 Per-Frame Optimization 會逐幀調整聲音與影像的對齊,將同步修正落到每一格畫面,而不只籠統處理整段影片。

幾個可觀察的變化:

  • 說話時嘴部開合是否自然,有沒有持續繃緊或過度張開。
  • 嘴部外觀能否保持連貫,避免唇色與局部畫面忽然變化。
  • 影片延長後,人物身份與動作是否仍然穩定。
  • 比較 1.5 與 1.6 時,沿用相同輸入,觀察差異是否持續出現。

人類偏好研究提供了示範以外的比較依據。研究涵蓋六個系統、15 組模型配對,共收集 33,051 張有效個別選票;1.6 的 Bradley–Terry Elo 分數為 1068.1,排名第二。這套計分方式把兩兩比較的偏好整理成排名,結果落後於 OmniHuman-2.0,領先 1.5、HeyGen、OmniHuman-1.5 及 Kling Avatar 2.0,但不能當成每類輸入都勝出的保證。

超過 10 分鐘的生成能力,也不代表長時間續接已消除退化。項目文件的措辭是「減少」誤差累積,因此需要長段人物影片的製作團隊,仍應檢查片尾與跨段位置,不能只憑短片預覽判斷整段品質。提供的資料未列出硬件需求、記憶體需求或具體推論耗時,亦不足以判斷本地製作的等待時間與資源成本。

授權則要分清模型與展示內容。Hugging Face 的模型識別碼為 meituan-longcat/LongCat-Video-Avatar-1.6,License 標示為 MIT;展示內容的倫理說明另外列明,部分圖像及音訊取自真實影片,生成內容只限學術用途,不准商業使用。準備把示範片段放入客戶提案或公開作品前,應先核對相關素材與生成內容的授權範圍,不能單憑模型的授權標示判斷。

設定RTX 4090 適用情況
BF16 推理VRAM 是主要限制。
FlashAttention-2建議使用;模型設定預設已啟用。
INT8 DiT(--use_int8)最適合單張 4090;官方提供 base_model_int8 權重。
FP8(--use_fp8)Ada 架構理論上支援 FP8,但官方要求先安裝支援 CUDA 的 Transformer Engine;FP8 與 INT8 不可同時使用。
官方 Avatar 範例使用 --nproc_per_node=2 --context_parallel_size=2,即需要兩張 GPU;單張 4090 需自行調整啟動參數,並可能要降低記憶體用量。
FlashAttention-3不適用:它針對 Hopper 架構 GPU,例如 H100/H200/H800,並非 4090。

建議的 4090 設定

優先使用 8 步蒸餾及 INT8,而不是完整 BF16:

torchrun --nproc_per_node=1 \
  run_demo_avatar_single_audio_to_video.py \
  --context_parallel_size=1 \
  --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 \
  --stage_1=ai2v \
  --input_json=assets/avatar/single_example_1.json \
  --use_distill \
  --lora_path loraB/lora.safetensors \
  --model_type avatar-v1.6 \
  --use_int8 \
  --mix_steps=4 --mix_alpha=1.0

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, Image, Audio, Python, 語音, 動畫

Axiom大師班-智能體工程(ADK & MCP)

GoTech World 2026 的一日實作課以 Antigravity IDE 和 Gemini 3.5 Flash… Axiom Masterclass:把程式代理納入人手把關的工程流程

Repository image for gsans/axiom-masterclass-gotech-world-2026

讓 coding agent 改程式碼時,工作可以在獨立 Git worktree 進行,再交由人手批准、確定性檢查和獨立 reviewer 把關。Axiom Masterclass 是一日實作課,面向 GoTech World 2026 的參加者,聚焦 Agentic Engineering(智能體工程)及 ADK(Agent Development Kit)與 MCP(Model Context Protocol);活動於 Tue 10 Nov 的 10:00–17:00,在布加勒斯特 ROMEXPO Pavilion B1 舉行。

課程提供 Antigravity IDE 的 code labs,參加者可在每個時段開始時更新 repo,取得當日發布的 lab。notebooks/ 內有各 block 的唯讀參考筆記,適合跟着內容核對,而不是直接當作可執行練習。項目文件沒有列出 labs 的具體發布時間,亦未交代各 block 的詳細課程安排。

正式活動前,參加者要安裝 Antigravity IDE (Standalone),並以個人 Gmail 登入;另外還要在 Google AI Studio 建立 API key。兩者用途不同:IDE 登入本身不會提供 code labs 所需的 API 存取權。API key 需要放在本機環境設定中,並避免貼到聊天或提交至 Git。

一般環境需要 Node.js v20 或更新版本,以及 Git。安裝依賴會下載約 380 MB,宜在網絡穩定時預先完成;之後執行 npm run verify,由 verify.mjs 檢查 API key,成功會顯示 Ready for Tuesday,失敗則提示需要修正的內容。項目文件亦提供 setup guide 和 Slow Engineering Field Manual 兩份 PDF,供參加者事前準備。

免費 API key 配合 Gemini 3.5 Flash Lite 約有每日 60 requests,而每次向 lab agent 提問會消耗 2 至 6 requests。免費層每週 quota 亦較少,因此文件要求參加者在 Tuesday 前不要於 Antigravity 執行 agents;這會限制預先試跑的次數,測試時應先保留額度給課堂練習。文件沒有說明每日配額是否適用於其他模型。

收尾示範 Mission Control,展示一個 coding agent 如何在獨立 Git worktree 內工作,再由 human gate、人手可控的批准點、deterministic checks 和 independent reviewer 分別把關;操作可用 clicks 或 voice。這套流程比單靠 agent 自行完成更重視審核與可檢查結果,但多了人工關卡和檢查步驟,工作流程也較複雜。

  • Antigravity IDE 與 Google AI Studio API key 必須分開準備。
  • 執行一般 code labs 需要 Node.js v20 或更新版本及 Git。
  • npm run verify 可在活動前確認 API key 是否可用。
  • 每個 block 開始時以 git pull 取得新 lab;發布時間未有說明。
  • Mission Control demo 另需 Python,並有獨立 setup;Python 版本要求未列明。

這項課程較適合想親手走過 coding agent 開發流程、並了解人手審批與自動檢查如何分工的工程師及團隊。要自行執行 Mission Control,除 Node.js 外還要準備 Python;而 repo 的一般安裝步驟只明確列出 Node.js v20 或更新版本及 Git。項目文件沒有提供發布節奏或維護活動資料,參加者宜按活動安排預先完成環境檢查,並把免費配額留到課堂使用。

GitHub

Categories: 開源, Agentic, MCP, 模型, Google, Gemini, API, Vibe Coding, IDE, Python, 編程, 語音

Gamer:把畫面觀察變成連續遊戲操作

Gamer 把看畫面、記住進度與按鍵操作串起來。解謎成績有進步,但測試結果仍不足以保證穩定通關。

Repository image for RainBowLuoCS/Gamer

Gamer 能按遊戲畫面發出鍵盤與滑鼠操作,並把先前經歷納入下一步決定。這個 Vision-Language-Action(VLA)模型把視覺、語言與動作連起來,處理需要持續操作的遊戲任務。對研究遊戲代理的團隊而言,它的價值在於將觀察、記憶與控制放進同一條工作流程。

操作節奏是 Gamer 最具辨識度的部分。畫面以 5 Hz 採樣,模型每個 200 ms interval 預測一次滑鼠位移,以及六個連續的 33 ms key-state blocks,也就是逐段指定按鍵狀態。這讓它支援 30 Hz control,無需 separate action head,即額外負責輸出動作的模組;但控制頻率不能當成每秒重新看畫面的次數。

長任務需要保留進度,否則舊畫面離開可讀取的內容範圍後,先前探索便難以延續。Gamer 的記憶會保留已完成目標、失敗嘗試、重要位置、資源及剩餘計劃。推理、記憶更新與操作共用 autoregressive output sequence,即模型逐步產生同一串輸出,讓行動可以接續先前的決策。

Gamer-SFT 是經 Supervised Fine-Tuning(SFT)訓練的版本,Gamer-RL 則再經 Online Reinforcement Learning(RL)改善操作策略。在七類解謎、四十個未參與訓練的測試任務中,兩者的 macro-average success rate 分別為 39.2% 與 49.7%,相差 10.5 percentage points。這個指標給每類謎題相同權重;兩個版本都曾在全部七類成功解題,但不代表每類都能穩定完成。

  • 輸入除了當前畫面,還包括任務、觀察歷史與記憶。
  • 輸出涵蓋按鍵狀態、滑鼠移動及滾動,可表達連續操作。
  • 觀察頻率與控制頻率不同,解讀即時能力時需要分開看。
  • 記憶保留失敗嘗試,讓後續決策能參考先前探索。
  • 解謎成功率反映指定測試範圍,不能直接當成任意遊戲的通關率。

即時互動也取決於推理服務能否及時送出動作。Streaming-vLLM 跨輪次重用每個 client 的 Key-Value(KV)cache,即保留先前計算結果,並在整段輸出完成前發送已驗證的動作區塊。連同針對模型架構的運算優化,H200 Mixture-of-Experts(MoE)workload 的端到端 request latency 由 1,306 ms 降至 65.12 ms;這是指定硬件與工作負載的結果,不能套用到其他配置。

當任務超出已測試的解謎類型,或環境變化快於畫面觀察節奏,可靠性便需要重新驗證。後者尤其涉及操作期間能否及時取得新畫面,單靠提高按鍵輸出頻率不足以證明能應付。即使在已報告的測試範圍,Gamer-RL 的成功率仍只有 49.7%,因此較適合研究與受控測試,不宜直接承諾無人監督的長時間通關。

準備試驗的團隊可從官方儲存庫 RainBowLuoCS/Gamer 及項目網站 https://mihoyo-gamer.github.io/ 查閱實作。測試需要能提供畫面並接收鍵盤滑鼠操作的遊戲環境,以及承載模型的推理服務;原始資料未交代完整安裝流程、軟件依賴與最低硬件要求,也不足以判斷儲存庫維護節奏。H200 延遲測試只能作效能參考,不能視為最低配置。

題述要求加入的 MiniMax-H3 影像重建與增強定位,並無原始資料支持。感知相似度、結構能量增強、色彩分佈變化、飽和度增強,以及銳利度與高頻細節,都不能列作 Gamer 已驗證的用途。評估此項目時,應以畫面到操作的控制流程、記憶延續能力及遊戲任務成功率作依據。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Image, VLA, 軟件, 庫, MiniMax, 強化學習

MiniMax-H3 LoRA:[特集]讓影片生成更懂運鏡與物件互動

從穩定物件動作到固定首尾畫面的 360° 環繞,這批 LoRA 把 MiniMax-H3 延伸成多種影片工作流。

AVvXsEjfkOvyf5h2H5Z vYu8kIES0pGOidPGIbqyszhocYoXkK67 2yzenUgugZ9qtXe3Hzn5kB0K6Sdy36A78G4DPO1 veLpRRoPuSivw3r4Vdw zSOSgs1

生成影片時,物件可能在動作中複製或互相穿透,鏡頭也未必能按要求回到起點。這批 MiniMax-H3 LoRA 和相關版本,分別處理物件一致性、鏡頭運動、視覺風格,以及音畫同步等需求,讓影片創作可以按任務挑選適合的能力。

其中,H3 Licon VBVR LoRA 把圖片轉成影片,並以專為 H3 重建的 VBVR data 訓練。它著重改善物件在運動期間的連貫性,減少複製、穿透和錯誤重疊,適合需要人物或物件持續移動的 image-to-video(I2V)工作流。它處理的是生成過程中的空間一致性,不代表所有動作都會符合現實物理。

要製作可循環播放的環繞鏡頭,MiniMax-H3 360° Orbit LoRA(FL2VA version)採用另一種約束:同一張圖片同時作為影片的首尾 keyframe。模型需要在兩個相同畫面之間完成 360° 鏡頭環繞,再回到起始視角。相較之下,Reference-to-Video(Ref2V)把圖片當成較寬鬆的參考;First-and-Last-Frame-to-Video(FL2VA)則會固定起始與結束畫面。一般情況下,首尾畫面相同容易令 base model 停在原地,這個 LoRA 專門用來生成兩者之間的運鏡。

風格轉換方面,MiniMax H3 3D Animation Style LoRA 支援 text-to-video(T2V)和 I2V,使用自訂 3D animation dataset 訓練。人類角色建議將 strength 設為 0.8,以兼顧提示詞跟隨和角色一致性;動物、幻想角色或環境則建議 1.0,令 3D 動畫風格更明顯。MiniMax-H3 Anime2Realism 則透過 Ref2V,把動漫圖片轉成寫實真人影片,同時保留角色特徵、姿勢、服裝、構圖、物件、光線和色彩,適合需要延續原有設計元素的風格轉換。

若要替換影片中的人物,MiniMax-H3 Character Swap LoRA 會參考新角色圖片,嘗試在保留原場景的情況下換掉來源影片中的人物。這個實驗版本訓練了 1,000 steps;項目文件稱,本地測試中它比 base model 更能保留背景。不過,動作時間、面部表情和 hard cuts 仍可能不準確,因此較適合先做概念測試,不宜直接假設每個鏡頭都能無縫接合。

需要音訊與影片一同生成時,TaoMate-H3 使用 3-step LoRA,以小段方式同步產生兩者,並可延續生成較長影片。它支援 480p、768p 和 1080p,但須配合原版 TaoMate-H3 model。另有供 ComfyUI 使用的轉換版本,目的是讓既有 MiniMax H3 workflows 更容易載入;這是 checkpoint 轉換,不應與原版模型本身混為一談。

更多的 LoRA 未能盡列,請到 項目主頁

Categories: ComfyUI, AI productions, 模型, 視頻模型, 模型訓練, Video, Image, World-Action Model, Audio, 提示詞, 3D, 動畫, Dataset 數據集, MiniMax, LoRA

rea-video:逐鏡反推還原影片製作路線

將影片拆成拍攝、生成與程式動效等不同做法。rea-video 逐鏡整理畫面、剪接和聲音,輸出可供人閱讀或交給 AI agent 使用的製作方案。

rea-video

一條影片可能混合實拍、AI 畫面、程式驅動的動畫和螢幕錄影,這些製作方法卻各不盡相同。rea-video 是一個強大的影片分析工具,會逐鏡判斷素材類型,再整理重製所需的拍攝、生成或編碼工作;它只提供完整方案,不會直接生成成片。

安裝十分簡單,你只要把本地影片交給能執行命令的 AI agent,例如 Claude Code 或 Codex 輸入 「安裝 https://github.com/JuneYaooo/rea-video,然後拆解這個影片」 ,agent 便可運行分析流程。執行環境需要 ffmpeg 和 Python 3.10+;目前文件沒有列出硬件需求、模型規模或 CLI 版本。分析結果有兩種形式:report.html 或 PDF 方便閱讀,VIDEO.md 則按層整理,讓 AI 只讀取回答問題所需的內容。

它不止能辨認實拍與 AI 生成,也包括 Avatar、3D/動畫、程式模板、螢幕錄影,以及混合剪輯。每個鏡頭會放回原有時間線理解,並可記錄字幕出現時間與樣式、貼圖位置、畫中畫、剪接節奏、音樂和音效落點。若畫面由程式動效構成,結果可整理成 Remotion 項目;字幕則可匯出為 SRT 或 ASS。

這種逐鏡拆解,對想參考短片製作自家廣告的內容團隊尤其實用:先看哪些畫面需要自行拍攝,哪些可用生成模型處理,哪些其實用程式重建更合適。以一段 70 s、12 個鏡頭的產品宣傳片為例,83% 是程式動效,12% 是螢幕錄影;案例認為整片可用一個 Remotion 項目製作,不必依賴影片模型。這個例子說明,拆解結果可能把製作方向由生成畫面轉向程式編排,但不代表所有宣傳片都適用同一做法。

若要分析實拍、AI 與 3D 畫面的來源,離線工具可先提供判斷,再由 agent 複核有疑問的鏡頭。接駁 Gemini 或 Doubao 等支援影片的模型後,live/AI/3D 判斷會更準確,並能替每個鏡頭加入反推提示詞;不接模型也能運作。燈光分析涵蓋 12 種布置,並可附器材清單,方便把觀察結果轉成拍攝準備。

  • 實拍素材偵測率為 97–99%。
  • 9 段人工標註片段的鏡頭邊界召回率為 95%,精確率為 94%。
  • 按鏡頭時長加權的來源判斷,Tuning set 有 15 個樣本,離線工具結果為 98.3%。
  • Holdout 有 16 個樣本,離線結果列為 99.6%/98.9%;接駁 Gemini 後為 99.6%/99.8%。
  • 10 個重新編碼的 WeChat 影片,離線結果為 88.6%;接駁 Gemini 後為 99.6%,再由 agent 視覺複核則為 100%。
rea-video, 复刻视频神器,8.8k star,解读+实测

這些數字不能直接套用到所有影片。平台重新壓縮會抹去雜訊等判斷線索,令離線工具在 WeChat 影片上明顯吃虧;視覺複核有助恢復準確度,但也表示結果仍需要人或模型檢查。項目提供 eval/RESULTS.md 重現評估;示例影片經重新壓縮後亦可能失去 TikTok/Douyin 平台標籤,因此自行重跑的結果可能與原報告不同。

分析只能從成片線索推斷製作方式,不能保證還原原作者的實際流程。對創作者、影片製作團隊和需要整理拍攝素材的行銷人員來說,它適合用來估算各鏡頭的製作路線與所需素材;最終拍攝、生成和剪輯仍要在其他工具中完成。

項目主頁 · GitHub

Categories: 開源, 字節跳動, Agentic, AI productions, 模型, Gemini, Video, Audio, 提示詞, 工具, Content Creator, 3D, Python, Anthropic, 動畫, 音樂

[技術文章]MEM-SQL:讓歷史 SQL 重用更準更省

MEM-SQL 把已驗證的 SQL 經驗整理成可重用記憶,降低 Text-to-SQL 的生成成本,但複雜組合仍容易失準。

Hugging Face

當新問題只改動日期、篩選條件或報表維度時,重新由自然語言生成整條 SQL 往往會重複消耗推理資源,也可能丟失原有的 join 或計算邏輯。MEM-SQL(Memory-Empowered Text-to-SQL)針對這個場景重用同一資料庫中已驗證的查詢歷史;它不是一個可直接下載的模型權重,而是一套配合 language models 運作的記憶式 Text-to-SQL 方法。項目文件沒有提供可確認的 base model、參數規模、微調方式或 GGUF 量化檔案,因此不能把它當作某個具體模型的 fine-tune 版本介紹。

它的價值集中在準確度與生成成本之間的取捨。HARE(History-AwaRe Text-to-SQL BEnchmark)包含 1,600 項請求,源自四個 datasets 中固定的 823 條已驗證查詢;每項註釋記錄保留了哪些查詢組件、需要哪些修改,並區分整條查詢改編與部分重用,讓測試不再只問「能否由零生成正確 SQL」。在六個 language models 上,Direct Generation 的平均執行準確度為 37.1%,MEM-SQL 提升至 50.0%,平均輸入 tokens 減少 76.6%,平均延遲降低 68.8%。

MEM-SQL 的記憶分成三類:整條查詢範本、可重用的 SQL 區塊,以及由領域概念對應至資料庫結構元素的映射。系統不會盲目採用最細碎的記憶,而是按層次檢查條件;只有當某一層所需的每項要求都找到高於該層門檻的匹配,才會使用該層。這個設計讓「整條查詢可以直接改編」與「只能抽取部分 join 或計算」有清楚區分,也減少把不完整證據硬塞進新查詢的風險。

OSL(On-demand Schema Linking)再補上一個按需要查閱資料庫結構的機制。當沒有任何記憶層符合條件,或生成器判斷檢索到的證據不足時,系統才會查閱 schema;換句話說,schema linking 不再預設覆蓋每個請求。研究把 OSL 套用到另外三種 memory designs,生成成本均有所下降,但準確度是否改善取決於記憶設計,顯示減少輸入內容並不必然帶來更可靠的 SQL。

  • HARE 專門測量改編歷史 SQL 的準確度與成本,涵蓋整條查詢改編及部分重用。
  • MEM-SQL 保存查詢範本、可重用 SQL 區塊,以及概念到 schema 元素的映射。
  • 分層記憶只有在所有條件達到相應門檻時才會啟用。
  • OSL 只在記憶不足或生成器判斷證據不夠時查閱資料庫結構。
  • 平均準確度由 37.1% 升至 50.0%,輸入 tokens 減少 76.6%,延遲降低 68.8%。

MEM-SQL 適合資料庫固定、查詢歷史可靠,而且新請求經常延續既有報表邏輯的工作流。它證明已驗證歷史可以同時改善準確度和成本,但研究結果也清楚表明,記憶如何保存、何時查閱 schema,以及多個組件能否放進新的查詢結構,仍然決定了方法能否穩定擴展。

Paper

Categories: 香港大學, 香港科技大學, 模型, 香港, Discord, LLaMa, Ollama, 庫

LingBot ALOHA:讓動作預測接續執行中的指令

把上一段動作帶入下一次預測,有助安排連續控制;但重疊動作可能重播,接駁機械人仍要處理交接。

Repository image for robbyant-research/Lingbot-ALOHA

讓機械人執行動作期間,同時準備下一段指令,是 LingBot ALOHA 最有辨識度的能力。這套基於 OpenPI、為 Mobile ALOHA 改編的策略訓練與推論程式碼,將 Real-Time Chunking(RTC)的 prefix conditioning 接到 JAX π₀.₅ 模型,並支援合併多個 LeRobot datasets 訓練,適合已有機械人資料和控制系統的研究團隊。

RTC 會把上一段預測中的部分動作,放到下一段預測開頭作為參考,讓模型接着已有計劃往下生成。訓練時,開頭保留不加噪音的動作,後段才加入噪音並計算 flow-matching loss;開頭只提供條件,不計入損失。這把「接續動作」納入訓練過程,但項目文件描述的支援限於 JAX π₀.₅,未證明 PyTorch 路徑具備等效能力。

執行端的 RTCActionChunkBroker 每次回傳一個 action,並在舊動作段仍在執行時,非同步要求新預測。交接未必無縫:切換時會從新動作段的 index 0 開始,沒有跳過已用作條件的 prefix,因此重疊期間執行過的動作可能重播。對需要連續移動或精確協調的任務,團隊應先檢查交接位置的指令序列;文件沒有提供足以量化這個問題影響的測試結果。

多資料集訓練則把資料整理方式直接變成訓練取捨:MultiVLADataset 將影格串成共同索引,再打亂抽樣,沒有獨立的 dataset-weight 參數,也不會自動平衡來源。項目文件的例子中,A 有 10,000 個影格、B 有 30,000 個影格,預期混合比例約為 25% A、75% B。較小資料集即使包含重要任務,也不會因此獲得更多抽樣機會,資料量本身便影響模型接觸各類示範的頻率。

能夠串接資料,不代表能直接混用不同機械人的紀錄。各資料集的 feature dimensions、camera conventions、action ordering、units 和 task meanings 必須一致,否則相同欄位可能代表不同動作或觀察,串接流程不會替團隊調和差異。這令它較適合同一套機械人規格下累積的多批資料;跨硬件整合仍須先處理資料定義,不能單靠增加路徑完成。

  • RTC 把前一段預測帶入下一段,將動作接續納入模型條件。
  • 非同步取得新預測可與舊動作執行重疊,但交接可能重播動作。
  • 多資料集按影格量參與抽樣,來源比例需要自行管理。
  • 資料欄位、單位及動作含義須一致,合併不會自動完成對齊。
  • 發布內容只有 source code,資料與模型資產均須另外準備。

要驗證這套流程,團隊須自行提供 datasets、pretrained weights 和 trained checkpoints,不能下載後便直接重現已訓練策略。訓練配置需要 π₀.₅ 初始 parameters 及 tokenizer assets,也可改用本地 parameters 目錄。合理的試驗順序是先核對資料定義及抽樣比例,再測試新舊動作段交接,避免把資料混合問題與控制時序問題混在一起判斷。

執行環境支援 Ubuntu 22.04 與 NVIDIA Graphics Processing Unit(GPU),依賴透過 uv 管理,定義保存在 pyproject.toml 和 uv.lock。上游列出的 full fine-tuning 單 GPU 記憶體需求約為 70 GB,而 RTC 範例正是採用 full fine-tuning;這只能作資源規劃參考,實際用量仍取決於配置,不能視為本項目的實測要求。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 模型, 多模態模型, 模型訓練, NVIDIA, 香港, Linux, Python, Dataset 數據集, Tokenize

Page 1 of 192
1 2 3 … 192