InferNews

YuE2 補上真實音訊 Tokenizer，支援歌曲翻唱微調

Share to X Facebook

YuE2取得音訊編碼與真實錄音適配能力，可將自家錄音轉成語義碼，再微調歌手風格。

Og image

當你餵給 YuE 一段參考音訊（例如某歌手的演唱片段或特定樂器風格，要求接續生成）時：必須先用 Tokenizer 將參考音訊「壓成代碼」傳入模型。若 Tokenizer 品質不佳，音色在第一步壓縮時就失真了。

這個 v4 工具能更高保真地將輸入聲音轉為 Token，讓後續模型捕捉到的音色特徵更貼近原音。

錄音轉換、歌手風格微調和歌曲翻唱，原本受限於 YuE2 沒有隨附的 audio → semantic-token encoder。這個項目基於 m-a-p/YuE2-3B 及 m-a-p/MERT-v2-FullSong，加入音訊 Tokenizer 與 NAR-branch LoRA，讓 YuE2-3B 可以處理自家錄音，並以真實製作音訊調整解碼效果。

Tokenizer 取用 MERT-v2-FullSong 第 20 層特徵，先按音軌作 instance normalization，再以 8 層、d=512 的 Transformer，在 512-frame 視窗內轉換成 32,768 種 YuE2 semantic codes，特徵率為 25 Hz。留出歌曲測試的 top-1 exact match 為 16.1%，但近似 code 產生的聲音接近，NAR round-trip 聽感測試約達 95%。

  • tokenizer_head_joint_v4.pt、.safetensors、.bf16.safetensors：音訊編碼 head
  • nar_lora_joint_v4.pt、.safetensors、.bf16.safetensors：NAR 解碼分支 LoRA
  • _comfyui.safetensors：配合 ComfyUI 的 YuE2 權重布局
  • LoRA rank 為 32，覆蓋 28 層 NAR attention、MLP，以及完整替換的 vae2llm 和 llm2vae

.bf16 版本約為完整精度檔案的一半，head 與 fp32 的輸出一致率為 98.6%。項目附有 scripts/ckpt_io.py、訓練迴圈和推論腳本；ComfyUI 可把 LoRA 載入 YuE2 checkpoint 的 MODEL 輸出，強度設為 1.0，CLIP 輸入不受影響。頁面沒有提供 GGUF 檔案、檔案大小、上下文長度、Ollama、LM Studio、llama.cpp 或 MTP draft speculation 支援資料，亦沒有列出可供選擇的量化級別。

模型先以 4,765 首 YuE2 自行生成歌曲訓練，再適配真實音訊；因此它的價值集中於提升真實錄音的編碼與 NAR 解碼，而非取代 YuE2-3B 的完整生成能力。授權為 CC-BY-NC-4.0，商業用途需要另行確認授權條件。

模型

Categories: 開源, ComfyUI, 模型, 模型訓練, Audio, 工具, 廣東話, Tokenize

Grounded-Action-Model：讓機械人先理解物件位置，再決定如何動作

Share to X Facebook

Grounded Action Model 把語言、點和框選提示轉成同一套 3D 物件表示，提升機械臂面對場景變化時的穩定性。

A language instruction, a 2D point or a 2D box is resolved by a pretrained 3D grounding model into image tokens and dete

面對物件被移位、場景重新排列，機械臂未必只需要更長的指令，而是要準確知道目標在哪裏。Grounded Action Model（GAM）屬於機械人基礎模型，透過 3D grounding 將語言、2D 點或 2D 框選轉成同一套以物件為中心的觀察，再預測連續動作。

GAM 使用凍結的 promptable 3D detector，提取目標物件的視覺特徵和 metric geometry，並與機械人狀態歷史交給 multi-stream transformer，輸出 action chunks。相較於由 Vision-Language-Action Models（VLAs）或 World-Action Models（WAMs）從示範中隱性學習位置關係，GAM 把 3D 位置直接放進控制流程，也可由高層 planner 透過不同提示方式控制，支援較長流程和需要記憶的操作。

A language instruction, a 2D point or a 2D box is resolved by a pretrained 3D grounding model into image tokens and dete

目前可參考的結果包括：
– RoboTwin 2.0 的 50 項任務平均成功率為 55.3%，場景隨機化時為 47.6%。
– LIBERO-PRO 的 16 種擾動設定平均成功率為 61%，目標重新放置時改善較明顯。
– 雙臂 YAM 面對視覺變化仍成功 17/20 次；Franka 配合 Molmo2 planner，長流程任務的 OOD step completion 為 49.8%。

Grounded-Action-Model 適合研究機械人操作、視覺變化和高低層控制協作的團隊，但目前 GitHub 仍只有論文與項目頁面，training and inference code、pretrained checkpoints 及 real-robot setup 尚待公開，因此暫時不能按儲存庫直接安裝或重現結果。數據主要來自指定基準和兩款機械人，能否延伸到其他硬件與未見過的操作，仍要等待程式碼及更多測試。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, 微軟, VLA, World-Action Model, Robotic, 3D, 庫

physics：拆解 Wan2.1 的物理失誤

Share to X Facebook

籃球彈跳變成半空漂浮，問題可能早在去噪頭幾步由注意力決定。這個研究以 RoPE 調整改善影片動態。

teaser

一個籃球由半空跌落後，理應撞地再彈起，Wan2.1-T2V 卻可能生成漂浮、突然停頓或半空反彈。這個 GitHub 項目屬於影片生成模型的可解釋性研究，實際處理的是 text-to-video diffusion models 如何在早期去噪階段規劃物件軌跡，以及錯誤位置為何會一路鎖定。

研究把視線集中在 Wan2.1-T2V-1.3B 的最初五個去噪步驟，透過 video-to-object-token cross-attention 追蹤物件位置，再配合 convergence speed 和 causal contribution 找出負責形成軌跡的 attention heads。分析指出，Self-attention 中的 Rotary Position Embedding (RoPE) 會令空間注意力衰減過快，早期錯誤候選位置因此壓過鄰近影格較合理的路徑。

修正方法不依賴外部物理模擬器或額外 foundation-model teacher，而是在早期步驟降低 height/width RoPE frequency，測試時前五步使用 λ^{h/w}=0.70；需要訓練時則以只作用於 self-attention 和 cross-attention 的 Low-Rank Adaptation (LoRA) 配合 λ^{h/w}=0.75。LoRA 設定為 r=64、alpha=32，並以首 10% 去噪步驟佔 0.9 機率的混合 timestep sampler 加強早期學習。

測試這個項目時可沿用 Wan 官方模型與提示詞，以不同 random seeds 比較原模型、training-free 頻率調整及 LoRA 版本的籃球跌落等片段；程式透過 runtime monkey patches 修改行為，不需要改動官方 Wan source。提供的資訊確認有 training-free 和 training-based 實驗，但未列出完整數值指標，因此更適合視為機制分析與可重現的研究原型，而非已證明能處理所有物理場景的通用修補方案。

  • 物件軌跡主要在最初五個去噪步驟形成
  • Cross-attention 負責引入物件語義，self-attention 協助選擇候選區域
  • RoPE 空間衰減過強，會令錯誤位置過早固定
  • 可用早期頻率縮放，或加入只改注意力層的 LoRA
  • 適合研究影片生成、模型可解釋性及物理一致性的團隊

項目主頁 · GitHub

Categories: 開源, AI productions, Embedding, 模型, 視頻模型, 模型訓練, Video, 提示詞

WorldCrafter 記住你走過的世界

Share to X Facebook

WorldCrafter把單張圖片或文字提示變成可操控鏡頭的連續場景，改善長時間探索時畫面失憶與視角不一致的問題。

鏡頭移開再回望時，生成場景仍能維持空間關係，正是 WorldCrafter 要處理的核心卡位。它屬於影片世界模型，能從單張圖片或文字提示建立可探索場景，並按照鏡頭控制生成後續畫面，減少長時間移動、回訪視角時的內容漂移。

WorldCrafter以可由鏡頭查詢的隱式 3D-aware memory 保存過往觀察，讓指定視角決定哪些歷史資訊交給影片生成器；記憶編碼器與姿態條件讀取模組會把不同視角的資料整理成目標視角適用的 memory tokens。它不依賴顯式深度估計或幾何 warping，近期 temporal context則負責維持動態物件和連續動作。

WorldCrafter Video Demo

提供 WorldCrafter-Base，以及經蒸餾、面向較快推理的 WorldCrafter-Fast。兩者可在 Linux、Python 3.11、NVIDIA GPU 和相容 CUDA 驅動環境運行，模型權重放在 Hugging Face；Fast 版本較適合互動式串流，但硬件要求和生成速度仍取決於本地配置。

  • 支援圖片轉可探索世界，也支援文字轉可探索世界
  • 可控制鏡頭、揭示未見區域，並回到曾經觀察的視角
  • 設計同時兼顧靜態場景、動態場景和長時間探索
  • 評測涵蓋145個場景及725條鏡頭軌跡

評測中，WorldCrafter在長時間回訪一致性和鏡頭控制準確度上優於參與比較的基線，整體 VBench 分數亦最高；項目展示的點雲與鏡頭軌跡重建，則用來檢查生成影片的幾何連貫性。研究團隊來自 Tencent ARC Lab 與北京大學，較適合研究生成式世界模型、可控影片、虛擬場景探索及互動內容的團隊測試。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, 騰訊, AI productions, 模型, 世界模型, NVIDIA, Video, Image, 3D, Linux, Dataset 數據集

TeleAntiFraud 開放反詐數據與模型，建立可重現研究基礎

Share to X Facebook

TeleAntiFraud 將數據集、模型、評測和程式碼集中開放，讓電信反詐研究更容易驗證與延伸。

Hero image preview

面對電信詐騙檢測需要數據、模型和一致評測標準的問題，TeleAntiFraud 以開源研究社區形式，集中提供相關資源，涵蓋數據集、模型、論文及可重現的研究基礎設施。項目由中國人民公安大學聯合發起，適合研究人員、反詐技術團隊及需要測試檢測方法的開發者使用。

社區目前公開 TeleAntiFraud 數據集、AntiFraud-SFT 模型，以及論文與程式碼倉庫，並提供 Hugging Face 模型與數據入口。相比只發布單一模型或個別研究結果，這種整合方式讓使用者可以由數據、訓練資源一路追到論文和程式碼，較方便重現實驗及比較不同方法。

可直接關注的資源包括：
– TeleAntiFraud 數據集及相關論文入口
– AntiFraud-SFT 模型發布與研究資料
– 已錄用論文及對應的公開程式碼、模型和數據
– 面向音頻文本反詐檢測的 SAFE-QAQ 研究

社區列出的最新進展包括 TeleAntiFraud-28k 獲 ACM MM 2025 接收，以及 SAFE-QAQ 獲 ACL 2026 主會接收；後者聚焦慢思考強化學習框架。網站目前未提供統一的性能數字或詳細測試結果，讀者仍需按各論文及資源頁面的評測設定理解模型能力和限制。

項目主頁

Categories: 開源, 模型, 模型訓練, 框架, 庫, 中國, Dataset 數據集

Qwen-Image-2.1 開源：透明圖層生成與多圖編輯

Share to X Facebook

7B 參數的 Qwen-Image-2.1 把文生圖、圖片編輯、透明背景生成整合在同一個模型，一次可參考 10 張圖片，門檻不高但功能更齊全。

在 AI 繪圖的世界裡，能同時處理文生圖、改圖、還能直接輸出透明背景圖的開源模型並不多。Qwen 團隊這次開源的 Qwen-Image-2.1，把這幾件事整合進同一個 7B 參數的視覺生成模型，使用時不需要切換不同模型或額外加工。對做貼圖、做商品圖、做素材整理的人來說，這種「一個模型走到底」的做法很貼合日常工作流。

模型採用 32 層 Single-Stream DiT 結構，配合混合粒度注意力與 prefix KV cache 復用，把運算成本壓低。即使在顯示卡記憶體有限的環境下，仍能輸出品質不錯的圖片；Apple Silicon 用戶也能用 MPS 加速跑得動。

Qwen-Image-2.1 對透明背景（RGBA）的處理是這次的亮點之一。文字描述可以直接生成帶 Alpha 通道的圖，也能把照片裡的主體分離出來變成透明底，省去摳圖步驟。編輯功能同樣豐富：最多可同時參考 10 張圖片，用圓圈、塗鴉或遮罩標記局部修改位置，並在人物、產品場景保留識別特徵，避免改一處卻跑掉整個主體。

Og image

文字渲染和人像光影也比上一代細緻，招牌、卡片、海報一類需要清晰排字的場景更實用。整體定位偏向「夠用、好用、可商用」的工具型模型，不是衝榜級的影像模型。

重點摘要

  • 統一模型：文生圖、圖片編輯、RGBA 透明圖生成整合在同一個 7B 參數模型
  • 高效率架構：32 層 Single-Strteam DiT，搭配混合粒度注意力與 prefix KV cache 復用
  • 多圖參考編輯：最多支援 10 張參考圖，可用圓圈、塗鴉或遮罩指定修改區域
  • 主體保留：在人物、產品場景保持識別特徵，不會改一處就全跑掉
  • 透明背景原生支援：可文字直出 RGBA，也能從照片分離主體成透明底

模型已在 Hugging Face 開源，並提供 Diffusers 整合程式碼、Google Colab 與 Kaggle Notebook，Apple 用戶亦可透過 Draw Things 或 DiffusionBee 等本地 App 直接試用。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Qwen, Google, Image, 影像模型, 影像處理, txt2img, 蘋果

Qwen3.8 邊講邊翻譯即時生成字幕

Share to X Facebook

阿里旗下 Qwen 推出 LiveTranslate 模式，用同一個模型一邊聽語音、一邊翻譯、一邊輸出字幕，支援中文、英文等多語言即時對話。

Og image

Qwen 團隊最近公開了 LiveTranslate 模式，主打邊聽邊譯、邊講邊出字幕。它把語音輸入、翻譯與字幕生成壓在同一個模型流程內，使用者開咪講一句，系統幾乎同步輸出另一種語言的文字，毋須額外挂接翻譯 API 或字幕引擎。

對於要做跨語言會議、外語直播、跨國客戶支援或聽打外語影片的團隊，這種一條龍處理可以直接省掉以往語音轉文字、再丟給翻譯模型、再做字幕排版的工序。直播主開英語節目時，中文觀眾可以即時睇到字幕；外語客戶打電話進來，中文客服亦可以一邊聽、一邊睇到對話內容。

LiveTranslate 屬於 Qwen3.8 系列下的語音功能延伸，目前支援普通話、英文等多語言之間互譯，亦可配合即時對話模式使用。Qwen.ai 用戶開啟 LiveTranslate 後揀選輸入與目標語言，便可以對住手機或電腦講話，螢幕同步顯示譯文。

Qwen 由阿里巴巴達摩院推出，屬於多語言、多模態大模型系列。LiveTranslate 的出現令 Qwen 在語音應用層面更貼近日常使用場景，而不限於純文字問答或文件分析。

重點摘要

  • Qwen3.8 新增 LiveTranslate 模式，主打邊聽邊譯、邊講邊出字幕
  • 語音輸入、翻譯、字幕生成整合在同一個模型流程內
  • 支援普通話、英文等多語言之間的即時互譯
  • 可用於跨語言會議、外語直播、客戶支援等場景
  • 透過 Qwen.ai 網站即可開啟試用，毋須額外安裝

項目主頁

Categories: 阿里巴巴, AI productions, 模型, 多模態模型, Qwen, API, Video, 語音

TypeSafe AI 推出 Jev：為軟件自動化而生的全新決策模型類別

Share to X Facebook

你可以把它理解成專為自動化而設計的「函式呼叫模型」：接收未結構化狀態、輸出帶概率的型別安全決策，速度比通用 LLM 快兩個數量級。

Og image

TypeSafe AI 公開了首款 System One Model Jev，走出一條與通用聊天模型完全不同的路線。常見大型語言模型擅長生成自然語言，但要嵌入軟件流程就得花工夫解析、回傳值還可能出錯；Jev 索性放棄字串生成，把所有可能輸出預先定義成型別，模型只負責在這些選項之間做機率決策，因此不可能出現型別錯誤，也不會「講大話」。

這個模型採用平行取樣（parallel sampler），所有輸出分支一次過生成而非逐 token 推播，速度比同類智能水平的 LLM 快大約一百倍。訓練方法稱為 RLCD（Reinforcement Learning for Calibrated Decisions），目標是讓模型給出「知道自己有多肯定」的機率分數。

創辦人 Diogo Almeida 曾在 OpenAI 參與 ChatGPT 背後的研究，他指出 chat 模型爆紅多年，自動化領域卻幾乎沒有同樣突破，因此希望用專門為軟件決策設計的架構填補這個缺口。Jev 目前以早期試用形式開放，介面相當於一個「前沿智能函式呼叫」。

重點摘要：

  • 定位差異：放棄字串生成，只輸出預定義的型別安全結構化值，杜絕型別錯誤與幻覺。
  • 速度優勢：平行取樣設計令推理速度比同級 LLM 快約一百倍。
  • 訓練方法：採用 RLCD，著眼於校準過的機率分數而非人類偏好或可驗證獎勵。
  • 輸出形式：所有答案附帶置信度分數，方便軟件直接消化。
  • 存取方式：早期試用已開放，可透過官方網站加入候補名單。

項目主頁

Categories: 模型, 軟件, 安全, AGI

HyperFlow 自蒸餾影片生成省六成推論成本 – MiniMax-H3 八步出片

Share to X Facebook

Video Rebirth 推出嘅 HyperFlow 係一個針對 MiniMax-H3 嘅 8 步 LoRA 適配器，透過 data-free flow self-distillation 將 50 步推論壓到 8 步，仲行得喺官方 diffusers Modular Pipeline 之上。

Repository image for Video-Rebirth/hyperflow

影片生成模型一直面對一個現實樽頸：想要更高品質，就要更多 sampling steps，亦意味住更長嘅等待同更高嘅運算成本。Video Rebirth 推出嘅 HyperFlow 就直接針對呢個取捨落手，喺 MiniMax-H3 官方權重之上加一個 8 步 LoRA（PEFT，rank/alpha 256，覆蓋 attention、feed-forward 同兩組 time embedder），將官方 50 點 sigma schedule 嘅 49 次前向推論壓到 8 次，而且唔需要額外訓練資料。

你可以把它理解成一個「加速層」：base weights、VAE、conditioner 同 t2va、fl2va、ref2va 三種 workflow（全部對應影片加音訊）都維持官方版本，呢個項目只負責載入 LoRA、兩個 time embedder 同固定嘅 8 步 sigma grid。官方修訂號、權重路徑、適用範圍等資料都收錄喺 hyperflow.json manifest 入面。LoRA 喺 Hugging Face 開源，授權沿用 MiniMax H3 Community License，呢個倉庫就提供 loader 同 example scripts，透過 hyperflow_blocks("fl2va") 等 API 直接接入 diffusers Modular Pipeline。

HyperFlow 嘅特點係 data-free：模型自己產生候選影片、篩走不合格嘅、然後用通過嘅樣本做 self-distillation，屬於佢哋 RSI（Recursive Self-Improvement）訓練範式嘅 self-distillation 部分。對比一般影片生成流程，呢種做法唔需要額外收集標註資料，亦唔需要人手標籤。實際運行時仲可以選擇加裝 NVIDIA Sol-Attn sparse attention（PyTorch ≥ 2.10、CUDA ≥ 12.8、Triton ≥ 3.6，支援 SM80–SM120），官方聲稱喺 H200 上比 dense attention 快約 13%，並可透過 Ulysses context parallel 擴展至最多 4 張 GPU。

對想用 MiniMax-H3 出片、又希望壓低推論時間嘅團隊或獨立開發者嚟講，HyperFlow 提供咗一個直接掛載嘅方案；對研究自蒸餾或自改進路線嘅從業者嚟講，佢亦係一個具體嘅開源參考。需要注意嘅係 num_inference_steps 唔應該手動指定，步數同 sigma grid 都由權重檔案內置決定。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 視頻模型, NVIDIA, Video, Audio, Python, 庫, MiniMax

XGEN-JING 世界模型開源：邊走邊生成影片與音效

Share to X Facebook

XGEN Labs 把互動式第一人稱世界模型 JING 開源：輸入動作與參考圖，就能邊走邊生成對應影片與環境音效，等於把世界模型變成可即時體驗的 demo。

過往的世界模型 demo 多半停留在「按一個鍵播一段片」，XGEN-JING 想把互動感再推一步：鍵盤操作鏡頭、輸入文字引導角色對話，模型即時生成第一人稱影片與配對音訊，並以參考圖約束人物、物件與場景的一致性。這個項目是一個以 MiniMax-H3 為骨幹的 egocentric interactive experience 模型，屬於世界模型 / 互動影片生成一類，目標是讓「在同一個起點做出不同選擇」這件事變得可視聽。

XGEN-JING 的核心差異在「四步雙向推論」與即時性：JING-Flash-v1 用四個步驟完成推論，再把動作、觀察歷史、參考圖同時餵進去生成下一段片段；鏡頭移動、物件互動、人物對話都由文字與按鍵驅動，而畫面與聲音同步輸出，所以更像「邊走邊生成」而不是「先想好再剪片」。

Step Into a World That Responds | XGEN Labs

這版本同時提供 Inference code、examples 與 Prompt skills，後者可以從故事與參考圖自動生成經過驗證的推論案例，降低試錯成本；但因果模型與技術報告尚未釋出，想深入架構細節的人需要再等等。硬件門檻亦偏高：項目方以六張 H100 做驗證，其中一張跑 text encoder、一張跑影音 VAEs、四張跑 DiT 加 sequence parallelism，並指定 FlashAttention-4 為預設後端。

以下幾類人會比較快從中受惠：做世界模型研究、需要互動 demo 的研究者；做遊戲 / VR / 沉浸式敘事、需要快速產出第一人稱體驗的開發者；以及關心 video generation xa in 2026 路徑、想理解「影片 + 音訊 + 動作」三軸如何耦合的團隊。對一般玩家或創作者而言，Hugging Face 上的模型頁與 xgenlabs.ai gallery 已足夠先看 demo，再決定是否投入本地部署。

重點摘要

  • JING 是以 MiniMax-H3 為基礎的第一人稱互動體驗模型，支援鍵盤控鏡、文字對話與參考圖約束。
  • JING-Flash-v1 以四步雙向推論同時生成影片與音效，比單向生成更貼近即時體驗。
  • 官方硬件門檻為六張 H100（1 text encoder + 1 VAEs + 4 DiT），預設 FlashAttention-4，後端依賴 SGLang 特定 commit。
  • Prompt skills 可從故事與參考圖自動產生驗證過的推論案例，方便快速試玩法。

項目主頁 · GitHub · 模型 · 影片集

Categories: 開源, AI productions, 模型, 視頻模型, 世界模型, Google, NVIDIA, Video, Audio, Content Creator, MiniMax, Skill 技能
Page 21 of 59
1 … 19 20 21 22 23 … 59