music-skill:MIDI 音樂生成可編輯樂譜

music-skill 會實際寫出和弦、聲部與編曲,並能檢查和修正。不靠音訊生成模型,而是由 Agent 寫作音符,再經取樣樂器播放、混音及母帶處理,輸出可修改的 MIDI 與分軌。

music-skill

music-skill 是一套 Agent Skill,把「生成一段音樂」改成較接近作曲與小型錄音室的工作:Agent 逐個寫出音符,檢查樂譜,再以取樣樂器播放,經過混音和母帶處理輸出成品。它不直接生成聲音,也不涵蓋歌唱或歌詞;核心產物包括 MP3、WAV、MIDI、各聲部 stem,以及可以改音符後再次渲染的項目檔案。

Agent 可以調整「某個和弦的 voicing(和弦聲位)」,表示它不是只填一組和弦名稱,而是會安排實際音符。所以,你可以要求它例如:「用 C 大調寫一段 I–vi–IV–V 的進行,鋼琴右手彈分解和弦、左手低音,弦樂做 pad,並避免平行五度」,它將會完成對應的檢查與修改機制。

它具備基本的和聲與聲部寫作檢查:

  • Review 會標出聲部之間持續的小二度與九度不協和音程。
  • 它會辨識和弦外音,並區分經過音、掛留音及其他裝飾音;若某個和弦外音沒有以級進解決,也會提出來。
  • 它會檢查獨立聲部之間的平行五度、平行八度,以及過低音域的緊密音程

使用時需要先把 Agent Skill 安裝到支援該技能的環境,再依賴 Surge XT 播放樂器。渲染器可透過 --jobs 控制同時處理的聲部數;合成器或效果器聲部較多時,每個同時渲染的聲部可能佔用約 2 GB 記憶體,記憶體不足便會自動減少並行數量。

这套方法較適合配樂原型、影片音樂初稿,以及需要保留可編輯樂譜的製作流程。項目文件展示六種模型的一次性作品,但沒有提供標準化比較結果;質素評估因此仍要配合實際聆聽,而不能只看輸出格式。

GitHub

Categories: 開源, Agentic, AI productions, 模型, Video, Audio, 提示詞, 音樂, Skill 技能

Gemini for Healthcare:智慧醫療代理與臨床流程整合

Google Cloud 推出醫療專用方案,以 Gemini agent 串接臨床、保險與行政系統,減少資料核對時間並保留人工監督。

醫護與行政團隊面對的其中一項麻煩,是同一個問題往往分散在病歷、保險政策、臨床證據及行政工具內;要取得完整答案,人工需要反覆核對。Google Cloud 推出的 Gemini for healthcare,是把通用 Gemini agent 延伸到醫療場景的專用方案,核心作用是在既有系統之間協調多步工作,並保留人員監督。

這套方案與一般聊天式 AI 的分別,在於它不只回答問題,而是規劃步驟、保留組織脈絡,再按工作需要調度不同模型與工具。醫療團隊可藉此串連臨床、財務和行政流程,例如整理不同就醫階段的病歷、預備診前紀錄,以及處理保險授權等事項。

Gemini for healthcare
  • 跨系統整合病歷、保險政策與臨床證據
  • 沿用企業身分及角色權限,限制資料存取範圍
  • 在原有工具內完成多步任務,減少轉換應用程式
  • 將可驗證證據整理成較完整的行政與決策依據

Google Cloud 指出,臨床人員每週花在人手核對資料的時間接近 28 小時;方案的目標,正是降低這類資料整理成本,同時讓患者更快取得照護及保障方面的答案。

方案已包含精細權限控制、集中政策管理,以及適用於每個 agent、sub-agent 和工作流程的 need-to-know 邊界。對資料高度敏感的醫療機構而言,安全治理並非附加功能,而是能否真正投入日常流程的前提。

項目主頁

Categories: Agentic, 模型, 模型訓練, Google, Gemini, API, 軟件, 工具, Medical醫學, 安全

PhysLoop:讓影片生成模型自行修正物理錯誤

PhysLoop 以大型語言模型的物理認知驅動影片生成與修復,嘗試減少碰撞、堆疊和物件互動中的不合理畫面。

WeChat contact QR code

PhysLoop 是一套結合大型語言模型(Large Language Model,LLM)與物理模擬的影片生成研究框架,專門處理生成影片中物件碰撞、掉落、堆疊及互動失真的問題。它把影片規劃、執行、驗證與修訂串成閉環,讓模型不是一次生成便交差,而是按物理規律反覆檢查結果。

  • 以 LLM 的物理知識規劃生成、驗證及修訂流程
  • 支援文字轉影片與圖片轉影片案例
  • 涵蓋撞球、多米諾、衣物擺動及連鎖反應等場景
  • 計劃發布 PhysLoop-Gen、PhysLoop-Repair 評測資料集與 PhysLoop-100K 訓練資料

與只靠擴大影片生成模型參數的做法相比,PhysLoop 把改進焦點放在生成後的物理驗證與局部修正,取捨是需要額外模擬、規劃及檢查成本。其公開案例涵蓋台球入袋、網籃接球、磁鐵移除金屬底座、吊飾倒下等互動,可從多個角度比較結果,但項目文件未提供完整評測數據或重現套件,因此目前較適合理解為研究原型,而不是已可直接安裝使用的成熟產品。

儲存庫已整理環境、案例規格、執行與重播方式,以及測試和資料集說明;不過程式碼仍待公司政策審批,PhysLoop-Gen、PhysLoop-Repair 評測資料集和 PhysLoop-100K 訓練資料亦未完成發布。現階段可先閱讀論文與公開示範,之後再按工程文件設定 Unreal Engine 環境並執行案例。

研究團隊、影片生成模型開發者,以及需要處理物理互動內容的動畫與廣告製作團隊,可從中取得方法與資料規劃的參考;開發者則要預留模擬器整合、案例調試及模型訓練資源。

項目主頁 · GitHub

Categories: 開源, 北京大學, 字節跳動, AI productions, 模型, 模型訓練, Video, Image, 框架, 庫, 動畫, Dataset 數據集

G-STAR:把圖像生成壓縮至 2.5 秒

G-STAR 以更短 token 序列配上足夠的離散編碼,加快自迴歸圖像生成,同時兼顧重建、理解與編輯能力。

G-STAR sample: magazine cover with a portrait and typography

G-STAR 是一套離散自迴歸圖像生成框架,處理的是圖像 token 太長會拖慢生成、壓縮得太狠又會令每個 token 承載不足的取捨。它把空間壓縮與 Product Quantization(PQ)的群組大小一起調整,再以半自迴歸方式處理群組內的編碼關係,目標是在 1024 × 1024 輸出下縮短解碼時間,同時保住圖像細節與文字排版。

它與同類方案的分別,在於沒有單靠增加序列長度換取還原品質,而是讓每個位置保留更多離散碼。項目以 32× tokenizer 在 ImageNet 512² 重建達到 25.12 dB PSNR;有效 64× 版本為 23.90 dB,接近 Open-MAGVIT2 16× 的 23.98 dB。這表示 G-STAR 的進步不只是速度,而是讓深度壓縮後仍可交出穩定的視覺表示。

  • 32× 與有效 64× 空間壓縮,縮短自迴歸序列。
  • discrete f32g16 tokenizer 在八項理解基準平均 64.7,與連續視覺特徵的 64.6 相若。
  • Flash-1.7B 在單張 H200 上生成 1024² 圖像約需 2.5 秒。
  • G-STAR-Pro-8B 在 GEdit-Bench 英文完整集錄得 7.45,可支援場景保留、風格轉換及文字替換。

對需要大量生成內容的服務商而言,較短序列可減少逐步解碼成本;想試用可從 Hugging Face 模型與瀏覽器示範開始,正式部署前則要按硬件、模型尺寸及 32× 或 64× 壓縮設定衡量取捨。它提供的是研究框架與模型資源,而非一鍵式圖像產品,實際吞吐量仍會受硬件和工作流影響。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 北京大學, 清華大學, 模型, Qwen, Image, 框架, 香港, 工具, Tokenize

Duo:讓模型在對話中即時插嘴及回應

Duo v1 是螞蟻集團(Ant Research)開 Apache 2.0 授權的全雙工互動世界模型,主分支提供離線研究流程,vLLM-Omni 與 SGLang-Omni 分支則走向線上即時串流。

Duo

先聽你說一半被打斷,然後繼續講——這種像真人對話的互動,一直是擴散模型(diffusion model)難以處理的部分。Duo v1 由 inclusionAI 團隊推出,是一個 Reciprocal World Model(互惠世界模型),把「智能」與「物理現實」放在同一個世界裡看待:一邊持續感知影音輸入,一邊即時回應,讓 spontaneous conversation(自發對話)與插話打斷自然發生。

這是一個模型加推論管線的開源項目,Apache 2.0 授權。跟純文字對話模型最大的不同,是它把「決定要不要參與」與「決定要說什麼、發出什麼聲音」拆成兩個模組,交錯在同一條時間線上運作,因此不需要等使用者講完才回話。

要做到這一點,技術上用了三招:

  • 自迴歸建模處理持續互動的推理與參與決策,而不是把生成限制在指令理解
  • 分塊條件與跨塊 token 同步,加上模組專屬的 attention mask,確保因果依賴關係,讀不到未來的輸入
  • 雙重 rollout 蒸餾,用自迴歸生成的 Intent token 與合成的影音歷史訓練,緩解兩個模組之間的 distribution shift

模型權重在 Hugging Face 公開:Duo-1.0 causal base、distill、quantized,以及 Duo-1.2 causal base,同時附上離線推論程式碼給研究用。想線上部署的話,vLLM-Omni 與 SGLang-Omni 兩條分支提供加速的即時串流流程,vLLM-Omni 是官方推薦的那條。

硬體門檻不低:參考離線配置需要兩張 CUDA GPU,一張給 Intent 與 codecs、另一張給 Realization,另有記憶體要求;離線環境還要把模型與語音環境分開,因為 qwen-asr 綁定了特定版本的 Transformers。

要留意的是,這仍是 preview 版本,目前只支援基本影音對話,官方表示新版會陸續推出。適合關注實時語音互動、數碼人(digital human)、陪伴式 agent 的團隊,以及做世界模型、串流推論與語音多模態研究的實驗室。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 數字人, 模型, 多模態模型, 世界模型, 模型訓練, Qwen, NVIDIA, Video, Audio, 語音, Dataset 數據集

Pinky:讓 AI 操作手機而風險審批留在你手上

Pinky 是一個手機操作工具與 MCP 伺服器,讓 AI Agent 真正點擊 iPhone 或 Android,同時把付款、刪除等高風險決定交回用戶審批。

pinky macos 1024

讓 AI 替你點開手機 App、下單、回覆訊息,真正難處不在模型識字,而在誰有權按下最後一按。Pinky 是一款原生桌面工具兼 MCP(Model Context Protocol)伺服器,透過電腦連接 iPhone 與 Android,讓 Claude Code、Claude Desktop、Codex、Cursor 或自訂 Agent 操作真實手機;手機端另有原生 App,選用模型後可脫離電腦執行。

它取捨明確:Agent 可以行動,但安全規則由 Pinky 的 gateway 執行,不靠提示詞要求模型「小心」。付款、交易、轉帳預設等待確認,發送訊息、下單、刪除、致電、安裝、外部連結與系統設定亦可納入審批。銀行、錢包及密碼管理 App 預設不可見,密碼及一次性驗證碼欄位禁止輸入,避免 Agent 自行取得敏感資料。

  • 連接方式:支援 macOS、Windows、Linux,可控制 Android 10 至 17 及 iOS 17.4 以上裝置
  • 接入模型:涵蓋 DeepSeek、Qwen、Kimi、GLM、Claude、GPT、Gemini,以及 Ollama 或 LM Studio 的本地模型
  • 運行方式:可從電腦操作,也能在手機 App 內直接安排任務或定時執行
  • 安全邊界:每個新 Agent 都要獲批准,並只取得你授權的範圍
  • 稽核紀錄:保留逐步說明、截圖及螢幕錄影,並可輸出 HTML 報告

與單靠 Agent 自身安全提示的做法相比,Pinky 把審批放在控制層,而非寄望模型每次都聽話。代價是首次設定需要配置裝置、Agent 與權限;iOS 17.4 至 26 要從 Mac 以 Xcode 安裝手機端程式。iPhone 與較舊 Android 仍使用主螢幕,Android 13 以上則可讓 Agent 在隱藏第二屏操作,減少打斷。

原生視窗由 MyGo 在 GPU 上繪製,沒有 Electron 或 WebView,Mac 版下載約 16 至 22 MB,閒置時約佔 70 MB 記憶體及 0% CPU。桌面版可從官方發行頁下載;手機控制功能需要手機與電腦配對。想做跨裝置自動化、研究手機 Agent,或需要保留人工確認與完整操作紀錄的團隊,會較容易感受到它的價值。

GitHub

Categories: 開源, Agentic, MCP, 模型, Qwen, DeepSeek, Gemini, 提示詞, 工具, IDE, Mac, Linux, Ollama, 安全, Anthropic, Kimi

Sophon-Realtime:全雙工語音模型聽懂語氣並自然插話

一套開放的全雙工語音模型,會一邊聽、一邊判斷應何時回應,並用笑聲、嘆氣等副語言表達情緒。

Sophon-Realtime v1: hears your tone, speaks with one

Sophon-Realtime v1 是一套開放的全雙工語音模型系列,處理的核心不只是「聽懂字句」,還包括判斷對方是否仍在說話、語氣帶來了甚麼訊息,以及何時該插話或讓出話輪。

模型共有 Tag、Flash 與 E2E 三個版本,共享同一個 32B 大腦;分別之處在於文字回覆如何轉成聲音。Tag 由表現力較強的語音模型演出笑聲、嘆氣、呼吸等標記,Flash 以約 3.5 億參數的輕量語音模型加快輸出,E2E 則直接生成連續聲音向量。

這套設計的特別之處,在於語氣理解與說話方式各自有專責模型:DuplexJev 負責判斷語音決策,底層 32B 模型則理解內容、決定回覆及生成文字。相較只依賴文字提示控制語氣的做法,它能從停頓、強調、諷刺、笑聲和嘆氣中抽取副語言訊號。

  • VoiceBench 得分 82.8,Big Bench Audio 得分 81.8,在開放全雙工模型中居首
  • 副語言理解取得 48.6 分,高於 Gemini 3.8 Flash 的 46.9 與 Qwen3-Omni 的 44.6
  • 首次語音輸出約需 0.25 秒,Flash 版本約 0.31 秒
  • Full-Duplex-Bench v3 工具呼叫 Pass@1 為 48%,回應率達 100%
  • 支援中英文,以及意大利文、德文、西班牙文、法文和葡萄牙文

測試可透過 Hugging Face、ModelScope 或線上示範進行,另設有 OpenAI GPT-Live 相容格式的託管 API;項目文件亦提供模型下載與快速開始指引。對需要自然對話的陪伴角色、客服、車載語音介面及角色原型團隊而言,較易體現價值;Live 模式亦可把對話交由較大的後端模型處理工作。

取捨同樣清楚:模型規模與運算需求不會因「即時」而消失,語氣生成效果也取決於所選版本及演出模型。雖然每段回覆附有可查核的文字紀錄,但官方數據仍以指定評測基準為主,跨語言口音、複雜噪音與真實電話線質下的表現,仍需用實際場景驗證。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Qwen, OpenAI, Gemini, API, Audio, 工具, 語音

ZONOS3-Mini:離線零樣本網頁版語音複製模型

Zyphra 的多語言 TTS 模型以 1 億個活躍參數結合瀏覽器、Mac 與 GPU 部署路徑,讓聲音複製更貼近本機應用。

Repository image for Zyphra/ZONOS3-Mini

語音複製要落地,難處往往不在模型能否說話,而在聲音能否即時產生、私密保留,以及部署是否依賴昂貴伺服器。ZONOS3-Mini 是一款零樣本 Text-to-Speech(TTS,文字轉語音)模型,正把這些條件放到同一個較輕量的設計裡。

它的總參數量約 8 億,但每次推理約啟動 1 億個參數;架構結合 gated-DeltaNet 與每四層一組 global attention,再以 latent Mixture of Experts(MoE)節省計算。模型輸出 dual-codec 音訊碼,再由因果式 multi-resolution iSTFT 解碼器轉成 44.1 kHz 聲音。

  • 聲音來源:可用短參考片段直接複製,也可配合 192 維 MECT-B2 speaker embedding。
  • 文字處理:採用 SuperBPE 文字 token,支援多語言輸入及文字正規化。
  • 部署路徑:NVIDIA GPU 可用 CUDA,Apple Silicon Mac 可用 MLX,一般裝置則可選 ggml。
  • 瀏覽器版本:透過 WebGPU 在瀕覽器內執行,不需安裝伺服器。
  • 介面統一:各後端沿用相同 HTTP API,可配合 Zonos Voice Studio 或離線 Python API。

與 ZONOS2 相比,ZONOS3-Mini 的取捨很明顯:前者以 8B 參數及 86 Hz codec 換取品質與推理表現,新版則把總量、編碼頻率與運算成本一併壓低。代價是它仍屬較新的小模型,實際語氣、跨語言一致性與長時間朗讀質素,仍須按應用場景自行比較,而不能只靠模型規模判斷。

團隊稱模型使用 112 張 NVIDIA H100 訓練 2.5 天,並提供 ZTTS2-Eval 等評測入口。對內容製作、遊戲原型、語音助理及需要本機處理的團隊而言,ZONOS3-Mini 的吸引力在於聲音素材不必長期寄存在雲端;惟正式採用前仍應測試目標語言、版權與參考錄音品質。

項目主頁 · GitHub · 模型

Categories: 開源, 文字轉語音, Embedding, 模型, 模型訓練, Google, NVIDIA, OpenAI, API, Audio, Mac, Python, 語音, 蘋果

TailSteer:減少多輪圖像編輯漂移

TailSteer 是圖像模型的後訓練方法,專注改善連續編輯時的細節累積偏差,同時保留原有生成與編輯能力。

TailSteer trajectory mark

連續修改同一張圖時,模型常會在前幾輪表現良好,之後卻逐步改變人物外觀、背景或物體關係。TailSteer 是一種圖像模型後訓練方法,針對這種多輪編輯漂移,在保留原有文字轉圖像與單輪編輯能力的同時,提升長程修改的穩定性。

它的取捨不是加入全新的推理模組,而是把介入放在模型生成軌跡的尾段:早期保留基礎模型已學到的生成動態,後段再引導結果走向較穩定的終點。官方已提供 FLUX.2 [klein] Base 9B、SenseNova-U1.5-8B-MoT 與 Qwen-Image-2.1 的版本,後續仍沿用原有架構、sampling pipeline 及官方模型載入方式。

  • 以 SFT、RL 或 OPD 後的模型作為起點,進行最後階段訓練
  • 減少連續編輯、參考圖運動及多圖合成造成的累積漂移
  • 保留 text-to-image 與單輪編輯表現,避免大幅削弱基礎模型能力
  • 提供 TailSteer-Source 與 Add & Preserve Bench 資料集供訓練及評估
  • 已發布模型權重,可透過原有介面更換 model ID 或路徑

Add & Preserve Bench 以 100 張圖片及十輪連續編輯測試保留能力;官方亦涵蓋一般多輪編輯評估,並以相同 prompt 與 seed 比較視覺結果。項目文件聲稱,部分長程保留表現可接近或超越 GPT-Image-2.5 Sunburst,但這些結果仍應按官方測試協定解讀。

適合反覆修圖的商品視覺、角色設定稿及需要維持參考一致性的團隊會較易受益。訓練者亦可從來源資料、trajectory caching、訓練與評估流程自行微調;代價是需要準備後訓練環境,而模型權體與 GPU 資源仍取決於所選基礎模型。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 模型, 模型訓練, Qwen, Google, NVIDIA, Stable Diffusion, Image, World-Action Model, txt2img, 蘋果, Dataset 數據集, 強化學習

PAN 2:讓代理先預演行動再決定下一步

PAN 2 可把圖片、文字與行動指令轉成最長 20 秒的影片,協助代理比較不同方案可能帶來的結果。

PAN 2

PAN 2 把「如果採取這個行動,會發生甚麼」變成可觀看的影片。這個由 MBZUAI 基礎模型研究所(Institute of Foundation Models,IFM)開發的世界模型(world model),會接收現有畫面、可選文字描述及以文字表達的行動,模擬最多 20 秒的變化,方便代理(agent)先比較不同選擇再採取行動。

它的設計取捨在於把語意與視覺分工處理。大型語言模型(large language model,LLM)負責理解情境、列出事件時序與鏡頭運動,再由 latent diffusion model 把結構化描述轉成影片;當中的 29B 參數 MMDiT(Multimodal Diffusion Transformer)負責細節生成。這種安排不是單靠影片模型猜測物理與因果,而是先建立可檢查的行動與時間關係。

目前模型可透過 Hugging Face、Diffusers 與 vLLM 使用,亦有本地部署文件,毋須自行拼接推理流程。不過 29B 參數版本對 GPU 記憶體和運算資源要求不低,影片生成速度亦會限制逐個方案試算的實務節奏。

PAN 2 採用的 Generative Latent Prediction(GLP)架構,源自《Critique of World Models》研究;模型資料頁亦涵蓋多步計劃、人手評估、安全護欄與已知訓練限制。

  • 輸入可包含圖片、文字及文字行動描述
  • 模擬影片長度可達 20 秒
  • LLM 負責概念推理,latent diffusion model 負責視覺生成
  • 29B 參數模型提供公開權重與部署路徑

研究團隊、影片生成開發者,以及需要預先推演操作後果的 robotic(機器人)與 Agentic 系統團隊,都可把 PAN 2 當作方案評估工具。

GitHub · 模型

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Google, NVIDIA, Video, Image, Robotic, 工具, 安全, 蘋果

Page 1 of 191
1 2 3 … 191