WVY-Blender-5m:把文字變成可編輯的動畫場景

只用 525 萬參數,把文字要求接駁至 Blender 建場景;能力邊界取決於預設物件與動作。

Og image

輸入「機械人在滑板上跳舞」,WVY-Blender-5m 便可預測場景指令,再由配套 Blender builder 建立可編輯的三維動畫。這款小型語言模型由 Starpower 從零訓練,並非基於其他 base model 微調;它將文字理解與場景製作分工,讓使用者保留物件、材質、鏡頭及動畫關鍵影格,繼續在 Blender 修改。

模型負責選擇場景指令的 token,解譯器執行指令,程序化程式則提供幾何形狀與動畫。例如「把狗改成藍色」會轉成指定物件及顏色的編輯操作;Blender 問答則導向 119 個預先撰寫的知識主題。成品能力因此同時依賴模型與建構程式,不能單憑示範影片推斷模型能自由創作任何物件。

  • 支援 126 類角色與物件、29 種動作及 24 種場景設定,亦可處理天氣、光線與鏡頭運動。
  • 後續指令可改顏色、加入或移除物件,以及調整取景,適合反覆修改場景。
  • 目前生成風格化程序場景,不支援圖片輸入、任意新網格生成或數值旋轉指令。
  • 模型有 525 萬參數,checkpoint 約 21 MB;小檔案體積不等於 Blender 渲染只需同等記憶體。

訓練資料是英文提示與精簡場景指令的配對,共有 111.2 萬組:54 萬組建場景、25.2 萬組編輯,以及 32 萬組問答路由。初次訓練使用 90 萬組資料,記錄 12,000 次更新;擴充資料後再訓練 4,500 次,每批 96 組,但不能據此認定每筆資料均被讀取。圖片、影片與網格屬系統輸出,並非視覺訓練輸入。

示範片段每段 5 秒、每秒 12 格,屬經挑選的例子,並不保證重現所有要求;demo_manifest.json 收錄提示、解碼後場景規格及 checkpoint 雜湊值,可供核對。較合理的試用方向是詞彙範圍內的動畫草稿與場景編輯,並逐項檢查物件關係及動作是否符合指令。

模型

Categories: AI productions, 模型, 模型訓練, Video, Image, Robotic, 3D, LLaMa, Ollama, Python, 動畫

Poki:AI 直接操作 iPhone 真實 App

Poki 把 AI 任務帶進 iPhone 的實際操作流程,能看畫面、點按和輸入;代價是畫面會傳給所選模型服務,敏感操作亦須仔細設定確認方式。

Poki icon

Poki 最不同之處,是 AI 不只在聊天視窗提供建議,而會直接讀取 iPhone 畫面,在真實 App 內點按、輸入和捲動。它是一款 iPhone 操作工具,處理的是跨 App 執行任務這一步;例如查天氣後回覆結果,也可以透過 Action Button、Siri 捷徑或語音對話發出任務。它會在 Dynamic Island 和鎖定畫面呈現執行步驟,付款、刪除資料及 Wallet 操作必須先獲確認,其他敏感操作的確認方式則由使用者設定。

Poki 的取捨在於,它能直接替你操作,也因此不是只讀取公開資料的問答工具。訊息可以真的送出,付款指令也會影響真實帳戶;同時,螢幕內容會傳送到你設定的模型服務。開始前應先確認使用的服務、資料傳送方式和核准設定,尤其不宜把密碼或私人內容交給未核實的服務。

安裝需要 Mac 或 Windows 電腦和 USB 數據線,透過 Poki Setup 將 App 安裝到 iPhone,首次使用要按 iOS 提示信任開發者並開啟 Developer Mode。安裝完成後,任務在手機上執行,不必一直連接電腦;但免費 Apple Account 的簽署有效期只有 7 日,須由 Poki Setup 定期續期,或在手機登入帳戶續期。開始操作前還要準備模型帳戶或 API key;可連接 OpenAI、Anthropic、Gemini、DeepSeek、OpenRouter,亦支援自建的 OpenAI-compatible server。語音對話另需語音模型金鑰。

目前的實機驗證範圍仍窄:項目文件稱已在使用中文介面的 iPhone、直向模式完成驗證,測試集中於 iOS 27,橫向模式不支援。iOS 18 至 26 採用 XCTest (XCTest) 測試工作階段控制介面,文件未列出這些版本的實機驗證結果;iPad 也未經實機測試。使用前還要在 iPhone 設定能把 10.7.0.1 路由回手機的 VPN,這增加了安裝門檻,也令不熟悉網絡設定的人較難自行排查問題。

較適合願意測試 iPhone 自動化、又能接受模型服務讀取畫面內容的個人和團隊。它可補上跨 App 操作的空缺,但現階段對 iOS 版本、語言、方向和簽署續期都有要求,不宜當成已廣泛驗證的無人監督助手。部署前可先用不涉及私人資料的任務確認操作結果,再逐步決定哪些動作需要人工核准。

  • 操作範圍:讀取 iPhone 畫面,並在其他 App 內點按、輸入及捲動。
  • 安裝方式:經 Mac 或 Windows 電腦安裝;日常任務在 iPhone 執行。
  • 模型選擇:使用者提供模型帳戶或 API key,亦可連接 OpenAI-compatible server。
  • 安全邊界:付款、刪除及 Wallet 操作必須確認;螢幕內容會傳送至所選模型服務。
  • 驗證限制:目前實機驗證集中於 iOS 27、中文介面及直向模式,免費帳戶簽署每 7 日到期。

GitHub

Categories: 開源, 模型, OpenAI, DeepSeek, Gemini, API, 工具, Mac, 語音, 安全, Anthropic, 蘋果

screenwriting-skills:把劇作方法拆成 26 個 Agent 技能

一套供 Claude Code 與 OpenAI Codex 共用的劇作技能庫,涵蓋結構、人物、對白及電視策劃,並以 47 本書與 23 部劇作整理出可執行的方法。

Repository image for jtydhr88/screenwriting-skills

劇作家教與 AI 之間一直有種微妙的距離:前者提供判斷與取捨,後者擅長把要求變成文字。screenwriting-skills 選擇讓 AI 補上前者,把劇作、電視寫作與戲劇理論拆成 26 個 Agent 技能,直接處理結構設計、人物衝突、對白修訂和劇集企劃,而不是只提供一份「寫劇本」的通用提示詞。

這是一套 Agent 技能庫,不是另一個劇本生成模型。它把 47 本劇作技術書與 23 卷中、美、英、日、韓的公開劇本、劇評及戲曲資料濃縮成可由代理程式按需調用的工作流程。電影項目可用一般戲劇理論、劇本格式與改編方法;劇集則再加上季與集結構、故事引擎、編劇室運作等媒體專屬層次。

它與一般提示詞最明顯的分別,在於能連同術語一起工作。logline、act out、beat sheet、showrunner 等概念會對回原始英文,避免不同中文譯名造成理解偏差;遇上沒有直接對應的詞,例如戲眼、扣子或日語的ト書き,便保留原詞再附解釋。技能本體以中文撰寫,但用戶用英文、日文、韓文或法文提問,代理程式便以相應語言回覆,劇本本身也不會因討論語言而被迫轉換。

安裝並不複雜。Claude Code 可以經插件市集、個別使用者或指定項目三種方式載入;Codex 則可從同一套插件市場安裝,也能把技能放入通用技能目錄。檔案依循 agentskills.io 標準,沒有綁定特定代理程式,因此同一份技能檔可跨 Claude Code、Codex,以及其他支援該格式的工具使用,不必為每個平台各維護一套內容。

這套設計也有明確的代價。非中文讀者若要核查技能如何定義流程,便要依賴代理程式的解釋;團隊成員之間也很難像查閱英文文件那樣直接審核同一條規則。項目早前曾保留英文版,但多語版本一旦分叉,便需要持續同步修改,最終選擇以單一中文來源配合執行時多語輸出。

  • 26 個技能覆蓋一般戲劇理論、電視劇集、舞台劇與不同地區的編劇實務
  • sw-workflow 負責統籌項目階段、交付物與各技能之間的銜接
  • sw-series-structure 處理集數劃分、幕結構、資訊投放與季終收束
  • sw-dialogue 與 sw-scene-craft 分別針對對白和場景推進提供修訂框架
  • 同一套技能檔可同時供 Claude Code 與 OpenAI Codex 使用

適合進修編劇課程的學生、獨立編劇、劇集策劃人,以及需要在團隊內統一結構語言的編劇室。對已經熟悉劇作理論的人,它更像一套可查閱、可組合的工作手冊;對初學者,則能提供一條由企劃到修訂的清晰路徑,但生成結果仍要經人手判斷,不能把節拍表或人物弧線直接當成好劇本的保證。

GitHub

Categories: 開源, Agentic, 模型, OpenAI, 提示詞, 框架, 工具, 庫, Anthropic, Skill 技能

music-skill:MIDI 音樂生成可編輯樂譜

music-skill 會實際寫出和弦、聲部與編曲,並能檢查和修正。不靠音訊生成模型,而是由 Agent 寫作音符,再經取樣樂器播放、混音及母帶處理,輸出可修改的 MIDI 與分軌。

music-skill

music-skill 是一套 Agent Skill,把「生成一段音樂」改成較接近作曲與小型錄音室的工作:Agent 逐個寫出音符,檢查樂譜,再以取樣樂器播放,經過混音和母帶處理輸出成品。它不直接生成聲音,也不涵蓋歌唱或歌詞;核心產物包括 MP3、WAV、MIDI、各聲部 stem,以及可以改音符後再次渲染的項目檔案。

Agent 可以調整「某個和弦的 voicing(和弦聲位)」,表示它不是只填一組和弦名稱,而是會安排實際音符。所以,你可以要求它例如:「用 C 大調寫一段 I–vi–IV–V 的進行,鋼琴右手彈分解和弦、左手低音,弦樂做 pad,並避免平行五度」,它將會完成對應的檢查與修改機制。

它具備基本的和聲與聲部寫作檢查:

  • Review 會標出聲部之間持續的小二度與九度不協和音程。
  • 它會辨識和弦外音,並區分經過音、掛留音及其他裝飾音;若某個和弦外音沒有以級進解決,也會提出來。
  • 它會檢查獨立聲部之間的平行五度、平行八度,以及過低音域的緊密音程

使用時需要先把 Agent Skill 安裝到支援該技能的環境,再依賴 Surge XT 播放樂器。渲染器可透過 --jobs 控制同時處理的聲部數;合成器或效果器聲部較多時,每個同時渲染的聲部可能佔用約 2 GB 記憶體,記憶體不足便會自動減少並行數量。

这套方法較適合配樂原型、影片音樂初稿,以及需要保留可編輯樂譜的製作流程。項目文件展示六種模型的一次性作品,但沒有提供標準化比較結果;質素評估因此仍要配合實際聆聽,而不能只看輸出格式。

GitHub

Categories: 開源, Agentic, AI productions, 模型, Video, Audio, 提示詞, 音樂, Skill 技能

Gemini for Healthcare:智慧醫療代理與臨床流程整合

Google Cloud 推出醫療專用方案,以 Gemini agent 串接臨床、保險與行政系統,減少資料核對時間並保留人工監督。

醫護與行政團隊面對的其中一項麻煩,是同一個問題往往分散在病歷、保險政策、臨床證據及行政工具內;要取得完整答案,人工需要反覆核對。Google Cloud 推出的 Gemini for healthcare,是把通用 Gemini agent 延伸到醫療場景的專用方案,核心作用是在既有系統之間協調多步工作,並保留人員監督。

這套方案與一般聊天式 AI 的分別,在於它不只回答問題,而是規劃步驟、保留組織脈絡,再按工作需要調度不同模型與工具。醫療團隊可藉此串連臨床、財務和行政流程,例如整理不同就醫階段的病歷、預備診前紀錄,以及處理保險授權等事項。

Gemini for healthcare
  • 跨系統整合病歷、保險政策與臨床證據
  • 沿用企業身分及角色權限,限制資料存取範圍
  • 在原有工具內完成多步任務,減少轉換應用程式
  • 將可驗證證據整理成較完整的行政與決策依據

Google Cloud 指出,臨床人員每週花在人手核對資料的時間接近 28 小時;方案的目標,正是降低這類資料整理成本,同時讓患者更快取得照護及保障方面的答案。

方案已包含精細權限控制、集中政策管理,以及適用於每個 agent、sub-agent 和工作流程的 need-to-know 邊界。對資料高度敏感的醫療機構而言,安全治理並非附加功能,而是能否真正投入日常流程的前提。

項目主頁

Categories: Agentic, 模型, 模型訓練, Google, Gemini, API, 軟件, 工具, Medical醫學, 安全

PhysLoop:讓影片生成模型自行修正物理錯誤

PhysLoop 以大型語言模型的物理認知驅動影片生成與修復,嘗試減少碰撞、堆疊和物件互動中的不合理畫面。

WeChat contact QR code

PhysLoop 是一套結合大型語言模型(Large Language Model,LLM)與物理模擬的影片生成研究框架,專門處理生成影片中物件碰撞、掉落、堆疊及互動失真的問題。它把影片規劃、執行、驗證與修訂串成閉環,讓模型不是一次生成便交差,而是按物理規律反覆檢查結果。

  • 以 LLM 的物理知識規劃生成、驗證及修訂流程
  • 支援文字轉影片與圖片轉影片案例
  • 涵蓋撞球、多米諾、衣物擺動及連鎖反應等場景
  • 計劃發布 PhysLoop-Gen、PhysLoop-Repair 評測資料集與 PhysLoop-100K 訓練資料

與只靠擴大影片生成模型參數的做法相比,PhysLoop 把改進焦點放在生成後的物理驗證與局部修正,取捨是需要額外模擬、規劃及檢查成本。其公開案例涵蓋台球入袋、網籃接球、磁鐵移除金屬底座、吊飾倒下等互動,可從多個角度比較結果,但項目文件未提供完整評測數據或重現套件,因此目前較適合理解為研究原型,而不是已可直接安裝使用的成熟產品。

儲存庫已整理環境、案例規格、執行與重播方式,以及測試和資料集說明;不過程式碼仍待公司政策審批,PhysLoop-Gen、PhysLoop-Repair 評測資料集和 PhysLoop-100K 訓練資料亦未完成發布。現階段可先閱讀論文與公開示範,之後再按工程文件設定 Unreal Engine 環境並執行案例。

研究團隊、影片生成模型開發者,以及需要處理物理互動內容的動畫與廣告製作團隊,可從中取得方法與資料規劃的參考;開發者則要預留模擬器整合、案例調試及模型訓練資源。

項目主頁 · GitHub

Categories: 開源, 北京大學, 字節跳動, AI productions, 模型, 模型訓練, Video, Image, 框架, 庫, 動畫, Dataset 數據集

G-STAR:把圖像生成壓縮至 2.5 秒

G-STAR 以更短 token 序列配上足夠的離散編碼,加快自迴歸圖像生成,同時兼顧重建、理解與編輯能力。

G-STAR sample: magazine cover with a portrait and typography

G-STAR 是一套離散自迴歸圖像生成框架,處理的是圖像 token 太長會拖慢生成、壓縮得太狠又會令每個 token 承載不足的取捨。它把空間壓縮與 Product Quantization(PQ)的群組大小一起調整,再以半自迴歸方式處理群組內的編碼關係,目標是在 1024 × 1024 輸出下縮短解碼時間,同時保住圖像細節與文字排版。

它與同類方案的分別,在於沒有單靠增加序列長度換取還原品質,而是讓每個位置保留更多離散碼。項目以 32× tokenizer 在 ImageNet 512² 重建達到 25.12 dB PSNR;有效 64× 版本為 23.90 dB,接近 Open-MAGVIT2 16× 的 23.98 dB。這表示 G-STAR 的進步不只是速度,而是讓深度壓縮後仍可交出穩定的視覺表示。

  • 32× 與有效 64× 空間壓縮,縮短自迴歸序列。
  • discrete f32g16 tokenizer 在八項理解基準平均 64.7,與連續視覺特徵的 64.6 相若。
  • Flash-1.7B 在單張 H200 上生成 1024² 圖像約需 2.5 秒。
  • G-STAR-Pro-8B 在 GEdit-Bench 英文完整集錄得 7.45,可支援場景保留、風格轉換及文字替換。

對需要大量生成內容的服務商而言,較短序列可減少逐步解碼成本;想試用可從 Hugging Face 模型與瀏覽器示範開始,正式部署前則要按硬件、模型尺寸及 32× 或 64× 壓縮設定衡量取捨。它提供的是研究框架與模型資源,而非一鍵式圖像產品,實際吞吐量仍會受硬件和工作流影響。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 北京大學, 清華大學, 模型, Qwen, Image, 框架, 香港, 工具, Tokenize

Duo:讓模型在對話中即時插嘴及回應

Duo v1 是螞蟻集團(Ant Research)開 Apache 2.0 授權的全雙工互動世界模型,主分支提供離線研究流程,vLLM-Omni 與 SGLang-Omni 分支則走向線上即時串流。

Duo

先聽你說一半被打斷,然後繼續講——這種像真人對話的互動,一直是擴散模型(diffusion model)難以處理的部分。Duo v1 由 inclusionAI 團隊推出,是一個 Reciprocal World Model(互惠世界模型),把「智能」與「物理現實」放在同一個世界裡看待:一邊持續感知影音輸入,一邊即時回應,讓 spontaneous conversation(自發對話)與插話打斷自然發生。

這是一個模型加推論管線的開源項目,Apache 2.0 授權。跟純文字對話模型最大的不同,是它把「決定要不要參與」與「決定要說什麼、發出什麼聲音」拆成兩個模組,交錯在同一條時間線上運作,因此不需要等使用者講完才回話。

要做到這一點,技術上用了三招:

  • 自迴歸建模處理持續互動的推理與參與決策,而不是把生成限制在指令理解
  • 分塊條件與跨塊 token 同步,加上模組專屬的 attention mask,確保因果依賴關係,讀不到未來的輸入
  • 雙重 rollout 蒸餾,用自迴歸生成的 Intent token 與合成的影音歷史訓練,緩解兩個模組之間的 distribution shift

模型權重在 Hugging Face 公開:Duo-1.0 causal base、distill、quantized,以及 Duo-1.2 causal base,同時附上離線推論程式碼給研究用。想線上部署的話,vLLM-Omni 與 SGLang-Omni 兩條分支提供加速的即時串流流程,vLLM-Omni 是官方推薦的那條。

硬體門檻不低:參考離線配置需要兩張 CUDA GPU,一張給 Intent 與 codecs、另一張給 Realization,另有記憶體要求;離線環境還要把模型與語音環境分開,因為 qwen-asr 綁定了特定版本的 Transformers。

要留意的是,這仍是 preview 版本,目前只支援基本影音對話,官方表示新版會陸續推出。適合關注實時語音互動、數碼人(digital human)、陪伴式 agent 的團隊,以及做世界模型、串流推論與語音多模態研究的實驗室。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 數字人, 模型, 多模態模型, 世界模型, 模型訓練, Qwen, NVIDIA, Video, Audio, 語音, Dataset 數據集

Pinky:讓 AI 操作手機而風險審批留在你手上

Pinky 是一個手機操作工具與 MCP 伺服器,讓 AI Agent 真正點擊 iPhone 或 Android,同時把付款、刪除等高風險決定交回用戶審批。

pinky macos 1024

讓 AI 替你點開手機 App、下單、回覆訊息,真正難處不在模型識字,而在誰有權按下最後一按。Pinky 是一款原生桌面工具兼 MCP(Model Context Protocol)伺服器,透過電腦連接 iPhone 與 Android,讓 Claude Code、Claude Desktop、Codex、Cursor 或自訂 Agent 操作真實手機;手機端另有原生 App,選用模型後可脫離電腦執行。

它取捨明確:Agent 可以行動,但安全規則由 Pinky 的 gateway 執行,不靠提示詞要求模型「小心」。付款、交易、轉帳預設等待確認,發送訊息、下單、刪除、致電、安裝、外部連結與系統設定亦可納入審批。銀行、錢包及密碼管理 App 預設不可見,密碼及一次性驗證碼欄位禁止輸入,避免 Agent 自行取得敏感資料。

  • 連接方式:支援 macOS、Windows、Linux,可控制 Android 10 至 17 及 iOS 17.4 以上裝置
  • 接入模型:涵蓋 DeepSeek、Qwen、Kimi、GLM、Claude、GPT、Gemini,以及 Ollama 或 LM Studio 的本地模型
  • 運行方式:可從電腦操作,也能在手機 App 內直接安排任務或定時執行
  • 安全邊界:每個新 Agent 都要獲批准,並只取得你授權的範圍
  • 稽核紀錄:保留逐步說明、截圖及螢幕錄影,並可輸出 HTML 報告

與單靠 Agent 自身安全提示的做法相比,Pinky 把審批放在控制層,而非寄望模型每次都聽話。代價是首次設定需要配置裝置、Agent 與權限;iOS 17.4 至 26 要從 Mac 以 Xcode 安裝手機端程式。iPhone 與較舊 Android 仍使用主螢幕,Android 13 以上則可讓 Agent 在隱藏第二屏操作,減少打斷。

原生視窗由 MyGo 在 GPU 上繪製,沒有 Electron 或 WebView,Mac 版下載約 16 至 22 MB,閒置時約佔 70 MB 記憶體及 0% CPU。桌面版可從官方發行頁下載;手機控制功能需要手機與電腦配對。想做跨裝置自動化、研究手機 Agent,或需要保留人工確認與完整操作紀錄的團隊,會較容易感受到它的價值。

GitHub

Categories: 開源, Agentic, MCP, 模型, Qwen, DeepSeek, Gemini, 提示詞, 工具, IDE, Mac, Linux, Ollama, 安全, Anthropic, Kimi

Sophon-Realtime:全雙工語音模型聽懂語氣並自然插話

一套開放的全雙工語音模型,會一邊聽、一邊判斷應何時回應,並用笑聲、嘆氣等副語言表達情緒。

Sophon-Realtime v1: hears your tone, speaks with one

Sophon-Realtime v1 是一套開放的全雙工語音模型系列,處理的核心不只是「聽懂字句」,還包括判斷對方是否仍在說話、語氣帶來了甚麼訊息,以及何時該插話或讓出話輪。

模型共有 Tag、Flash 與 E2E 三個版本,共享同一個 32B 大腦;分別之處在於文字回覆如何轉成聲音。Tag 由表現力較強的語音模型演出笑聲、嘆氣、呼吸等標記,Flash 以約 3.5 億參數的輕量語音模型加快輸出,E2E 則直接生成連續聲音向量。

這套設計的特別之處,在於語氣理解與說話方式各自有專責模型:DuplexJev 負責判斷語音決策,底層 32B 模型則理解內容、決定回覆及生成文字。相較只依賴文字提示控制語氣的做法,它能從停頓、強調、諷刺、笑聲和嘆氣中抽取副語言訊號。

  • VoiceBench 得分 82.8,Big Bench Audio 得分 81.8,在開放全雙工模型中居首
  • 副語言理解取得 48.6 分,高於 Gemini 3.8 Flash 的 46.9 與 Qwen3-Omni 的 44.6
  • 首次語音輸出約需 0.25 秒,Flash 版本約 0.31 秒
  • Full-Duplex-Bench v3 工具呼叫 Pass@1 為 48%,回應率達 100%
  • 支援中英文,以及意大利文、德文、西班牙文、法文和葡萄牙文

測試可透過 Hugging Face、ModelScope 或線上示範進行,另設有 OpenAI GPT-Live 相容格式的託管 API;項目文件亦提供模型下載與快速開始指引。對需要自然對話的陪伴角色、客服、車載語音介面及角色原型團隊而言,較易體現價值;Live 模式亦可把對話交由較大的後端模型處理工作。

取捨同樣清楚:模型規模與運算需求不會因「即時」而消失,語氣生成效果也取決於所選版本及演出模型。雖然每段回覆附有可查核的文字紀錄,但官方數據仍以指定評測基準為主,跨語言口音、複雜噪音與真實電話線質下的表現,仍需用實際場景驗證。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Qwen, OpenAI, Gemini, API, Audio, 工具, 語音

Page 1 of 191
1 2 3 … 191