Gamer:把畫面觀察變成連續遊戲操作

Gamer 把看畫面、記住進度與按鍵操作串起來。解謎成績有進步,但測試結果仍不足以保證穩定通關。

Repository image for RainBowLuoCS/Gamer

Gamer 能按遊戲畫面發出鍵盤與滑鼠操作,並把先前經歷納入下一步決定。這個 Vision-Language-Action(VLA)模型把視覺、語言與動作連起來,處理需要持續操作的遊戲任務。對研究遊戲代理的團隊而言,它的價值在於將觀察、記憶與控制放進同一條工作流程。

操作節奏是 Gamer 最具辨識度的部分。畫面以 5 Hz 採樣,模型每個 200 ms interval 預測一次滑鼠位移,以及六個連續的 33 ms key-state blocks,也就是逐段指定按鍵狀態。這讓它支援 30 Hz control,無需 separate action head,即額外負責輸出動作的模組;但控制頻率不能當成每秒重新看畫面的次數。

長任務需要保留進度,否則舊畫面離開可讀取的內容範圍後,先前探索便難以延續。Gamer 的記憶會保留已完成目標、失敗嘗試、重要位置、資源及剩餘計劃。推理、記憶更新與操作共用 autoregressive output sequence,即模型逐步產生同一串輸出,讓行動可以接續先前的決策。

Gamer-SFT 是經 Supervised Fine-Tuning(SFT)訓練的版本,Gamer-RL 則再經 Online Reinforcement Learning(RL)改善操作策略。在七類解謎、四十個未參與訓練的測試任務中,兩者的 macro-average success rate 分別為 39.2% 與 49.7%,相差 10.5 percentage points。這個指標給每類謎題相同權重;兩個版本都曾在全部七類成功解題,但不代表每類都能穩定完成。

  • 輸入除了當前畫面,還包括任務、觀察歷史與記憶。
  • 輸出涵蓋按鍵狀態、滑鼠移動及滾動,可表達連續操作。
  • 觀察頻率與控制頻率不同,解讀即時能力時需要分開看。
  • 記憶保留失敗嘗試,讓後續決策能參考先前探索。
  • 解謎成功率反映指定測試範圍,不能直接當成任意遊戲的通關率。

即時互動也取決於推理服務能否及時送出動作。Streaming-vLLM 跨輪次重用每個 client 的 Key-Value(KV)cache,即保留先前計算結果,並在整段輸出完成前發送已驗證的動作區塊。連同針對模型架構的運算優化,H200 Mixture-of-Experts(MoE)workload 的端到端 request latency 由 1,306 ms 降至 65.12 ms;這是指定硬件與工作負載的結果,不能套用到其他配置。

當任務超出已測試的解謎類型,或環境變化快於畫面觀察節奏,可靠性便需要重新驗證。後者尤其涉及操作期間能否及時取得新畫面,單靠提高按鍵輸出頻率不足以證明能應付。即使在已報告的測試範圍,Gamer-RL 的成功率仍只有 49.7%,因此較適合研究與受控測試,不宜直接承諾無人監督的長時間通關。

準備試驗的團隊可從官方儲存庫 RainBowLuoCS/Gamer 及項目網站 https://mihoyo-gamer.github.io/ 查閱實作。測試需要能提供畫面並接收鍵盤滑鼠操作的遊戲環境,以及承載模型的推理服務;原始資料未交代完整安裝流程、軟件依賴與最低硬件要求,也不足以判斷儲存庫維護節奏。H200 延遲測試只能作效能參考,不能視為最低配置。

題述要求加入的 MiniMax-H3 影像重建與增強定位,並無原始資料支持。感知相似度、結構能量增強、色彩分佈變化、飽和度增強,以及銳利度與高頻細節,都不能列作 Gamer 已驗證的用途。評估此項目時,應以畫面到操作的控制流程、記憶延續能力及遊戲任務成功率作依據。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Image, VLA, 軟件, 庫, MiniMax, 強化學習

MiniMax-H3 LoRA:[特集]讓影片生成更懂運鏡與物件互動

從穩定物件動作到固定首尾畫面的 360° 環繞,這批 LoRA 把 MiniMax-H3 延伸成多種影片工作流。

AVvXsEjfkOvyf5h2H5Z vYu8kIES0pGOidPGIbqyszhocYoXkK67 2yzenUgugZ9qtXe3Hzn5kB0K6Sdy36A78G4DPO1 veLpRRoPuSivw3r4Vdw zSOSgs1

生成影片時,物件可能在動作中複製或互相穿透,鏡頭也未必能按要求回到起點。這批 MiniMax-H3 LoRA 和相關版本,分別處理物件一致性、鏡頭運動、視覺風格,以及音畫同步等需求,讓影片創作可以按任務挑選適合的能力。

其中,H3 Licon VBVR LoRA 把圖片轉成影片,並以專為 H3 重建的 VBVR data 訓練。它著重改善物件在運動期間的連貫性,減少複製、穿透和錯誤重疊,適合需要人物或物件持續移動的 image-to-video(I2V)工作流。它處理的是生成過程中的空間一致性,不代表所有動作都會符合現實物理。

要製作可循環播放的環繞鏡頭,MiniMax-H3 360° Orbit LoRA(FL2VA version)採用另一種約束:同一張圖片同時作為影片的首尾 keyframe。模型需要在兩個相同畫面之間完成 360° 鏡頭環繞,再回到起始視角。相較之下,Reference-to-Video(Ref2V)把圖片當成較寬鬆的參考;First-and-Last-Frame-to-Video(FL2VA)則會固定起始與結束畫面。一般情況下,首尾畫面相同容易令 base model 停在原地,這個 LoRA 專門用來生成兩者之間的運鏡。

風格轉換方面,MiniMax H3 3D Animation Style LoRA 支援 text-to-video(T2V)和 I2V,使用自訂 3D animation dataset 訓練。人類角色建議將 strength 設為 0.8,以兼顧提示詞跟隨和角色一致性;動物、幻想角色或環境則建議 1.0,令 3D 動畫風格更明顯。MiniMax-H3 Anime2Realism 則透過 Ref2V,把動漫圖片轉成寫實真人影片,同時保留角色特徵、姿勢、服裝、構圖、物件、光線和色彩,適合需要延續原有設計元素的風格轉換。

若要替換影片中的人物,MiniMax-H3 Character Swap LoRA 會參考新角色圖片,嘗試在保留原場景的情況下換掉來源影片中的人物。這個實驗版本訓練了 1,000 steps;項目文件稱,本地測試中它比 base model 更能保留背景。不過,動作時間、面部表情和 hard cuts 仍可能不準確,因此較適合先做概念測試,不宜直接假設每個鏡頭都能無縫接合。

需要音訊與影片一同生成時,TaoMate-H3 使用 3-step LoRA,以小段方式同步產生兩者,並可延續生成較長影片。它支援 480p、768p 和 1080p,但須配合原版 TaoMate-H3 model。另有供 ComfyUI 使用的轉換版本,目的是讓既有 MiniMax H3 workflows 更容易載入;這是 checkpoint 轉換,不應與原版模型本身混為一談。

更多的 LoRA 未能盡列,請到 項目主頁

Categories: ComfyUI, AI productions, 模型, 視頻模型, 模型訓練, Video, Image, World-Action Model, Audio, 提示詞, 3D, 動畫, Dataset 數據集, MiniMax, LoRA

rea-video:逐鏡反推還原影片製作路線

將影片拆成拍攝、生成與程式動效等不同做法。rea-video 逐鏡整理畫面、剪接和聲音,輸出可供人閱讀或交給 AI agent 使用的製作方案。

rea-video

一條影片可能混合實拍、AI 畫面、程式驅動的動畫和螢幕錄影,這些製作方法卻各不盡相同。rea-video 是一個強大的影片分析工具,會逐鏡判斷素材類型,再整理重製所需的拍攝、生成或編碼工作;它只提供完整方案,不會直接生成成片。

安裝十分簡單,你只要把本地影片交給能執行命令的 AI agent,例如 Claude Code 或 Codex 輸入 「安裝 https://github.com/JuneYaooo/rea-video,然後拆解這個影片」 ,agent 便可運行分析流程。執行環境需要 ffmpeg 和 Python 3.10+;目前文件沒有列出硬件需求、模型規模或 CLI 版本。分析結果有兩種形式:report.html 或 PDF 方便閱讀,VIDEO.md 則按層整理,讓 AI 只讀取回答問題所需的內容。

它不止能辨認實拍與 AI 生成,也包括 Avatar、3D/動畫、程式模板、螢幕錄影,以及混合剪輯。每個鏡頭會放回原有時間線理解,並可記錄字幕出現時間與樣式、貼圖位置、畫中畫、剪接節奏、音樂和音效落點。若畫面由程式動效構成,結果可整理成 Remotion 項目;字幕則可匯出為 SRT 或 ASS。

這種逐鏡拆解,對想參考短片製作自家廣告的內容團隊尤其實用:先看哪些畫面需要自行拍攝,哪些可用生成模型處理,哪些其實用程式重建更合適。以一段 70 s、12 個鏡頭的產品宣傳片為例,83% 是程式動效,12% 是螢幕錄影;案例認為整片可用一個 Remotion 項目製作,不必依賴影片模型。這個例子說明,拆解結果可能把製作方向由生成畫面轉向程式編排,但不代表所有宣傳片都適用同一做法。

若要分析實拍、AI 與 3D 畫面的來源,離線工具可先提供判斷,再由 agent 複核有疑問的鏡頭。接駁 Gemini 或 Doubao 等支援影片的模型後,live/AI/3D 判斷會更準確,並能替每個鏡頭加入反推提示詞;不接模型也能運作。燈光分析涵蓋 12 種布置,並可附器材清單,方便把觀察結果轉成拍攝準備。

  • 實拍素材偵測率為 97–99%。
  • 9 段人工標註片段的鏡頭邊界召回率為 95%,精確率為 94%。
  • 按鏡頭時長加權的來源判斷,Tuning set 有 15 個樣本,離線工具結果為 98.3%。
  • Holdout 有 16 個樣本,離線結果列為 99.6%/98.9%;接駁 Gemini 後為 99.6%/99.8%。
  • 10 個重新編碼的 WeChat 影片,離線結果為 88.6%;接駁 Gemini 後為 99.6%,再由 agent 視覺複核則為 100%。
rea-video, 复刻视频神器,8.8k star,解读+实测

這些數字不能直接套用到所有影片。平台重新壓縮會抹去雜訊等判斷線索,令離線工具在 WeChat 影片上明顯吃虧;視覺複核有助恢復準確度,但也表示結果仍需要人或模型檢查。項目提供 eval/RESULTS.md 重現評估;示例影片經重新壓縮後亦可能失去 TikTok/Douyin 平台標籤,因此自行重跑的結果可能與原報告不同。

分析只能從成片線索推斷製作方式,不能保證還原原作者的實際流程。對創作者、影片製作團隊和需要整理拍攝素材的行銷人員來說,它適合用來估算各鏡頭的製作路線與所需素材;最終拍攝、生成和剪輯仍要在其他工具中完成。

項目主頁 · GitHub

Categories: 開源, 字節跳動, Agentic, AI productions, 模型, Gemini, Video, Audio, 提示詞, 工具, Content Creator, 3D, Python, Anthropic, 動畫, 音樂

[技術文章]MEM-SQL:讓歷史 SQL 重用更準更省

MEM-SQL 把已驗證的 SQL 經驗整理成可重用記憶,降低 Text-to-SQL 的生成成本,但複雜組合仍容易失準。

Hugging Face

當新問題只改動日期、篩選條件或報表維度時,重新由自然語言生成整條 SQL 往往會重複消耗推理資源,也可能丟失原有的 join 或計算邏輯。MEM-SQL(Memory-Empowered Text-to-SQL)針對這個場景重用同一資料庫中已驗證的查詢歷史;它不是一個可直接下載的模型權重,而是一套配合 language models 運作的記憶式 Text-to-SQL 方法。項目文件沒有提供可確認的 base model、參數規模、微調方式或 GGUF 量化檔案,因此不能把它當作某個具體模型的 fine-tune 版本介紹。

它的價值集中在準確度與生成成本之間的取捨。HARE(History-AwaRe Text-to-SQL BEnchmark)包含 1,600 項請求,源自四個 datasets 中固定的 823 條已驗證查詢;每項註釋記錄保留了哪些查詢組件、需要哪些修改,並區分整條查詢改編與部分重用,讓測試不再只問「能否由零生成正確 SQL」。在六個 language models 上,Direct Generation 的平均執行準確度為 37.1%,MEM-SQL 提升至 50.0%,平均輸入 tokens 減少 76.6%,平均延遲降低 68.8%。

MEM-SQL 的記憶分成三類:整條查詢範本、可重用的 SQL 區塊,以及由領域概念對應至資料庫結構元素的映射。系統不會盲目採用最細碎的記憶,而是按層次檢查條件;只有當某一層所需的每項要求都找到高於該層門檻的匹配,才會使用該層。這個設計讓「整條查詢可以直接改編」與「只能抽取部分 join 或計算」有清楚區分,也減少把不完整證據硬塞進新查詢的風險。

OSL(On-demand Schema Linking)再補上一個按需要查閱資料庫結構的機制。當沒有任何記憶層符合條件,或生成器判斷檢索到的證據不足時,系統才會查閱 schema;換句話說,schema linking 不再預設覆蓋每個請求。研究把 OSL 套用到另外三種 memory designs,生成成本均有所下降,但準確度是否改善取決於記憶設計,顯示減少輸入內容並不必然帶來更可靠的 SQL。

  • HARE 專門測量改編歷史 SQL 的準確度與成本,涵蓋整條查詢改編及部分重用。
  • MEM-SQL 保存查詢範本、可重用 SQL 區塊,以及概念到 schema 元素的映射。
  • 分層記憶只有在所有條件達到相應門檻時才會啟用。
  • OSL 只在記憶不足或生成器判斷證據不夠時查閱資料庫結構。
  • 平均準確度由 37.1% 升至 50.0%,輸入 tokens 減少 76.6%,延遲降低 68.8%。

MEM-SQL 適合資料庫固定、查詢歷史可靠,而且新請求經常延續既有報表邏輯的工作流。它證明已驗證歷史可以同時改善準確度和成本,但研究結果也清楚表明,記憶如何保存、何時查閱 schema,以及多個組件能否放進新的查詢結構,仍然決定了方法能否穩定擴展。

Paper

Categories: 香港大學, 香港科技大學, 模型, 香港, Discord, LLaMa, Ollama, 庫

LingBot ALOHA:讓動作預測接續執行中的指令

把上一段動作帶入下一次預測,有助安排連續控制;但重疊動作可能重播,接駁機械人仍要處理交接。

Repository image for robbyant-research/Lingbot-ALOHA

讓機械人執行動作期間,同時準備下一段指令,是 LingBot ALOHA 最有辨識度的能力。這套基於 OpenPI、為 Mobile ALOHA 改編的策略訓練與推論程式碼,將 Real-Time Chunking(RTC)的 prefix conditioning 接到 JAX π₀.₅ 模型,並支援合併多個 LeRobot datasets 訓練,適合已有機械人資料和控制系統的研究團隊。

RTC 會把上一段預測中的部分動作,放到下一段預測開頭作為參考,讓模型接着已有計劃往下生成。訓練時,開頭保留不加噪音的動作,後段才加入噪音並計算 flow-matching loss;開頭只提供條件,不計入損失。這把「接續動作」納入訓練過程,但項目文件描述的支援限於 JAX π₀.₅,未證明 PyTorch 路徑具備等效能力。

執行端的 RTCActionChunkBroker 每次回傳一個 action,並在舊動作段仍在執行時,非同步要求新預測。交接未必無縫:切換時會從新動作段的 index 0 開始,沒有跳過已用作條件的 prefix,因此重疊期間執行過的動作可能重播。對需要連續移動或精確協調的任務,團隊應先檢查交接位置的指令序列;文件沒有提供足以量化這個問題影響的測試結果。

多資料集訓練則把資料整理方式直接變成訓練取捨:MultiVLADataset 將影格串成共同索引,再打亂抽樣,沒有獨立的 dataset-weight 參數,也不會自動平衡來源。項目文件的例子中,A 有 10,000 個影格、B 有 30,000 個影格,預期混合比例約為 25% A、75% B。較小資料集即使包含重要任務,也不會因此獲得更多抽樣機會,資料量本身便影響模型接觸各類示範的頻率。

能夠串接資料,不代表能直接混用不同機械人的紀錄。各資料集的 feature dimensions、camera conventions、action ordering、units 和 task meanings 必須一致,否則相同欄位可能代表不同動作或觀察,串接流程不會替團隊調和差異。這令它較適合同一套機械人規格下累積的多批資料;跨硬件整合仍須先處理資料定義,不能單靠增加路徑完成。

  • RTC 把前一段預測帶入下一段,將動作接續納入模型條件。
  • 非同步取得新預測可與舊動作執行重疊,但交接可能重播動作。
  • 多資料集按影格量參與抽樣,來源比例需要自行管理。
  • 資料欄位、單位及動作含義須一致,合併不會自動完成對齊。
  • 發布內容只有 source code,資料與模型資產均須另外準備。

要驗證這套流程,團隊須自行提供 datasets、pretrained weights 和 trained checkpoints,不能下載後便直接重現已訓練策略。訓練配置需要 π₀.₅ 初始 parameters 及 tokenizer assets,也可改用本地 parameters 目錄。合理的試驗順序是先核對資料定義及抽樣比例,再測試新舊動作段交接,避免把資料混合問題與控制時序問題混在一起判斷。

執行環境支援 Ubuntu 22.04 與 NVIDIA Graphics Processing Unit(GPU),依賴透過 uv 管理,定義保存在 pyproject.toml 和 uv.lock。上游列出的 full fine-tuning 單 GPU 記憶體需求約為 70 GB,而 RTC 範例正是採用 full fine-tuning;這只能作資源規劃參考,實際用量仍取決於配置,不能視為本項目的實測要求。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 模型, 多模態模型, 模型訓練, NVIDIA, 香港, Linux, Python, Dataset 數據集, Tokenize

WVY-Blender-5m:把文字變成可編輯的動畫場景

只用 525 萬參數,把文字要求接駁至 Blender 建場景;能力邊界取決於預設物件與動作。

Og image

輸入「機械人在滑板上跳舞」,WVY-Blender-5m 便可預測場景指令,再由配套 Blender builder 建立可編輯的三維動畫。這款小型語言模型由 Starpower 從零訓練,並非基於其他 base model 微調;它將文字理解與場景製作分工,讓使用者保留物件、材質、鏡頭及動畫關鍵影格,繼續在 Blender 修改。

模型負責選擇場景指令的 token,解譯器執行指令,程序化程式則提供幾何形狀與動畫。例如「把狗改成藍色」會轉成指定物件及顏色的編輯操作;Blender 問答則導向 119 個預先撰寫的知識主題。成品能力因此同時依賴模型與建構程式,不能單憑示範影片推斷模型能自由創作任何物件。

  • 支援 126 類角色與物件、29 種動作及 24 種場景設定,亦可處理天氣、光線與鏡頭運動。
  • 後續指令可改顏色、加入或移除物件,以及調整取景,適合反覆修改場景。
  • 目前生成風格化程序場景,不支援圖片輸入、任意新網格生成或數值旋轉指令。
  • 模型有 525 萬參數,checkpoint 約 21 MB;小檔案體積不等於 Blender 渲染只需同等記憶體。

訓練資料是英文提示與精簡場景指令的配對,共有 111.2 萬組:54 萬組建場景、25.2 萬組編輯,以及 32 萬組問答路由。初次訓練使用 90 萬組資料,記錄 12,000 次更新;擴充資料後再訓練 4,500 次,每批 96 組,但不能據此認定每筆資料均被讀取。圖片、影片與網格屬系統輸出,並非視覺訓練輸入。

示範片段每段 5 秒、每秒 12 格,屬經挑選的例子,並不保證重現所有要求;demo_manifest.json 收錄提示、解碼後場景規格及 checkpoint 雜湊值,可供核對。較合理的試用方向是詞彙範圍內的動畫草稿與場景編輯,並逐項檢查物件關係及動作是否符合指令。

模型

Categories: AI productions, 模型, 模型訓練, Video, Image, Robotic, 3D, LLaMa, Ollama, Python, 動畫

Poki:AI 直接操作 iPhone 真實 App

Poki 把 AI 任務帶進 iPhone 的實際操作流程,能看畫面、點按和輸入;代價是畫面會傳給所選模型服務,敏感操作亦須仔細設定確認方式。

Poki icon

Poki 最不同之處,是 AI 不只在聊天視窗提供建議,而會直接讀取 iPhone 畫面,在真實 App 內點按、輸入和捲動。它是一款 iPhone 操作工具,處理的是跨 App 執行任務這一步;例如查天氣後回覆結果,也可以透過 Action Button、Siri 捷徑或語音對話發出任務。它會在 Dynamic Island 和鎖定畫面呈現執行步驟,付款、刪除資料及 Wallet 操作必須先獲確認,其他敏感操作的確認方式則由使用者設定。

Poki 的取捨在於,它能直接替你操作,也因此不是只讀取公開資料的問答工具。訊息可以真的送出,付款指令也會影響真實帳戶;同時,螢幕內容會傳送到你設定的模型服務。開始前應先確認使用的服務、資料傳送方式和核准設定,尤其不宜把密碼或私人內容交給未核實的服務。

安裝需要 Mac 或 Windows 電腦和 USB 數據線,透過 Poki Setup 將 App 安裝到 iPhone,首次使用要按 iOS 提示信任開發者並開啟 Developer Mode。安裝完成後,任務在手機上執行,不必一直連接電腦;但免費 Apple Account 的簽署有效期只有 7 日,須由 Poki Setup 定期續期,或在手機登入帳戶續期。開始操作前還要準備模型帳戶或 API key;可連接 OpenAI、Anthropic、Gemini、DeepSeek、OpenRouter,亦支援自建的 OpenAI-compatible server。語音對話另需語音模型金鑰。

目前的實機驗證範圍仍窄:項目文件稱已在使用中文介面的 iPhone、直向模式完成驗證,測試集中於 iOS 27,橫向模式不支援。iOS 18 至 26 採用 XCTest (XCTest) 測試工作階段控制介面,文件未列出這些版本的實機驗證結果;iPad 也未經實機測試。使用前還要在 iPhone 設定能把 10.7.0.1 路由回手機的 VPN,這增加了安裝門檻,也令不熟悉網絡設定的人較難自行排查問題。

較適合願意測試 iPhone 自動化、又能接受模型服務讀取畫面內容的個人和團隊。它可補上跨 App 操作的空缺,但現階段對 iOS 版本、語言、方向和簽署續期都有要求,不宜當成已廣泛驗證的無人監督助手。部署前可先用不涉及私人資料的任務確認操作結果,再逐步決定哪些動作需要人工核准。

  • 操作範圍:讀取 iPhone 畫面,並在其他 App 內點按、輸入及捲動。
  • 安裝方式:經 Mac 或 Windows 電腦安裝;日常任務在 iPhone 執行。
  • 模型選擇:使用者提供模型帳戶或 API key,亦可連接 OpenAI-compatible server。
  • 安全邊界:付款、刪除及 Wallet 操作必須確認;螢幕內容會傳送至所選模型服務。
  • 驗證限制:目前實機驗證集中於 iOS 27、中文介面及直向模式,免費帳戶簽署每 7 日到期。

GitHub

Categories: 開源, 模型, OpenAI, DeepSeek, Gemini, API, 工具, Mac, 語音, 安全, Anthropic, 蘋果

screenwriting-skills:把劇作方法拆成 26 個 Agent 技能

一套供 Claude Code 與 OpenAI Codex 共用的劇作技能庫,涵蓋結構、人物、對白及電視策劃,並以 47 本書與 23 部劇作整理出可執行的方法。

Repository image for jtydhr88/screenwriting-skills

劇作家教與 AI 之間一直有種微妙的距離:前者提供判斷與取捨,後者擅長把要求變成文字。screenwriting-skills 選擇讓 AI 補上前者,把劇作、電視寫作與戲劇理論拆成 26 個 Agent 技能,直接處理結構設計、人物衝突、對白修訂和劇集企劃,而不是只提供一份「寫劇本」的通用提示詞。

這是一套 Agent 技能庫,不是另一個劇本生成模型。它把 47 本劇作技術書與 23 卷中、美、英、日、韓的公開劇本、劇評及戲曲資料濃縮成可由代理程式按需調用的工作流程。電影項目可用一般戲劇理論、劇本格式與改編方法;劇集則再加上季與集結構、故事引擎、編劇室運作等媒體專屬層次。

它與一般提示詞最明顯的分別,在於能連同術語一起工作。logline、act out、beat sheet、showrunner 等概念會對回原始英文,避免不同中文譯名造成理解偏差;遇上沒有直接對應的詞,例如戲眼、扣子或日語的ト書き,便保留原詞再附解釋。技能本體以中文撰寫,但用戶用英文、日文、韓文或法文提問,代理程式便以相應語言回覆,劇本本身也不會因討論語言而被迫轉換。

安裝並不複雜。Claude Code 可以經插件市集、個別使用者或指定項目三種方式載入;Codex 則可從同一套插件市場安裝,也能把技能放入通用技能目錄。檔案依循 agentskills.io 標準,沒有綁定特定代理程式,因此同一份技能檔可跨 Claude Code、Codex,以及其他支援該格式的工具使用,不必為每個平台各維護一套內容。

這套設計也有明確的代價。非中文讀者若要核查技能如何定義流程,便要依賴代理程式的解釋;團隊成員之間也很難像查閱英文文件那樣直接審核同一條規則。項目早前曾保留英文版,但多語版本一旦分叉,便需要持續同步修改,最終選擇以單一中文來源配合執行時多語輸出。

  • 26 個技能覆蓋一般戲劇理論、電視劇集、舞台劇與不同地區的編劇實務
  • sw-workflow 負責統籌項目階段、交付物與各技能之間的銜接
  • sw-series-structure 處理集數劃分、幕結構、資訊投放與季終收束
  • sw-dialogue 與 sw-scene-craft 分別針對對白和場景推進提供修訂框架
  • 同一套技能檔可同時供 Claude Code 與 OpenAI Codex 使用

適合進修編劇課程的學生、獨立編劇、劇集策劃人,以及需要在團隊內統一結構語言的編劇室。對已經熟悉劇作理論的人,它更像一套可查閱、可組合的工作手冊;對初學者,則能提供一條由企劃到修訂的清晰路徑,但生成結果仍要經人手判斷,不能把節拍表或人物弧線直接當成好劇本的保證。

GitHub

Categories: 開源, Agentic, 模型, OpenAI, 提示詞, 框架, 工具, 庫, Anthropic, Skill 技能

music-skill:MIDI 音樂生成可編輯樂譜

music-skill 會實際寫出和弦、聲部與編曲,並能檢查和修正。不靠音訊生成模型,而是由 Agent 寫作音符,再經取樣樂器播放、混音及母帶處理,輸出可修改的 MIDI 與分軌。

music-skill

music-skill 是一套 Agent Skill,把「生成一段音樂」改成較接近作曲與小型錄音室的工作:Agent 逐個寫出音符,檢查樂譜,再以取樣樂器播放,經過混音和母帶處理輸出成品。它不直接生成聲音,也不涵蓋歌唱或歌詞;核心產物包括 MP3、WAV、MIDI、各聲部 stem,以及可以改音符後再次渲染的項目檔案。

Agent 可以調整「某個和弦的 voicing(和弦聲位)」,表示它不是只填一組和弦名稱,而是會安排實際音符。所以,你可以要求它例如:「用 C 大調寫一段 I–vi–IV–V 的進行,鋼琴右手彈分解和弦、左手低音,弦樂做 pad,並避免平行五度」,它將會完成對應的檢查與修改機制。

它具備基本的和聲與聲部寫作檢查:

  • Review 會標出聲部之間持續的小二度與九度不協和音程。
  • 它會辨識和弦外音,並區分經過音、掛留音及其他裝飾音;若某個和弦外音沒有以級進解決,也會提出來。
  • 它會檢查獨立聲部之間的平行五度、平行八度,以及過低音域的緊密音程

使用時需要先把 Agent Skill 安裝到支援該技能的環境,再依賴 Surge XT 播放樂器。渲染器可透過 --jobs 控制同時處理的聲部數;合成器或效果器聲部較多時,每個同時渲染的聲部可能佔用約 2 GB 記憶體,記憶體不足便會自動減少並行數量。

这套方法較適合配樂原型、影片音樂初稿,以及需要保留可編輯樂譜的製作流程。項目文件展示六種模型的一次性作品,但沒有提供標準化比較結果;質素評估因此仍要配合實際聆聽,而不能只看輸出格式。

GitHub

Categories: 開源, Agentic, AI productions, 模型, Video, Audio, 提示詞, 音樂, Skill 技能

Gemini for Healthcare:智慧醫療代理與臨床流程整合

Google Cloud 推出醫療專用方案,以 Gemini agent 串接臨床、保險與行政系統,減少資料核對時間並保留人工監督。

醫護與行政團隊面對的其中一項麻煩,是同一個問題往往分散在病歷、保險政策、臨床證據及行政工具內;要取得完整答案,人工需要反覆核對。Google Cloud 推出的 Gemini for healthcare,是把通用 Gemini agent 延伸到醫療場景的專用方案,核心作用是在既有系統之間協調多步工作,並保留人員監督。

這套方案與一般聊天式 AI 的分別,在於它不只回答問題,而是規劃步驟、保留組織脈絡,再按工作需要調度不同模型與工具。醫療團隊可藉此串連臨床、財務和行政流程,例如整理不同就醫階段的病歷、預備診前紀錄,以及處理保險授權等事項。

Gemini for healthcare
  • 跨系統整合病歷、保險政策與臨床證據
  • 沿用企業身分及角色權限,限制資料存取範圍
  • 在原有工具內完成多步任務,減少轉換應用程式
  • 將可驗證證據整理成較完整的行政與決策依據

Google Cloud 指出,臨床人員每週花在人手核對資料的時間接近 28 小時;方案的目標,正是降低這類資料整理成本,同時讓患者更快取得照護及保障方面的答案。

方案已包含精細權限控制、集中政策管理,以及適用於每個 agent、sub-agent 和工作流程的 need-to-know 邊界。對資料高度敏感的醫療機構而言,安全治理並非附加功能,而是能否真正投入日常流程的前提。

項目主頁

Categories: Agentic, 模型, 模型訓練, Google, Gemini, API, 軟件, 工具, Medical醫學, 安全

Page 1 of 192
1 2 3 … 192