Wizard:讓 AI 即時改動遊戲世界與戰鬥規則

Wizard 讓玩家用指令改變場景、角色和戰鬥狀態,再即時生成連貫影片。它適合探索互動遊戲原型與可控世界模型的創作方式。

favicon

改變地形、召喚敵人,甚至令角色變身,Wizard 都能把這些操作整合到即時遊戲畫面中。這個世界模型項目以代理控制修改遊戲狀態,再由影片生成模型呈現變化,目標是讓互動不只限於移動角色,也能改動環境與戰鬥規則。

使用者可透過按鍵、文字指令或單張畫面控制世界。場景幾何、角色骨架、動作和戰鬥狀態會分開記錄,因此系統可以處理平台升降、地面變形、角色攻擊與受傷等變化;影片生成器則以每秒 24 幀輸出畫面。項目亦稱,展示中的場景和角色都是模型未曾見過的內容。

整個流程分成快速建置和遊戲期間的控制。建置階段會重建場景與角色、配置骨架並整理動作;遊戲期間,代理更新幾何、動作和戰鬥狀態,再交由 Wan2.2-TI2V-5B 生成影片。文字指令會轉成幾何操作程式,戰鬥則由狀態追蹤、攻擊規劃和規則控制器處理。

• 適合想測試可互動遊戲場景、角色動作及戰鬥變化的研究者與創作者。
• 可用文字指令、按鍵或畫面輸入控制世界,也能比較生成影片與場景代理畫面。
• 每秒 24 幀生成,並以兩步去噪處理;項目描述的建置階段少於五分鐘。
• 程式碼尚未公開,現有資料亦未提供下載或使用流程。

Wizard 把可明確追蹤的遊戲狀態與即時影片生成結合,適合探索「能否直接操控世界規則」這類互動設計。它的應用仍受限於目前展示和程式碼尚未開放的狀態,外部使用者暫時難以自行驗證或整合。

項目主頁

Categories: 騰訊, Agentic, AI productions, 模型, 視頻模型, 世界模型, Qwen, Video, Image, 框架, Content Creator, 動畫

IIT:讓小學生用簡單指令與 AI 對話

香港小學將逐步引入 IIT,讓七歲學生以簡單提示或指令與 AI 交流。

Og image

七歲學生將有機會用簡單提示或指令,與人工智能(artificial intelligence,AI)作簡單「對話」;香港小學由 2028 年 9 月起逐步引入 Information and Innovation Technology(IIT)新科目,回應數碼素養、創意及創新科技學習需要。

課程《Information and Innovation Technology Curriculum Framework for Primary Schools (Provisional Draft)》,AI 是其中一項重點。學生先認識相關技術,再以簡單命令與 AI 互動,學習重點不只接觸工具,也包括培養好奇心及對創新科技的興趣。

對學校而言,IIT 提供一個讓學生較早接觸 AI 的課程位置;對學生而言,互動形式把抽象的 AI 概念拉近到提問、下指令和接收回應等熟悉行為。資料未有交代課堂會採用哪些 AI 系統、設備、評核方式或具體教學活動,亦未提供安裝、下載或使用流程。

  • 由 2028 年 9 月起在香港小學逐步推行
  • 學生年紀可低至七歲
  • 以簡單提示或指令與 AI 作基本互動
  • 目標包括提升數碼素養、創意及對創新科技的興趣

目前公布內容屬臨時課程框架草案,實際推行安排仍可能隨後續課程設計而調整。家長、教師和教育科技項目策劃者可先把它視為小學 AI 素養教育的方向訊號,但現有資料不足以判斷課程深度或學生可使用的系統範圍。

項目主頁

Categories: 框架, 教學, 香港, 工具, 新聞, 中國

HDR mini-skill 讓 AI 片由 SDR 轉為 HDR

纯 ffmpeg + 自己生成的 3D LUT,不依赖 zscale / libplacebo / drawtext(Homebrew 的 ffmpeg 常常没带)。

Repository image for limin112/min-skill

把普通(SDR)視頻或其中一段,轉成 10-bit HEVC / HLG / BT.2020 的 HDR 文件:在 HDR 屏幕上,雲、太陽、水面反光、 金屬高光會“發光”。還能做左右對比:同一個文件里左邊 SDR、右邊 HDR。

  • 輸出 HLG HDR、10-bit HEVC 及 SDR/HDR 對比片。
  • 效果取決於素材。 米色卡片、文字、PPT 這類畫面轉成 HDR 只是把“紙”變亮,不適合。
  • 只有在 HDR 屏(Mac XDR、iPhone)上用 QuickTime 才有效果;普通播放器里會發灰、紅偏橙,這是正常的。
  • 原片已經是 HDR 的,腳本會拒絕(退出碼 2)。
  • 沒在真正的 HDR 屏上做過觀感驗證,也沒驗證過上傳各平台後是否保持 HDR;詳見 SKILL.md 末尾“已驗證 / 沒驗證”。

GitHub

Categories: 開源, 文字轉語音, AI productions, 數字人, 模型, Video, 框架, 工具, Content Creator, 3D, 庫, 語音, Anthropic, MiniMax, Skill 技能, LoRA

XR Blocks:把構想變成可互動空間

先在電腦試玩,甚至可戴上頭戴裝置驗證互動,空間應用原型不必一開始就靠硬件測試。

Og image

想製作可伸手操作的立體教材或遊戲原型,XR Blocks 可配合 Gemini,把文字描述轉成延展實境(Extended Reality,XR)應用;它是開源框架,不是獨立模型。

框架以 WebXR、three.js 及 LiteRT.js 為基礎,整合環境感知、手部互動與物理效果。配套工作流把程式範本和專用系統提示交給 Gemini,減少模型自行猜測介面。

Build XR without code: XR Blocks is now in Google AI Studio
  • 教學:製作可操作的幾何模型與物理實驗。
  • 設計:快速測試空間介面及手勢互動。
  • 遊戲:驗證物件與雙手、環境碰撞的玩法。

Google AI Studio 支援在瀏覽器內建立及預覽應用,毋須先安裝本地開發工具。電腦可用 Chrome 執行模擬器;沉浸式測試則需要 Android XR 頭戴裝置,例如 Samsung Galaxy XR,以及支援 WebXR 的 Chrome 136 或以上版本。

原連結未能讀取完整內文,本文以官方文件補充;文件沒有列出最低記憶體或顯示卡要求,不能據此保證所有電腦都能流暢運行。

項目主頁

Categories: 開源, 模型, Google, Gemini, 框架, 教學, 工具

Work Agents 將數碼工作拆成可驗證成果

跨應用程式完成工作,不能只看模型答得對不對;Work Agents 把代理流程、能力與可驗證成果放進同一研究脈絡。

Work Agents: Systems, Capabilities, and Optimization

當 AI 要跨應用程式完成多步工作,交付可核實、能供後續使用的成果,比單次答對更重要。Work Agents 是配合調查研究整理的開源閱讀清單,收錄數碼工作代理的系統、訓練、環境、記憶、基準與官方資源,並非可直接安裝的代理軟件。

研究以工作持續性(work persistence)和工作開放性(work openness)描述工作條件,並分成對話(Conversation)、單一步驟(Atomic Action)、多步(Multi-step)、工作流程(Workflow)及工作區(Workspace)五類。它也梳理 foundation models(基礎模型)與 runtime harnesses(執行時框架)的單獨或協同優化,評估則聚焦成果能否符合要求並供下游使用。

你可由 GitHub 清單挑選論文、基準和工具;暫未有可直接執行的代理或統一安裝、測試流程,不能當成部署指南。

  • 整理代理系統、訓練方法、環境與記憶研究
  • 涵蓋五類數碼工作及相關評測資源
  • 比較模型、執行框架及兩者的協同優化
  • 以可驗證、能供下游使用的成果作評估焦點

產品團隊和自動化流程負責人可用它整理能力缺口與評測方法。清單沒有同一環境下的性能數字,具體效果仍要回到各研究與工具核實。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港大學, 香港科技大學, 清華大學, Agentic, 模型, 模型訓練, 框架, 香港, 軟件, 工具, 庫

World-in-Context 讓世界模型即時切換視角

操控生成影片時,切換第一人稱、第三人稱與自由鏡頭,畫面仍要延續同一個世界。World-in-Context 以共享控制機制處理這項挑戰。

Alibaba Token Hub

想在生成影片中移動鏡頭、改變觀看角度,甚至在第一人稱與第三人稱之間切換,畫面仍須保持連貫。World-in-Context(WiC)是為互動影片世界模型而設的訓練框架,目標是讓視角、動作和鏡頭控制在同一段影片中協同運作,而不是各自處理。

WiC 以 Wan2.2-TI2V-5B 作為基礎模型,透過 In-Context Conditioning(ICC)把視角、動作與鏡頭控制轉成共享注意力空間中的 tokens;Interaction-Transport RoPE(IT-RoPE)則把累積的控制變化納入時間注意力。這讓系統可支援自由鏡頭、第一人稱及第三人稱視角,也能在影片進行中切換,適合研究互動式場景生成、遊戲環境及長時間因果推演。

在 WBench 評測中,WiC 的導航平均分為 81.5,視角切換成功率為 93.8%。這些結果反映它能處理導航與鏡頭切換,但不能單憑分數判斷生成影片在所有場景都同樣穩定;GPU 記憶體需求亦會隨影片尺寸和設定改變。

目前程式碼、訓練程式及 WiC 權重仍在審核,尚未公開,因此現階段無法自行安裝並重現推理結果。計劃中的版本要求 Linux、Python 3.10,以及支援 BF16 的 NVIDIA GPU;預設生成設定為 832×480、81 幀、16 FPS 和 50 個採樣步驟,並預計提供 11 個包含起始圖片、提示詞與控制資料的範例。

  • 以 Wan2.2-TI2V-5B 為基礎,加入 WiC adapter。
  • 同一影片支援自由鏡頭、第一人稱與第三人稱視角。
  • WBench 導航平均分 81.5,視角切換成功率 93.8%。
  • 程式碼與權重尚未公開,現時未能重現結果。

對研究影片生成、虛擬環境導航或互動遊戲場景的團隊而言,WiC 提供一條把鏡頭與動作控制合併訓練的路線;但在公開程式碼和權重推出前,這些能力仍主要停留在研究成果與展示範例,還不能直接納入工作流程測試。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, AI productions, 模型, 世界模型, 模型訓練, NVIDIA, Video, Image, 提示詞, 框架, 3D, Linux, Python

AstrBot:把聊天平台接入大模型

AstrBot 將聊天平台、模型服務與插件串成一個可管理的 AI 助手項目,適合想自建聊天機械人的團隊。

Featured|HelloGitHub

想在 QQ 等聊天平台加入 AI 對話、插件功能和自訂服務,AstrBot 提供的是一套可自行運行的開源框架,而不是單一模型。項目以 Python 3.12+ 為基礎,將訊息接收、模型呼叫及擴充功能放進同一個工作流,減少團隊自行黏合多個服務的工作量。

簡單講係一個「將 AI 接入通訊軟件」嘅開源平台:你可以將雲端或本機大模型,接駁 Telegram、Discord、LINE、Slack、企業微信等平台,變成可以聊天、查知識庫、使用工具同執行任務嘅 AI 助理。佢本身唔係大模型,而係負責整合模型、訊息平台、插件同 Agent 功能。

  • 適合建立個人助理、社群機械人及內部聊天工具
  • Python 生態方便加入自訂插件與外部 API
  • 支援多語言文件,方便跨地區協作
  • 需要自行處理模型服務、平台帳戶及運行環境

相比直接使用封閉式聊天服務,AstrBot 把控制權交回管理者,換來較高的設定彈性和維護成本。它較適合有基本 Python 能力、需要掌握資料流向,或希望按團隊需求改造聊天機械人的使用者;只想即時開啟對話服務的人,則要先考慮環境配置和平台整合工作。

項目本身屬於聊天機械人框架,實際解決的是訊息平台與大型語言模型之間的整合問題。項目提供版本、文件、路線圖及 Issue Tracker 等入口。

GitHub

Categories: 開源, 模型, API, 框架, 工具, Python

StateTree-Representation:讓 LLM 壓縮後仍保留 BF16 精度

StateTree 同時壓縮模型權重與 KV cache,減少記憶體佔用之餘,生成結果仍可逐 bit 對齊 BF16。

BF16 and statetree answering the same question side by side in vLLM; statetree finishes first with the identical answer

大型語言模型在長上下文或多請求場景,瓶頸往往不是算力,而是反覆讀取權重和 KV cache。StateTree 以約 12 bits 儲存原本 16-bit 的資料,屬於結合模型表示法與推理引擎的開源項目,處理的是記憶體流量、快取容量與生成速度之間的取捨。

它把每組權重表示成共享離散決策的 state tree,並以 fused CUDA kernels 直接在 vLLM 和 🤗 Transformers 中解碼;KV cache 則以每個 vLLM block 16 tokens、每個 KV head 四組 16 × 64 records 儲存。權重與 cached key/value 都能還原至 exact BF16 bits,不涉及 quantization、calibration 或精度換取壓縮率。

Qwen3-8B 在單張 A100-40GB、vLLM 0.32 的測試中,權重由 15.3 GiB 降至 12.8 GiB,KV cache 每 token 由 144 KiB 降至 112.5 KiB;同一 GPU 預算可容納 1.49 倍 tokens,batch 1 生成速度由 75.6 提升至 97.2 tok/s,完整回答快 1.10 至 1.28 倍。Decode attention 相對 FlashAttention-2 則達 1.21 至 2.46 倍,但結果會受 GPU、批次大小和上下文長度影響。

測試需要 NVIDIA sm_80 或更新架構、CUDA 12.6,以及項目列出的 PyTorch、vLLM 0.32 或 Transformers 5.0 環境;可先用 greedy generation、prefix-cache hit 和長 prompt chunk prefill 對比 BF16。teacher-forced top-1 token 一致率為 97.6% 至 99.8%,差異集中於近似機率的 token,適合重視容量和吞吐、又不能接受量化誤差的推理服務團隊。

  • 權重及 KV cache 均可逐 bit 還原至 BF16
  • 權重佔用減少 24%,KV cache 佔用減少 22%
  • 支援 vLLM fused kernels、paged blocks 和 prefix caching
  • 測試結果涵蓋小 batch、長上下文及多請求情境
  • 需要相容的 NVIDIA GPU、CUDA 與指定框架版本

項目主頁 · GitHub

Categories: 開源, 模型, Qwen, NVIDIA, 框架, Python, 推理引擎

DraMaze 讓長篇微短劇少重複套路,兼顧劇情連貫

長篇微短劇寫到後段,AI 容易反覆使用相似的劇情推進方式。DraMaze 以多個代理人探索不同因果路徑,並按未來劇情需要找回關鍵往事。

Hero image preview

微短劇需要密集轉折,但劇集一長,AI 生成的情節容易逐漸集中在少數套路,例如角色關係反覆靠誤會與澄清推進。DraMaze 是面向長篇劇本生成的多代理人流程,嘗試同時維持故事連貫與情節變化。

常見做法會用歷史摘要、記憶檢索或知識圖譜提供前文脈絡;但檢索到相似經歷,也可能令模型重複舊有因果模式。DraMaze 改用「未來敘事依賴樹」整理往事,按後續劇情目標保留和檢索相關記憶,並透過套路記憶引導的演化樹搜尋與變異,探索不同的因果發展。

研究團隊亦推出雙語評測基準 MiDramaBench,評估不同長度劇本的邏輯與創意,並加入衡量因果模式重複和多樣性的指標。測試涵蓋三個基礎大型語言模型;生成最多 60 集、約 6 萬字劇本時,因果模式重複減少 32.1%,邏輯評分達 82.5 分,較最佳基線高 8.5 分。

  • 面向數十集的長篇微短劇生成,兼顧前後連貫與劇情變化。
  • 依照未來情節需要整理記憶,不只按語意相似度檢索舊內容。
  • 以演化樹搜尋和變異探索不同的劇情因果路徑。
  • MiDramaBench 提供雙語評測,涵蓋邏輯、創意及因果模式多樣性。

對需要批量構思長篇微短劇的編劇與內容團隊,DraMaze 提供一套可評估的生成流程;不過,摘要所列結果集中於特定劇本長度與評測指標,不能單憑這些數字判斷所有題材和創作場景的表現。

GitHub · Paper

Categories: 騰訊, Agentic, 模型, 框架, KnowledgeGraph, 中國, Dataset 數據集

CLI-Anything 讓 AI 代理直接操控軟件

CLI-Anything 把圖像、CAD、3D 等軟件包裝成可供 AI 代理操作的 CLI,打通代理與既有工具之間的斷層。

icon

當 AI 代理需要製作 CAD、3D 場景、圖表、遊戲或字幕,CLI-Anything 會把原本面向人類操作的軟件轉成可調用的 CLI。它屬於開源的 Agentic 工具與 CLI 生成框架,處理的是代理缺乏一致介面、難以持續操作軟件及產出可驗證成果的問題。

項目以 /cli-anything 作為主要入口,並配合預覽、即時預覽及 trajectory loops,讓代理不只發出指令,還能逐步產生和檢查真實 artifact。README 亦列出 Cursor plugin、Hub 及 skills,反映它同時照顧 CLI 生成端和代理使用端;舊版本則可能要改用 /cli-anything:cli-anything。

和只依賴 GUI 操作或個別 API 整合的做法相比,CLI-Anything 嘗試為不同軟件建立較統一的代理介面,方便重用流程,但效果仍取決於每個軟件的 CLI harness 是否完整,以及代理能否正確理解工具狀態。項目提供 CLI-Hub,使用者可瀏覽、安裝及管理社群建立的 CLI;原始資料未交代各 harness 的詳細安裝步驟、資源要求或一致的性能基準。

CLI-Anything: Turn ANY App into a CLI for Claude Code & Codex (GIMP, Blender, LibreOffice & More!)

• 支援把多類軟件轉成 AI 代理可調用的 CLI
• 以預覽與 trajectory loops 協助產生可檢查的成果
• 提供 CLI-Hub 管理社群 CLI
• 適合需要串連設計、製作及自動化流程的團隊
• 仍需逐一確認各軟件 harness 的成熟度

對熟悉 Cursor 或其他代理工作流的開發者,這套方法適合用來延伸圖像處理、CAD、3D 製作及內容生產流程;對只想即時使用單一軟件的使用者,則要先確認所需 CLI 是否已建立及可用。

GitHub

Categories: 開源, 香港大學, Agentic, API, Image, World-Action Model, 框架, 軟件, 工具, IDE, 3D, 編程, Skill 技能

Page 2 of 34
1 2 3 4 … 34