Rapid-MLX：加快 Apple Silicon 的本地編程代理

2026 年 11 月 4 日 Share to X Facebook Copy link

想讓 Codex、OpenCode、Claude Code 等編程代理使用本地模型，又不想犧牲回應速度與工具呼叫能力？Rapid-MLX 提供兼容 OpenAI 和 Anthropic API 的推理服務器，專為 Apple Silicon 設計。

在 Mac 上用本地模型操作 Codex、Claude Code 或 OpenCode，回應速度和代理能否可靠呼叫工具都會影響工作流程。Rapid-MLX 是建基於 MLX、面向 Apple Silicon 的開源大型語言模型（LLM）推理服務器，讓多款編程代理透過兼容 OpenAI 與 Anthropic 的介面連接本地模型。

它與直接使用 Apple 的 MLX（mlx-lm）相比，主打更快的生成速度和編程代理所需的工具呼叫能力；同一模型、同一組權重下，項目報告最高可達 4 倍解碼速度，典型任務約快 1.5 倍。比較結果會受模型、任務和硬件影響，不能視為所有情況都能達到的速度提升。

測試資料包括 Mac mini M4 Pro 上的 Qwen3.5-9B 4-bit，以及 Mac Studio M5 Max（36 GB）上的多款 Qwen 模型。Rapid-MLX 的 Qwen3.5-9B 解碼速度為每秒 115.5 個 token，oMLX 為 77.9，LM Studio 為 81.0；但測試只記錄單次執行，並使用各服務器的預設模式，因此數字適合參考，不宜直接當作全面排名。

安裝後選用支援的編程代理，再以 rapid-mlx launch 啟動即可；同一指令可重複使用，移除 Rapid 的私人設定檔也不會改動 Codex 原有設定。首次回覆可能較慢，因為模型需要下載或載入，也可能要處理代理的開場提示詞。項目要求使用 M 系列 Mac，目前沒有 Windows 或 Linux 桌面版本。

• 支援 Codex、Claude Code、OpenCode、Pi、Hermes、Crush 和 Goose。
• 提供兼容 OpenAI 與 Anthropic 的 API，並著重可靠的工具呼叫。
• 可按模型和任務查看速度比較，項目亦提供測試方法與原始數據。
• 首次回覆可能受模型下載、載入及提示詞處理時間影響。
• 僅支援 Apple Silicon；不適合需要 Windows 或 Linux 桌面版本的團隊。

需要在 Mac 上運行本地模型、又希望保留編程代理工作流程的開發者，可以用 Rapid-MLX 測試常用模型與任務，再決定速度提升是否足以配合硬件需求。模型仍須在本機下載和載入，選擇時應一併考慮記憶體容量及首次啟動等待時間。

GitHub

Categories: 開源, 模型, Qwen, 提示詞, 工具, Mac, 編程, 蘋果

---

[技術文章] 影片生成的背後故事：Kling 的多模態理解觀察與見解

2026 年 11 月 4 日 Share to X Facebook Copy link

影片生成的瓶頸正由畫面渲染轉向語意控制。Kling 團隊拆解資料、提示、對齊與評估環節，說明如何令生成結果更貼合使用者意圖。

當影片生成要跟從複雜描述、維持人物與物件一致，單靠提升畫面品質並不足夠。Kling 團隊的技術報告聚焦多模態理解，分析資料、條件輸入、對齊和評估如何共同影響生成結果，適合關注可控影片生成的研究者與產品團隊參考。

研究以 Kling-MLLM 為共用基礎模型，處理圖片、影片、音訊、同步影音及交錯輸入，再按不同下游任務作專門調整。團隊指出，DiT 的訓練樣本遠少於語言模型，因此字幕不能只求流暢，而要作為高密度的語意契約；延伸出的 reference-grounded captioning，亦會明確標示描述與參考內容的對應關係。

提示詞增強負責把使用者意圖轉成生成模型較能處理的描述分佈。基本方法由優質影片字幕整理而成，再配合文字層面的強化學習及生成器迴圈微調；agentic prompt enhancement 則會進一步整理故事，並檢索具參考價值的例子。報告亦指出，可靠的 text encoder 需要感知訓練，單純提升語言能力並不足夠。

報告涵蓋的技術重點包括：
– 以共享多模態模型支援不同輸入形式及下游模組。
– 用高密度字幕和明確參考綁定，補足訓練語意與素材之間的連結。
– 以可解釋、能定位問題的通用 reward model，配合快速多維評分的 decision reward model。
– 設計任務專用自動評估，揭露評分捷徑，並協助追查上游失誤。

這套思路適合用於影片生成系統的資料整理、提示處理、模型對齊和品質診斷；團隊也強調，感知能力、描述品質與評估協定需要一併設計。內容屬於 Kling 團隊對其多代系統經驗的整理；提供的資料亦未列出可供外部讀者直接重現的完整流程。

Paper

Categories: Agentic, AI productions, 多模態模型, 視頻模型, 模型訓練, Video, Image, Audio, 提示詞, 強化學習

---

vibe-knowledge：把知識點做成可查證短片

2026 年 11 月 4 日 Share to X Facebook Copy link

vibe-knowledge 將查證、旁白、逐幀渲染和質檢串成一套對話式短片製作流程，亦把生成成本攤開給你核准。

把一個知識點變成有旁白、逐句附來源的 1080p60 短片，vibe-knowledge 以 Claude Code skill 串起選題、查證、寫稿、配音、程式渲染、OCR 質檢和發布包；它屬於 AI 內容製作工作流項目，處理的是知識內容由文字走到可觀看影片時的流程分散問題。

vibe-knowledge 需與 ai-teardown 一併安裝，後者提供 cine 渲染引擎、工作區及配音腳本。渲染環境需要 Python、NumPy、SciPy、Pillow、Playwright、Chromium headless shell 和 ffmpeg；macOS 的 OCR 質檢則依賴 Vision 及 swiftc。

每次提交生成前，流程會列出鏡頭、模型、提示詞和 estimate cost，等使用者在對話中明確同意才繼續。基礎檔可用 0 積分完成程式插畫版；增強檔加入 Renoise 生成的配圖與 Wan 動態鏡頭，示例《商鞅立木》使用 246 積分，常見檔次約為 25–40、250–300 及 600–700 積分。

• Claude Opus 負責編排，畫面由程式逐幀渲染
• 早期提供古風、星空、像素、字幕新聞等多套風格
• 基礎檔與增強檔可保留同一旁白及腳本作比較
• Release v1.0.0 已提供多段樣片，但未有獨立準確率或品質基準

適合需要持續製作歷史、科普或解釋型短片的內容團隊，尤其重視來源標註、成本審批和可重複流程的工作情境。Renoise 增強檔能擴充視覺效果，代價是積分及外部模型依賴增加；片中亦會標示「AI 示意」，不能當作史實畫面或紀錄片素材直接使用。

GitHub

Categories: 開源, AI productions, 模型, Video, 提示詞, Mac, Python, 新聞, Anthropic, Skill 技能

---

Motion Prompt：萬用 AI Motion Graphic

2026 年 11 月 3 日 Share to X Facebook Copy link

想叫 AI 加入某種鏡頭運動或網頁效果，卻不知道該怎樣描述？Motion Prompt 把名稱、動態示例和提問範本放在一起，方便查找與轉交創作要求。

描述鏡頭運動、動態圖像或網頁效果時，光靠「有感覺一點」往往難以讓 AI 掌握方向。Motion Prompt 是一個創作名稱與示例庫，收錄 192 個名稱，每項附有動態示範、簡短解釋和提問例句，涵蓋動態圖像、鏡頭運動、UI 元件、網站效果和攝影風格。

使用者可在網上 Gallery 播放示例、搜尋名稱，再選取多項並附上備註，將整理好的要求交給 AI；不使用技能時，也可複製提示詞和示例連結。 packs/ 提供五種語言的名稱清單，包括繁體中文。項目亦提供建立自訂領域及語言版本的提示詞；說明了技能安裝方式，但沒有提供完整的手動部署流程。

與只列術語的詞典相比，Motion Prompt 把可觀看的動態參考和可直接改寫的提問放在同一項目；每個示例的參考實作以 Canvas 2D 撰寫，不依賴外部程式庫，並可逐格繪製及用於影片輸出。它提供的是創作參考與溝通素材，不代表不同 AI 模型都能產生相同效果，也沒有提供量化性能評測。

• 可播放示例，並按名稱或編號查找。
• 多選示例、加入備註，再把要求交給 AI。
• 不使用技能時，可複製提示詞及參考連結。
• 提供繁體中文清單，以及製作自訂名稱庫的提示詞。

影片創作者、設計師和需要以 AI 協作的前端團隊，可用它把抽象的視覺想法轉成較具體的術語與參考。若工作流程依賴特定模型或成品品質，仍需自行測試提示詞能否帶出預期結果；現有內容主要是示例庫，並非生成模型或效果保證。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, Video, Image, 提示詞, Content Creator, 庫, Anthropic, Skill 技能, UI/UX

---

ai-manju-skills 一句故事點子延伸成動漫製作流程

2026 年 11 月 1 日 Share to X Facebook Copy link

由企劃、分集劇本一路寫到分鏡提示詞和發布文案，這套模板把 AI 漫劇製作拆成可逐步推進的工作流程。21 種題材可供選用，但測試覆蓋程度不一，生成內容仍需自行檢查。

由一句故事點子開始，創作者可以逐步整理出企劃、人物與世界設定、分集劇本、分鏡和影片提示詞，再準備封面及發布文案。ai-manju-skills 是一套 AI 漫劇創作模板，針對製作流程中不同階段的內容整理，提供 21 種題材的 SKILL.md，不需要安裝依賴。

流程分成五部分：企劃案、人物與場景等資產提示詞、分集劇本、分集導演手冊，以及發布包。預設規格為 30 集、每集約 4 分鐘和 9:16 直屏，亦可以在故事點子中指定其他設定；篇幅較長的輸出會分批生成，再用「繼續」推進。這讓創作者能逐段修改內容，而不是一次處理整部作品。

模板可貼到 DeepSeek 等聊天工具使用，也支援 Claude Code 和 WorkBuddy。聊天工具的做法是選定題材、貼上完整模板，待模板就緒後再提供故事點子；一部劇建議使用獨立對話，減少不同故事設定混在一起。Claude Code 則可把所需題材資料夾放入 ~/.claude/skills/；使用其他影片工具時，提示詞用 {{Mixed N}} 引用第 N 張參考圖，換工具時需改成相應寫法。

目前版本已在 WorkBuddy 測試；玄幻修仙版曾作實際使用測試，宮斗、宅斗、年代文、系統無限流、總裁甜寵、重生復仇和職場商戰完成安裝檢查或階段試跑，其餘題材尚未逐一測試。模板要求人物和設定保持原創，但生成內容的品質、版權和平台合規仍需創作者自行把關，懸疑刑偵與民俗怪談亦要留意平台規則及 AI 生成標示。

• 21 種題材模板，涵蓋幻想、古代、現代和類型片。
• 由故事企劃延伸至劇本、分鏡提示詞和發布文案。
• 可在聊天工具、Claude Code 或 WorkBuddy 使用，毋須安裝依賴。
• 預設每部 30 集、每集約 4 分鐘，可按故事需要調整。
• 測試並未涵蓋全部題材，發布前須自行核對內容與平台要求。

GitHub

Categories: 開源, AI productions, DeepSeek, Video, 提示詞, 工具, Content Creator, Anthropic, Skill 技能

---

OmniShowcase：維持物件形態生成 360°影片運鏡

2026 年 10 月 29 日 Share to X Facebook Copy link

幾張多角度參考圖，就能引導 Wan2.1 生成沿不同鏡頭路徑移動的物件影片，並盡量保持外觀與立體結構一致。現階段程式碼與資料集尚未公開，硬件需求亦未交代。

想把一件商品或角色放進不同場景，再沿環繞鏡頭拍成影片，難處是視角轉到參考圖以外時，物件外形容易走樣。OmniShowcase 是一個影片生成模型項目，利用少量多視角圖片生成同一物件的影片，鏡頭路徑涵蓋完整 360° 環繞，目標是維持物件身份與 3D 結構。

它以 Wan2.1 image-to-video 模型為基礎，透過輕量 LoRA 調整生成模型。流程會由四張參考圖重建物件，再渲染成一組表面法線圖作為條件；生成影片時，鏡頭不必逐格對齊這組法線圖，提示詞可指定其他運鏡路徑。這令模型能沿指定路徑生成影片，而不只是重播固定的旋轉角度。

• Showcase-4K 是合成訓練資料集，涵蓋 12 種鏡頭運動及 88 種路徑配置。
• ShowcaseBench 是評測資料集，提供影片對應的來源網格與鏡頭參數，方便檢查生成結果。
• 項目展示環繞、螺旋下降、弧線移動、推近及拉遠等運鏡；目前提供的資訊未列出量化評測分數。
• 訓練資料、評測集、推理程式碼及訓練程式碼均尚待公開，暫時未能按文件安裝或執行。

這種方法適合商品展示、角色視覺化及需要多角度鏡頭素材的內容製作，也可供研究多視角條件影片生成的團隊參考。代價是生成品質依賴參考圖的 3D 重建與表面法線條件。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Image, 提示詞, 3D, Dataset 數據集, LoRA

---

World-in-Context 讓世界模型即時切換視角

2026 年 10 月 28 日 Share to X Facebook Copy link

操控生成影片時，切換第一人稱、第三人稱與自由鏡頭，畫面仍要延續同一個世界。World-in-Context 以共享控制機制處理這項挑戰。

想在生成影片中移動鏡頭、改變觀看角度，甚至在第一人稱與第三人稱之間切換，畫面仍須保持連貫。World-in-Context（WiC）是為互動影片世界模型而設的訓練框架，目標是讓視角、動作和鏡頭控制在同一段影片中協同運作，而不是各自處理。

WiC 以 Wan2.2-TI2V-5B 作為基礎模型，透過 In-Context Conditioning（ICC）把視角、動作與鏡頭控制轉成共享注意力空間中的 tokens；Interaction-Transport RoPE（IT-RoPE）則把累積的控制變化納入時間注意力。這讓系統可支援自由鏡頭、第一人稱及第三人稱視角，也能在影片進行中切換，適合研究互動式場景生成、遊戲環境及長時間因果推演。

在 WBench 評測中，WiC 的導航平均分為 81.5，視角切換成功率為 93.8%。這些結果反映它能處理導航與鏡頭切換，但不能單憑分數判斷生成影片在所有場景都同樣穩定；GPU 記憶體需求亦會隨影片尺寸和設定改變。

目前程式碼、訓練程式及 WiC 權重仍在審核，尚未公開，因此現階段無法自行安裝並重現推理結果。計劃中的版本要求 Linux、Python 3.10，以及支援 BF16 的 NVIDIA GPU；預設生成設定為 832×480、81 幀、16 FPS 和 50 個採樣步驟，並預計提供 11 個包含起始圖片、提示詞與控制資料的範例。

• 以 Wan2.2-TI2V-5B 為基礎，加入 WiC adapter。
• 同一影片支援自由鏡頭、第一人稱與第三人稱視角。
• WBench 導航平均分 81.5，視角切換成功率 93.8%。
• 程式碼與權重尚未公開，現時未能重現結果。

對研究影片生成、虛擬環境導航或互動遊戲場景的團隊而言，WiC 提供一條把鏡頭與動作控制合併訓練的路線；但在公開程式碼和權重推出前，這些能力仍主要停留在研究成果與展示範例，還不能直接納入工作流程測試。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, AI productions, 模型, 世界模型, 模型訓練, NVIDIA, Video, Image, 提示詞, 框架, 3D, Linux, Python

---

ComfyUI Graph Grid：一個比較提示詞、LoRA 與模型設定

2026 年 10 月 27 日 Share to X Facebook Copy link

ComfyUI Graph Grid 將不同提示詞、LoRA 強度、採樣器或 checkpoint 排成圖表，列隊生成，方便逐格比較結果。

將提示詞、LoRA 強度、CFG、採樣器或 checkpoint 放到行列中比較，ComfyUI Graph Grid 會一次佇列所有組合，再輸出附有標籤的圖像網格。它屬於 ComfyUI 自訂節點，處理的是影像生成工作流中逐組改參數、逐張記錄和肉眼比對過於零散的問題。

安裝可透過 ComfyUI Manager 搜尋 Graph Grid，或放入 ComfyUI/custom_nodes 後重新啟動。使用時把最終影像輸出接到 Graph Grid，再把 grid 輸出接至 Preview Image 或 Save Image；在編輯器中選擇要變動的 widget，填入行列值後佇列生成即可。項目已在 ComfyUI 0.41.0 測試，標籤位置亦取決於 Pillow 10.1 或更新版本。

它不要求特別的 loader 或 sampler，而是複製每格需要改動的上游圖段，讓 ComfyUI 執行各組設定；沒有變動的節點可載入一次，重複內容亦有機會由快取提供。接線中的 widget 不能直接變更，必須改動負責輸入的上游節點，其他未接入 Graph Grid 的輸出節點仍會以原值執行。

• 可同時比較多個欄位，亦能用數值範圍、下拉選單選項或逐行文字填充。
• 空白格會保留原本設定，Cross with existing 可建立完整組合。
• 適合測試 LoRA 權重、提示詞、模型和採樣參數的差異。
• 生成量會隨行列組合增加，顯存、時間和輸出整理成本仍需自行控制。

對需要挑選模型、整理提示詞實驗，或為影像生成流程建立可重現比較表的創作者和研究者，Graph Grid 能補足 ComfyUI 原生流程缺少的批量對照介面；它不會替你判斷哪組設定最好，價值在於把比較過程變得一致、可視化和容易回看。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Image, 提示詞, Content Creator, LoRA

---

ComfyUI-CharacterCardStudio：Qwen-Image 2.1 角色多視圖自動排版

2026 年 10 月 25 日 Share to X Facebook Copy link

將角色圖、提示詞與場景圖交給 ComfyUI 插件，自動生成多視圖、表情及細節，再精準拼成設定卡。

手工製作角色設定卡最費時的，往往不是生成單張圖，而是補齊正反面、表情、動作，再逐格貼圖兼避免裁走頭腳。JGRFW/ComfyUI-CharacterCardStudio 屬於 ComfyUI 圖像生成插件，針對 Qwen-Image 2.1 將多視圖生成、切片、排序同排版整合成工作流程。

• 支援角色參考圖及純提示詞兩種生成入口
• 提供 8 套角色卡版與 1 套 360° 場景卡版
• 自動切片、重排，並預設完整顯示全身
• 可分項生成多視圖、動作、表情與細節
• 右側面自動鏡像，統一由模板決定位置

安裝方式是把儲存庫資料夾放入 ComfyUI 的 custom_nodes 目錄，再重啟 ComfyUI；README 同時提供圖生卡、文生卡、純提示詞及場景補面的工作流。模型選擇方面，插件使用 Qwen-Image 2.1 的 UNET、CLIP 與 VAE，亦為記憶體較緊的環境列出 int8 模型選項，但實際仍需自行準備相應檔案。

插件最實際的價值在排版，而非提升 Qwen-Image 2.1 本身的生成能力。切片節點可讀取模板資料，按 panel_order 將格子重新排列，fit mode 預設保留頭頂至鞋底；場景卡則以一張圖為錨點，補充 0°、90°、180°、270° 環視、360° 全景及環境細節。右側面會自動水平翻轉，減少模型未能準確理解左右方向造成的版面問題。

一次生成整卡仍然受模型隨機性影響，角色姿勢、表情或物件位置未必逐格穩定。對需要固定構圖的團隊，逐格生成及排版流程會較可靠；工作台亦可逐格替換素材及微調裁切。README 未提供量化評測，因此較適合 ComfyUI 創作者、遊戲角色設計師同視覺內容團隊，以工作流方式驗證產出質素。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, Image, 提示詞, Content Creator, 庫

---

ShotVerse2.0：讓影片生成更有電影感

2026 年 10 月 23 日 Share to X Facebook Copy link

從文字生成影片時，角色衣着、場景和鏡頭動作往往難以同時維持一致。FAPL 訓練多模態語言模型理解影片生成所需的時間線索，並支援分項控制。

文字生成影片時，模型不只要描寫眼前一幕，還要推斷未提供的時間變化，並在角色、場景、動作和鏡頭之間維持一致。FAPL（Factor-Aware Predictive Learning，因素感知預測學習）是一套訓練方法，旨在讓多模態大型語言模型（Multimodal Large Language Model，MLLM）的表示真正參與影片生成，而非被解碼器繞過。

它以 UniVideo 的 13B Video DiT 為基礎，不改動模型架構，而是分三階段訓練：先令 DiT 以 MLLM 潛在表示作為內容條件，再透過成對的因素編輯資料，教模型只改指定內容、保留其他因素；最後固定 DiT，訓練 MLLM 與連接器，讓只有文字或文字加完整影片的輸入都能對應同一影片目標。這讓方法同時處理文字推斷影片細節，以及按因素選擇性控制的需求。

研究報告的評測中，FAPL 把 Motion Order 由 48% 提升至 61%，∩-Acc 由 42% 提升至 58%，FaceSim-Arc 則由 0.451 升至 0.523。展示案例亦呈現角色衣着和外觀較能維持一致；不過，這些數字來自指定評測，不能直接視為所有提示詞或影片情境下的保證。

目前較適合研究影片生成、希望改善多因素控制的團隊參考。GitHub 資料標示程式碼、模型權重及 CineFactor-10K 評測提示仍待發布，因此暫未能按儲存庫提供的資料安裝或重現訓練；現階段可先閱讀論文及項目網頁了解方法與示例。

• 以 MLLM 潛在表示作為影片生成的內容條件。
• 分開訓練內容 grounding、因素控制與有限輸入預測。
• 可針對角色、場景、動作或鏡頭變更，同時保留其他因素。
• 在所列評測中，動作順序、因素準確度與人臉相似度均有提升。
• 程式碼、權重和評測提示尚未發布，現階段無法依實驗。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Video, 提示詞, 香港, 庫

---