Python

vibe-knowledge：把知識點做成可查證短片

2026 年 11 月 4 日

vibe-knowledge 將查證、旁白、逐幀渲染和質檢串成一套對話式短片製作流程，亦把生成成本攤開給你核准。

把一個知識點變成有旁白、逐句附來源的 1080p60 短片，vibe-knowledge 以 Claude Code skill 串起選題、查證、寫稿、配音、程式渲染、OCR 質檢和發布包；它屬於 AI 內容製作工作流項目，處理的是知識內容由文字走到可觀看影片時的流程分散問題。

vibe-knowledge 需與 ai-teardown 一併安裝，後者提供 cine 渲染引擎、工作區及配音腳本。渲染環境需要 Python、NumPy、SciPy、Pillow、Playwright、Chromium headless shell 和 ffmpeg；macOS 的 OCR 質檢則依賴 Vision 及 swiftc。

每次提交生成前，流程會列出鏡頭、模型、提示詞和 estimate cost，等使用者在對話中明確同意才繼續。基礎檔可用 0 積分完成程式插畫版；增強檔加入 Renoise 生成的配圖與 Wan 動態鏡頭，示例《商鞅立木》使用 246 積分，常見檔次約為 25–40、250–300 及 600–700 積分。

Claude Opus 負責編排，畫面由程式逐幀渲染
早期提供古風、星空、像素、字幕新聞等多套風格
基礎檔與增強檔可保留同一旁白及腳本作比較
Release v1.0.0 已提供多段樣片，但未有獨立準確率或品質基準

適合需要持續製作歷史、科普或解釋型短片的內容團隊，尤其重視來源標註、成本審批和可重複流程的工作情境。Renoise 增強檔能擴充視覺效果，代價是積分及外部模型依賴增加；片中亦會標示「AI 示意」，不能當作史實畫面或紀錄片素材直接使用。

GitHub

Categories: 開源, AI productions, 模型, Video, 提示詞, Mac, Python, 新聞, Anthropic, Skill 技能

teardown：把機器原理變成可拆解的 3D 模擬器

2026 年 11 月 4 日

想了解引擎、手錶或挖掘機怎樣運作，可以讓 Claude Code 生成一頁式模擬器，邊看機器運轉，邊拆開部件追蹤數值。

想弄清楚四衝程引擎如何運作，單看文字或靜態圖解未必容易掌握部件之間的關係。teardown 是一項 Claude Code skill，會按自然語言指示生成離線 HTML 3D 模擬器，讓機器在畫面中央運轉，周邊面板同步顯示數值，亦可按鈕打開正在工作的部件。

使用者可在 Claude Code 以日常語句描述想了解的機械，例如機械手錶或液壓挖掘機臂，再要求生成模擬器；項目亦附有 V8 引擎、Cessna 飛機和 Strandbeest 機械生物三個例子，可用 Node.js 建成單一 HTML 頁面。安裝需要 Node.js 20 或更新版本，以及 Playwright 的 Chromium；影片輸出另需 ffmpeg，聲效製作則需 Python。主要使用方式是透過 Claude Code 提出描述。

生成的頁面會把 three.js 和字體內嵌，方便離線開啟；模擬器閒置時會自動巡覽，亦可把畫面逐格輸出成 60 fps MP4，並配上時間軸聲效。相較只提供動畫的展示頁，它把機械運作、即時數值與可拆解部件放在同一介面。

較適合製作互動式教學素材、概念展示或機械原理解說的教育工作者、設計師和工程團隊。要留意，生成品質會受描述與 Claude Code 產出影響；若內容用於工程驗證或安全判斷，仍需另行核實模型設定與數據。

以自然語言要求 Claude Code 建立機械 3D 模擬器。
單一離線 HTML 頁面包含機器動畫、數值面板和部件拆解互動。
可將模擬器畫面輸出為 60 fps MP4，並加入程序化聲效。
內附 V8 引擎、Cessna 飛機及 Strandbeest 三個示例。
文件未提供物理準確度評測，生成結果不宜直接當作工程驗證。

GitHub

Categories: 開源, AI productions, 模型, Video, 教學, 3D, Python, 安全, Anthropic, 動畫, 聲效, Skill 技能

BYOD：用單張 GPU 將指令模型改造成雙向擴散模型

2026 年 11 月 3 日

BYOD 讓你從 Colab Notebook 選擇指令模型並進行訓練，再透過互動介面觀察逐步去噪生成；但快速模式不會重現論文分數。

BYOD 把指令模型轉成雙向遮罩擴散語言模型，讓模型生成文字時能逐步去噪，並在互動頁面即時查看生成變化。它是模型訓練工具，主要處理如何用單張 GPU 訓練這類模型；Colab Notebook 可選模型、啟動訓練及查看 loss 曲線，第 6 步會開啟可調整生成設定的推理介面。

使用方式分為 Colab 和本機兩條路徑：Notebook 會沿用 Colab 的 PyTorch、CUDA 套件，只在啟動推理介面時安裝 Gradio；本機訓練則需 NVIDIA GPU、Hugging Face 讀取權杖，並先接受受限模型的使用條款。本機推理網頁需安裝 .[demo] 套件。訓練資料會自動下載，手動中止時會保存 interrupted/，可載入該次結果繼續推理。

BYOD 以 LoRA 微調既有模型，而非從頭訓練；quick 模式採用較小模型和 rank-128 LoRA，適合先檢查流程，但不會重現論文分數。paper 模式使用 rank-1024 LoRA，原始訓練使用 96 GB 記憶體，對硬件要求高。兩種模式預設均訓練 25,000 次更新，訓練與驗證 loss 若出現 NaN 或無限值，程序會報錯並保留先前最佳 adapter。

Notebook 提供模型選擇、訓練和 loss 曲線檢視。
推理介面可調整生成設定，並即時查看去噪過程；也支援載入中斷訓練的結果。
可選 Llama、Gemma、Qwen 和 Ministral；各模型提供不同 quick 或 paper 配置，Ministral 只有 paper 配置。
評估在每個 checkpoint 執行，輸出只保留 best/；本機訓練要求 NVIDIA GPU，quick 模式不等同論文設定。

研究者和模型工程團隊可用它比較不同指令模型經擴散式訓練後的生成過程，也可先透過託管示範體驗已訓練模型。若目標是復現論文結果，應採 paper 配置並準備高記憶體 GPU；低資源測試則可用 quick 模式確認訓練流程。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, NVIDIA, Gemini, 工具, LLaMa, Python, LoRA

WaveForcing：讓多步影片生成每秒 134.8 幀

2026 年 11 月 3 日

WaveForcing 讓多段影片同步去噪，持續輸出畫面；高速度背後，仍要付出多張高階 GPU 的成本。

WaveForcing 讓影片不同片段同步去噪，毋須逐段完成才繼續。這套串流影片擴散方法在流水線填滿後，每輪前向運算便輸出一個片段，適合研究連續影片生成的團隊。

Wave Parallelism 讓各張圖形處理器（Graphics Processing Unit，GPU）持有完整模型，分工處理不同片段與去噪階段，而非拆開模型。較嘈雜的新片段可參考較乾淨的舊片段，Wave Runtime（WaveRT）則把資料傳送與運算重疊，減少等待。

WaveForcing-1.3B 提供 4-step、5-step 權重。
推理程式與 WaveRT 已開源。
快速開始範例採用八張 GPU，並非單卡配置。

測試環境已驗證 Python 3.12、PyTorch 2.11.0+cu128、SGLang diffusion runtime 及 Hopper GPU。準備測試須下載基礎模型與 WaveForcing 權重。

4-step 版本在八張 H200、832×480 解像度下，連同解碼達每秒 134.8 幀。這個結果展示多卡串流吞吐量，不能當作單卡速度或首幀延遲；硬件成本仍是採用門檻。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, AI productions, 模型, 視頻模型, Video, Python, 中國

ReGap-Bench：視覺與推理分開評測

2026 年 11 月 3 日

模型看見物件，不代表能逐步追蹤它們。ReGap-Bench 用可配對的視覺參照，測出多模態推理究竟卡在哪裏。

模型明明看見圖中所有物件，數數時卻會重複計算；ReGap-Bench 是一個針對 multimodal large language models（MLLMs）的資料集與評測項目，專門檢查語言推理能否正確對應視覺中的物件、區域和位置，並將問題命名為 reference gap。

它把同一場景、問題和答案固定，只更換額外參照，形成 paired reference-intervention benchmark。編號讓物件可以被索引，陰影標示有界區域，網格線則協助定位、追蹤邊界和比較位移；參照是否配合任務，會直接影響推理結果。

涵蓋 shape counting、angle ranking、size ranking、clock ranking 和 transformation prediction 五項任務
共 200 個場景及 3,400 張圖片，設有 plain、numbering、shading 和 grid 條件
task-matched references 可令所有受測模型在所有任務提升，最高達 25%
mismatched references 幫助有限，甚至會令表現下降

測試可用 OpenAI、Google Gemini API，亦可透過 vLLM 執行 Qwen3.5；後者需要 GPU，API 模型則只需設定相應金鑰。Python 3.10 環境和 requirements 已列明，輸出會保存到 outputs，方便比較同一模型在不同參照條件下的差異。

ReGap-Bench 的價值不在於再加一個總分，而是把視覺感知和語言推理之間的接合問題單獨拉出來。結果支持一個務實判斷：改善模型未必只靠更強的視覺編碼器，為任務建立合適的外部視覺參照，也可能成為不需重新訓練的 visual skill；不過參照錯配會反過來干擾模型，因此它更適合研究團隊、MLLM 評測人員和需要分析多步視覺推理失誤的開發者。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 模型, 多模態模型, 模型訓練, Qwen, Google, OpenAI, Gemini, API, Image, Python, Dataset 數據集, Skill 技能

GLOW-FM：單步提升低光影像質素

2026 年 11 月 3 日

GLOW-FM 把低光影像增強壓縮至一次網絡運算，兼顧生成質感與推理效率，適合資源有限的影像處理場景。

低光相片往往同時缺乏細節和自然色彩，逐步生成雖然有助改善觀感，卻增加運算成本。GLOW-FM 是一個低光影像增強（Low-Light Image Enhancement, LLIE）模型項目，透過一次網絡評估恢復影像，處理高質素與低延遲之間的取捨。

項目把影像先映射到緊湊的 latent space，再由輕量 Tiny-VAE 和 Hourglass Diffusion Transformer（HDiT）合作完成修復。HDiT 以 Terminal Velocity Matching（TVM）訓練，推理時只需一步；GLOW-FM-S 的公開規模為 34 GFLOPs 及 9.1M 參數，對邊緣裝置或需要批量處理的工作流程較有吸引力。

一次 function evaluation，避免傳統 diffusion 反覆採樣
在 LSD-DLL 等資料集展示具競爭力的影像質素
TVM 專門用於低光增強，並與其他單步目標作比較
跨資料集結果在比較方法中具較強泛化能力

GLOW-FM 延續曾於 NTIRE 2026 Low-Light Image Enhancement Challenge 取得第一名的 LFM-LLIE，但更集中處理效率與單步推理。儲存庫要求 Python 3.11 或 3.12，以及具 CUDA 支援的 PyTorch 環境；README 提供 setup.sh 和依賴安裝方向，但目前提供的資料未足以確認預訓練權重、完整推理指令或 CPU 執行方案。研究團隊、影像增強開發者，以及需要在 GPU 資源受限環境處理夜景相片的團隊，可先按其環境要求建立測試環境，再核對模型權重和推理流程。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Image, 影像處理, Python, 庫, Dataset 數據集

FrameForge「換場景、不換主角」統一三種影像生成

2026 年 11 月 2 日

FrameForge 把 HunyuanVideo 1.5 的影片時間帶入影像生成，讓同一套模型處理主體生成、邊緣圖生圖和指令式編輯。

同一張參考圖可以用來保留主體、遵循 Canny 邊緣結構，或按照文字指令改變內容，但三種任務對「要保留多少、要改變多少」的要求並不相同。

FrameForge 是一個「給它一張參考圖，再用文字指示生成或修改圖片」的 AI 研究專案。它的特色是借用影片模型理解畫面變化的能力，來處理靜態圖片。

它用同一個模型處理三種工作：

功能	你提供什麼	可以做什麼
參考主體生成	一張人物、動物或物件的參考圖，加上文字描述	保留主體的辨識特徵，重新生成不同場景，例如把同一隻狗放到海灘上
邊緣圖轉圖片	一張 Canny 邊緣圖，也就是描出物件輪廓的線條圖，加上文字描述	依照既有輪廓、姿勢與構圖生成完整圖片
文字指令修圖	原始圖片，加上修改指令	改變動作、加入物件或轉換風格，例如「把貓的動作改成睡覺」，同時盡量保留其餘內容

這三種功能分別適合「保留是誰／是什麼」、「保留畫面結構」以及「修改指定內容」的需求；不是每次都從文字重新生一張毫無關聯的圖。

技術上有兩個重點：
– MoTE：動態選擇不同的虛擬時間間隔，對應不同程度的畫面變化。
– CoTR：加入一個潛在中間狀態，作為原圖轉換到目標圖的中間路徑。

官方已提供推論程式及模型下載方式，環境需要 Linux、Python 3.10 和支援 CUDA 的 GPU；公開流程以 512 × 512 輸入及輸出圖片、50 次去噪步驟運行，部分模型下載也需要先申請存取權。

注意「同一個模型整合三類圖片工作流程」，可作為評估自建圖像生成／編輯服務的 PoC 起點。官網目前提供的是研究結果與部署入口，不能直接視為已具備完整產品能力。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, NVIDIA, Stable Diffusion, Video, Image, 影像模型, Linux, Python, 庫, 中國, LoRA

WebAnything 把真實網站重建成可重設的測試環境

2026 年 10 月 30 日

從網站獲其內容重建互動網站，能在可重設的環境中完成任務。

要訓練或評測 Web agent，截取網站畫面並不足夠，代理還要能操作控制項、切換頁面並完成多步任務。WebAnything 是一套研究程式碼，將網站證據轉成可執行、可重設的代理環境，目標是保留任務流程，而不只是重現畫面。

建構流程先由 Builder 透過瀏覽器探索網站，記錄頁面狀態、互動資料、DOM、畫面截圖及網絡資源，再重建環境。候選環境會先凍結，交由 Verifier 獨立檢查；發現實作錯誤或證據不足時，系統會針對問題修正。Full 模式適合追求較廣覆蓋，JIT 則按代理任務需要建構環境，兩者在完整度與建構成本之間作取捨。

項目分析了 6,172 個獲接納的來源任務執行紀錄，平均每個任務使用 10.4 個工具步驟，中位數為 8 步；34.7% 的任務超過 10 步，最長達 89 步。這些數字反映任務包含多步互動，但不能單獨代表重建保真度或代理能力；評估亦分別涵蓋歷史頁面狀態的保真度，以及模型在指定基準測試中的下游效用。

適合研究 Web agent 訓練與評測、需要可重複網站任務環境的團隊。
Builder 和 Verifier 使用支援 Responses API 的模型服務；兩者需配置模型 ID、API URL 及 API key。
本機需安裝 Chromium，瀏覽器操作由 Playwright 支援；代理亦需要終端機存取權。README 未列出最低 CPU、記憶體或 GPU 規格，不能據此判定具體硬件門檻。
儲存庫提供建構流程及 244 個歷史網站項目的清單，但網站原始碼與第三方媒體存放在外部 artifact store，並未隨儲存庫附上。

Web agent 提供 Python 套件、命令列工具及設定流程，並可把本機 agent skill 安裝給 Codex 或 Claude Code；這個 skill 不是 MCP server。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 模型訓練, Qwen, API, 工具, Python, 庫, Anthropic, 中國, Dataset 數據集, Skill 技能

VibeGame：把文字變成可試玩的遊戲

2026 年 10 月 30 日

輸入遊戲構想後，VibeGame 會協調代理製作、審查及試玩，亦可按後續要求修改；目前聚焦 2D 網頁遊戲。

把文字構想變成可玩的 2D 網頁遊戲，再逐步修改玩法，是 VibeGame 這套多代理開發系統的工作。它適合遊戲原型製作，並非獨立模型；已開源的實作以 Phaser 為基礎。

Adversarial Agent Team 由統籌代理協調分工，將生成與審查分開，透過靜態審查及端到端執行驗證檢查成果。AI-native game engine 把項目表示為結構化文字，讓代理直接編輯，並以 frame-synchronous control 按自己的節奏逐幀試玩。

支援 Claude Code 或 Codex，至少需要一款代理命令列介面（Command-Line Interface，CLI）。
Python 需要 3.12 或以上；未提供完整安裝流程。
未列出處理器、記憶體、顯示卡或顯示記憶體需求，不能據此判定硬件門檻。

training-free self-evolution 會從成功項目提煉可重用骨架、模組及協作約定，累積開發知識而毋須重新訓練模型。示範涵蓋格鬥與地牢遊戲，但未提供量化成功率或效能比較；端到端 3D 製作仍屬待完成項目。

項目主頁 · GitHub

Categories: 開源, 南京大學, Agentic, 模型, 多模態模型, 模型訓練, 3D, Python, Anthropic

InteractiveWorld：把穿戴式 AI 助理放進可驗證的互動世界

2026 年 10 月 28 日

穿戴式助理要看見甚麼、怎樣給建議，最後能否幫人完成任務，InteractiveWorld 把整段互動放進可持續變化的 3D 場景中測試。

First-person view of the human walking to a soda can, grabbing it, putting it on the coffee table and sitting on the sof

穿戴式 AI 助理不只要辨認眼前物件，還要理解人的要求、給出可執行的指引，並跟進行動後的變化。InteractiveWorld 是一套以人為中心的 3D 模擬器，用第一人稱視角呈現環境，讓助理與模擬人物多輪互動；同一個儲存庫亦提供 InteractiveBench，用來比較多模態大型語言模型（MLLM）在這類任務中的表現。

場景涵蓋 44 個 BEHAVIOR-1K 家居及活動空間。助理以對話提供建議，模擬人物則根據所見自行決定行動；研究者可用簡短指令描述抓取、開門、倒液體等操作，由模擬器處理移動、避障、操作物件及更新場景。世界狀態會延續到下一輪，因此助理要根據新視角調整回答，而非只生成一次性的文字答案。

InteractiveBench 收錄 120 個固定的多輪任務，分為六類，每類 20 個。評分會檢查場景中的狀態是否達成目標，而不是單憑回答文字判斷；基準亦提供評估流程、報告及影片。首頁資料提到曾以 12 個前沿 MLLM 進行評估，但所提供的內容沒有列出各模型分數，無法據此比較排名或判斷差距。

• 模擬器可用 Python API 開啟場景、執行動作、取得觀察結果及原生分數。
• 場景與人物行動涵蓋物件操作、室內移動及第一人稱畫面更新。
• 基準任務固定，適合研究團隊比較模型在多輪助理情境下的完成能力。
• 安裝指南列明資產準備與環境需求；執行需要處理 Isaac Sim 場景及相關資產，並非只呼叫一個輕量 API。

這個項目適合研究穿戴式助理、多模態模型及具身互動的團隊，尤其是需要可重複測試、以環境狀態核實結果的工作。模擬場景能補足純文字評測看不到的行動後果，但仍不能完全代表真實佩戴裝置時的感測誤差、人的習慣差異或實體操作風險；評測結果應視為模擬環境中的能力證據。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, API, Video, 3D, Python, 庫, Meta, 蘋果

Page 1 of 21

1 2 3 … 21 Next »