Language Models Can Rewrite Their Own Weights:讓模型自行改寫權重

模型不只重答題目,還能診斷失誤、改寫自己的權重,再測試新版本是否真的變好。

Og image

Language Models Can Rewrite Their Own Weights 是一項語言模型自我改寫研究。由 Jiajun Fan 與 UIUC、CMU、Rutgers、Princeton、Stanford、Yale 多間院校團隊提出,核心是讓模型靠自己的推理找到失敗原因,直接修改權重,再保留通過測試的修改。

研究團隊測試了 2B、4B、9B 和 27B 四種模型規模。只有 27B 模型成功改善並修復自己,顯示這種能力目前只在較大模型出現;文件也未提供其餘三種规模的具體分數或修復結果。

這項研究把常見的模型改進方法分成三條路。Pre-training 與 post-training 都要再訓練,通常依賴 GPU 集群;prompt engineering、harness engineering 和 test-time scaling 則在每次回答時增加處理成本。Self-rewriting 直接改動權重,團隊稱每次回答不會增加成本。

Self-rewriting 可理解為「模型自己修改自己的零件」。模型會讀取自己的答案和 hidden states,也就是內部計算時使用的隱藏狀態,再自行判斷要改甚麼及為甚麼修改。Diagnosis、edit 與 decision 全部由模型完成,外部只提供練習題答案是否正確。

整個過程不使用 teacher、judge、reward model、較大模型或 prompt engineering。模型先重寫權重,再測試修改後的表現,只保留成立的版本。讓「正在改善自己的模型」與「被改善的模型」是同一個模型,而不是由外部大型模型代勞。

研究也記錄了模型受損後的修復能力。當模型副本的 image tasks 表現下跌,而且沒有原始權重可用時,27B 模型成功恢復超過 80% accuracy,過程不需要 retraining 或原始 weights。不過文件沒有提供完整 accuracy 數字,因此目前只能確定恢復幅度超過八成。

連續八個 sessions 的實驗中,模型 accuracy 持續上升。這個結果顯示同一模型可反覆進行「診斷、改寫、測試、保留」循環,而不是只在單次示範中成功。網站提到可在單一 GPU 上花幾小時完成,但相關成本線只是示意,並沒有實際量度;它也沒有證明此方法可取代所有訓練流程。

項目主頁

Categories: 模型, 模型訓練

ReaVideoBreakdown:用 ComfyUI 逐鏡拆解影片並生成可重製提示詞

看見一段影片,未必知道它怎樣拍成。這個 ComfyUI 節點逐鏡分析內容、鏡頭運動,再交出可接上影片模型的提示詞。

Night drift breakdown

想知道一段片是怎樣生成,往往只靠肉眼猜,然後寫 Prompt。ComfyUI-ReaVideoBreakdown 是 ComfyUI 自訂節點,會先切出鏡頭,再逐段判斷內容、拍攝方式與運鏡,並整理成可供影片模型使用的提示詞。

它把影片幀包裝成 video batch 交給原生 VLM,模型看到的是連續動作,而非一張張靜態圖片。每段最多抽取 8 幀分析,幀數可調至 32;畫面預先縮至最長邊 512,以控制顯存需求。

節點名為「Video Breakdown (Rea · native VLM)」,要透過 CLIPLoader 載入支援影片的 vision-language text encoder。可選類型包括 qwen_image、joyimage、ovis、gemma/ltxv、qwen3vl 及 minimax;普通 SD1.5 或 SDXL CLIP 看不到圖片,節點會發出警告。

輸入 (Input)預設值 (Default)說明 (Meaning)
images—以 IMAGE 批次形式輸入的每一影格(例如 LoadVideo → GetVideoComponents、VHS 等)
fps25.0批次影格率(0 = 預設為 25)
clip—視覺語言模型(VLM)文字編碼器(CLIPLoader),而非一般的 SD1.5 CLIP
sensitivity0.5轉場偵測靈敏度 —— 數值越高會偵測到越多鏡頭(Shot)
min_shot_seconds0.24短於此秒數的鏡頭將會合併至相鄰的鏡頭中
frames_per_shot8每個鏡頭取樣的影格數,並作為影片批次輸入給 VLM(範圍 1–32)
max_length1024VLM 針對每個鏡頭生成的最大 token 數量
temperature0.4VLM 取樣溫度 —— 數值越低,生成的 JSON 格式越穩定可靠
seed0VLM 隨機種子(Seed)
languageenen / zh 報告與提示詞語言
max_side512在送入 VLM 之前,將影格最長邊縮小至此解析度(用以限制 VRAM 使用量)

這套方法把「看見甚麼」與「量到甚麼」分開處理。內容、燈光、色彩及拍攝類型由 VLM 判讀;pan 速度、zoom 變化與 handheld/smooth 分類,則由 OpenCV 的 optical flow 計算,再以 RANSAC similarity fit 配對相鄰畫面。

設計也針對容易混為一談的部分:靜態描述可以交給模型推斷,但鏡頭移動不必靠猜。切點偵測結合 HSV histogram 距離與 pixel diff,再以自適應門檻找出 cut、fade、dissolve 和 flash,避免把所有變化都誤當成切鏡。

同一套分析會輸出 VIDEO.md 格式報告、結構化 JSON、逐鏡提示詞、摘要與首幀預覽。prompts 可直接接上 Wan、Kling、Veo 或 Sora 類節點;每段提示詞附鏡頭編號、時間碼、製作品類及長度,方便按原次序重新剪接。

實際操作需要 ComfyUI、Python 3.10 以上,以及原生已有的 torch;額外 Python 套件只有 numpy 與 opencv-python-headless。影片可由 LoadVideo、GetVideoComponents 或 VHS 變成 IMAGE batch,再連同 fps 與 VLM 接到節點。項目文件未提供硬體型號或顯存要求,只建議以 max_side 512、frames_per_shot 8 控制成本,細節镜头可試 768 或 1024。

輸出也有明確限制。模型描述與提示詞品質取決於所載 VLM,節點本身不會補足模型看不到的細節;它只處理視覺,沒有音訊或 BPM 分析、OCR、字幕輸出,極端慢速 dissolve 亦可能漏判,需要調整 sensitivity。

離線測試可用合成三鏡影片模擬 VLM 的 tokenize/generate/decode 介面,檢查鏡頭偵測、JSON 有效性及提示詞能否使用;每次 push 都會在 CI 執行,但這並不等同於真實影片的模型品質評測。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, 視覺模型, 多模態模型, Qwen, Gemini, Stable Diffusion, Video, Image, Audio, 提示詞, 3D, Python, MiniMax, Tokenize

把 ComfyUI 工作流搬進 DeepSeek Harness

本地出圖不用再來回切換瀏覽器與節點介面。這個插件把 API 工作流變成表單,並讓對話與圖片並排顯示。

面板

DeepSeek Harness 把 dsh-comfyui-panel 變成可啟動 ComfyUI 的開發者工作台,讓生成圖、參數與對話留在同一個側欄。它不是新模型,而是一個通用 ComfyUI 前端,透過 ComfyUI 的 /object_info 讀取節點資料,把 API 格式工作流自動整理成可填寫的表單。

實際操作不只是在旁邊加一個圖片視窗。插件可從 ComfyUI 的 Workflow → Save (API Format) 匯出 JSON,貼入面板後便會辨識正負提示詞、種子、步數、CFG、尺寸、模型、LoRA 強度與圖片輸入,再依語義分組顯示。未知節點亦不會令匯入失敗,只會以「Class · field」形式提供通用控件。

這種做法省掉了在節點圖逐一尋找參數的步驟,但代價是自動表單未必符合每個工作流的閱讀習慣。多段採樣、遮罩或條件分支,會退化為較多通用欄位。插件目前只接受 API 格式工作流,ComfyUI 網頁介面所用的 UI 格式並不支援。

前置環境相當直接:ComfyUI 需在執行,版本建議為 0.26.0 或以上,預設連接 http://127.0.0.1:8188。ComfyUI 目錄必須指向包含 models/、input/、output/ 的位置,否則無法讀取生成圖或複製輸入圖片。自訂工作流也要先在 ComfyUI 網頁內成功出圖,再匯入面板。

硬體需求取決於所選工作流。內置 Krea 2 文生圖與風格參考預設採用 Q2_K 量化,在 8 GB 顯存、1024×1024 解析度及 8 步設定下,約 70 秒完成一次生成。這個數字只適用於內置預設;換用其他模型、節點或採樣設定後,不能直接套用。

插件同時提供面板與 agent 工具兩種入口。krea2_workflows 會列出工作流和可用參數,krea2_generate 則負責提交生成並等待圖片;兩者與面板共用同一條任務佇列、參數驗證及數值限制,因此不會出現一套介面接受、另一套介面拒絕的雙重規則。模型可按工具回傳的參數 ID 填入提示詞、步數與尺寸,毋須自行猜測節點名稱。

這套設計刻意採用串行執行。ComfyUI 的 /interrupt 是全域操作,若兩個生成同時爭用顯存,取消其中一項可能影響另一項。工具逾時設為 11 分鐘,略高於單次生成 10 分鐘上限,讓 agent 較容易先收到任務失敗訊息,而不是只看到工具逾時。

任務提交後,面板會輪詢進度、支援取消、顯示大圖及複製路徑。佇列檢視涵蓋 ComfyUI 的全部工作,而非只顯示插件建立的項目;等待中的任務可移除,亦可清空。歷史圖片則直接掃描 output/,可還原當時參數、在檔案管理器定位或刪除,但不能改名或移動。

面板亦可在本機 ComfyUI 未啟動時將其拉起,使用完成後先卸載模型釋放顯存,再停止程序。這個流程只適用於帶有 python_embeded/ 的 ComfyUI 便攜版;原始碼安裝、conda 環境或遠端 ComfyUI 仍須自行管理程序。若 ComfyUI 正在執行或仍有任何排隊任務,關閉操作會被拒絕,以免中止正在生成的圖片。

接口:

方法 路徑 作用
GET /krea2/status ComfyUI 狀態、預設列表與目前設定
POST /krea2/start 啟動本機 ComfyUI 便攜版
POST /krea2/stop 卸載模型並關閉本機 ComfyUI
GET /krea2/workflow?id= 取得指定工作流的參數發現結果與保存值
POST /krea2/workflow 新增或覆蓋使用者預設
DELETE /krea2/workflow?id= 刪除使用者預設
GET/POST /krea2/settings 讀取或局部更新設定
POST /krea2/generate 提交生成並立即傳回 job
GET /krea2/job?id= 取得單一任務狀態
GET /krea2/jobs 取得最近任務
POST /krea2/cancel 取消任務
GET /krea2/queue 取得 ComfyUI 執行中及等待中的佇列
POST /krea2/queue 移除等待項或清空佇列
GET /krea2/history?limit= 掃描 output/ 內的圖片
GET /krea2/recover?path= 從 PNG 中繼資料還原當時參數
POST /krea2/reveal 在檔案管理器定位檔案
DELETE /krea2/image?path= 刪除生成圖片
GET/POST /krea2/presets 讀取或保存參數預設
DELETE /krea2/presets?id= 刪除參數預設
GET /krea2/image?path= 傳回生成圖片位元串流

瀏覽器以相對路徑呼叫這些接口,圖片亦由 Host 代理,不會直接連到 ComfyUI。凡帶 ?path= 的請求都會重新解析及核對路徑,只容許落在 output/ 或 temp/ 內;.. 路徑穿越與外部檔案均會以 404 拒絕。

插件與 krea2-mcp 是同一後端的兩個前端,兩者只需安裝其一。dsh-comfyui-panel 專為 DeepSeek Harness 提供面板和工具,krea2-mcp 則是可供其他 MCP 客戶端連接的純 MCP server。同時安裝會留下相近的工具能力,亦可能同時爭用顯存。

維護方面,GitHub Actions 會在每次 push 與 PR 執行語法檢查及 25 項測試,使用 Node 22,約 15 秒完成。測試涵蓋參數發現、工作流合併、路徑安全與工具參數;Host 端模組改動後則需停用再啟用插件,才會重新載入。

程式碼採 MIT 授權,但插件本身不附模型權重。內置 Krea 2 預設對應 Krea 2 Community License,商用須符合相關條件及內容過濾責任;使用其他工作流時,權重亦要遵守各自许可证。單次生成最多 10 分鐘,取消只屬尽力而為,進入採樣的任務仍可能繼續完成。

GitHub

Categories: 開源, ComfyUI, Agentic, MCP, 模型, DeepSeek, API, Image, 提示詞, 工具, 安全, UI/UX, LoRA

Geekatplay Canvas:排列參考圖與草圖助模型構圖

把人物放到樹旁,再寫一句攀爬指示,構圖便有了具體依據。但位置與文字互相矛盾,模型仍可能畫出兩個主體。

Canvas arrangement on the left, Qwen Image Edit 2511 result on the right

Geekatplay Canvas 把構圖安排變成可操作的畫布。這個由 Geekatplay Studio(Vladimir Chopine)製作的 ComfyUI 節點,讓使用者排列照片、畫草圖及釘選指示,再交給圖片模型生成。項目文件的女孩爬樹示例使用本機 Qwen Image Edit 2511,以 4 steps 生成;這是操作示範,不能當成構圖準確率的證據。

畫框內外的分工,是這個工具最直接的操作邏輯。框內圖片可以移動、縮放和旋轉,節點會把排列轉成位置資訊及 layout guide,也就是供模型參考的構圖示意圖;框外圖片只提供服裝、髮型或風格參考。對經常調整人物與道具位置的設計師、內容製作團隊,這種安排把部分文字描述工作搬到畫布,參考素材的角色也更容易核對。

使用時可以拖放圖片、貼上圖片,或透過 Add image 加入素材,再用畫筆補上沒有照片的元素。雙擊物件設定的名稱會寫入 prompt,釘選 notes 則把要求綁到圖片或草圖。當 note 寫有 @image2 或 @sketch1,節點會改成所選模型理解的圖片名稱;執行前按 Prompt,便能檢查模型將收到的內容,找出指示是否指錯素材。

要修改既有照片,可以讓一張圖片填滿畫框,將它設為 edit mode 的 base image,亦可右擊指定。換衣服時,把人物照片放進框內,把衣服參考留在框外,再要求保留面孔、姿勢與背景,便能表達修改範圍。畫布位置仍須與文字要求一致:文件提醒,物件與 note 指定的位置相距太遠,主體可能被畫兩次;畫出的太陽圖示亦可能被原樣保留,需要用 note 說明想要真實日落光線。

同一幅畫布不能原封不動交給所有模型。MiniMax H3 會編輯 ,因此節點不向它傳送構圖拼貼圖,避免模型把拼貼本身重繪成結果,改以文字傳達位置和草圖。可選的 AI Director 會讀取附標註畫布與參考圖片,將場景描述加入整理後的 prompt;只接受文字的模型則看不到照片,使用者必須命名物件,節點才能轉成位置描述或 bounding boxes,即標示物件範圍的方框。

圖片數量也會改變素材能否完整送達。Qwen Image Edit 2511/2509 的上限為 3 張,其餘列出的多圖片模型及 Generic 上限為 8 張;超出的圖片會被捨棄,狀態列會發出警告,已放置素材仍可透過構圖示意圖看見。這意味畫布上看得到,不代表原始參考圖一定送到了模型;安排多件服裝或道具時,應先核對圖片上限與 Prompt 內容。

Supported models 如下;各欄依次列出模型、圖片上限、圖片稱呼或構圖格式,以及連接節點

ModelImagesImages are calledConnect prompt and image_N to
Qwen Image Edit 2511 / 25093Picture 1TextEncodeQwenImageEditPlus
Qwen Image 2.1 / 2.1 Turbo8image 1TextEncodeQwenImage21
FLUX.2 Klein / Dev8image 1CLIPTextEncode + ReferenceMultiLatent
FLUX 3 Klein8<ref_image_0>, plus an <obj_N> box tableCLIPTextEncode + ReferenceMultiLatent
MiniMax H3 Image (4K, local)8<Picture 1>MiniMaxH3ImageConditioning
MOSS-Image Edit (edit LoRA)8Picture 1TextEncodeMOSSImageEdit
MOSS-Image layout (text to image)noneJSON layout with bounding boxesCLIPTextEncode
Ideogram 4 JSON (text to image)noneJSON prompt with bounding boxesCLIPTextEncode
Any text-to-image model (Z-Image, Krea 2, …)nonecomposition in wordsCLIPTextEncode
Nano Banana 2.1 / Pro (partner API)8image 1GeminiNanoBanana2V2
OpenAI GPT Image 2.6 (partner API)8image 1OpenAIGPTImageNodeV2
Seedream 4.5 / 5.0 (partner API)8image 1ByteDanceSeedreamNodeV3
Qwen Image 3 Edit (partner API)3@Image1QwenImageEditApi
MiniMax H3 Image, 2K / 4K (partner API)8@Image1MinimaxH3ImageNode
Generic8@image1any other multi-reference model

本機高解像度流程已有具體執行記錄,但等待成本不低。項目文件記錄 MiniMax H3 Image 在 RTX 3090 生成 3840×2176 圖片,含 AI Director 的完整 8 MP 流程約需 5 至 8 分鐘,大部分時間花在載入三個大型模型。這個時間只對應該硬件與流程,不能推作其他模型的速度;提供的資料亦未交代統一品質評測、完整模型下載大小,以及授權類型與商用限制。

安裝可經 ComfyUI Manager 輸入儲存庫網址,完成後重啟 ComfyUI 並重新整理瀏覽器,再載入附帶 workflow。環境要求近期 ComfyUI 及 Chrome、Edge 等 Chromium-based browser,已測試 ComfyUI 0.44 配 frontend 1.58,沒有額外 Python dependencies;本機生成仍須備妥 workflow 指定的模型檔案與硬件。節點本身不發出 internet requests,只有載入並執行 partner API workflow 才會使用外部服務;首次測試可沿用女孩與樹的安排,再刻意改動位置與 note,檢查結果是否重複主體。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, API, Image, 影像模型, 影像處理, 工具, Python, 庫, MiniMax

Cartoon Studio:本機短片與 AI 漫劇工作台

鏡頭可以逐個重做,角色與場景卻要跨集沿用。鏡場把生成、版本選擇與分鏡編排接在同一條製作流程。

镜场 Cartoon Studio · 本地短片与 AI 漫剧工作台

鏡場(Cartoon Studio)把逐鏡返工放進本機短片工作台。這款由 bilzeng 公開的工具讓創作者整理參考素材、編排 AI 漫劇,再交給自己的 ComfyUI 工作流生成內容。啟動及瀏覽示例需要 Node.js 24 或更新版本;只做素材整理與鏡頭編排,ComfyUI 可以離線,但生成仍要接通已配置的服務。

鏡場補強的是生成前後的製作管理,較貼近已有 ComfyUI 工作流、需要反覆修改短片的小型團隊。創作者可以逐鏡修改運鏡、對白和時長,查看生成記錄後選用版本,下一集再沿用角色、場景和道具設定。設定可複用不等於畫面必然一致,最終角色外觀仍要靠生成結果逐鏡核對;文件沒有提供硬件需求、生成效能數據或量化比較結果。

節點畫布把圖像、影片和音訊放在同一個工作空間,使用者拖動連線建立素材關係,也能在提示詞以「@」指定參考圖。當某個鏡頭需要重做,創作者可保留其餘鏡頭,只替該鏡挑選新版本,減少重新整理整段作品的步驟。素材還可以去重、加標籤和收藏,之後在分鏡台檢查鏡頭順序,再匯出帶配樂的 MP4。

需要先確認構圖與走位時,3D 導演台提供了比文字描述更直接的準備方式。創作者在畫布開啟導演台,擺放演員、設定機位,再以關鍵幀指定不同時間的位置,最後把取景截圖或預演影片接回畫布。這條流程讓空間安排先變成可見的參考素材,但文件未證明生成結果能精確遵循所有走位,預演與成片之間仍要人工比較。

生成工作由 ComfyUI 執行,鏡場透過 API 提交工作流、讀取可用節點與模型,並跟蹤任務及取回成品。接入自訂流程前,使用者要先在 ComfyUI 驗證,再匯入 JSON,指定成品輸出、參考素材入口及提示詞位置。這保留了自訂生成方法的空間,也把依賴管理留給使用者:模型權重、自訂節點及檔案映射未配齊,單靠工作台介面不能補足。

內置功能亦有各自的依賴關係:PoseSwap 姿勢與換裝流程需要 Qwen Image 2.1 及配套編碼器和 VAE,後者負責把模型內部表示還原成畫面。MiniMax H3 處理影片生成與兩段續接,RelayVSR 則負責高清修復,並非同一模型包辦所有步驟。H3 多參考圖預覽會先產生帶聲音的版本,創作者選定後才做高清修復;這讓放大處理留到版本確認之後,但文件沒有量度能節省多少時間。

大尺寸生成仍受模型和硬件限制,手動填寫像素尺寸不代表環境一定能完成。Apple Silicon 的 MPS 若在 VAE 解碼時出現張量尺寸錯誤,項目文件建議先以較小尺寸生成,再用超分流程放大;環境及預設支援時,也可分塊解碼。正式測試宜先確認單鏡能完成生成、預覽及匯出,再增加尺寸,避免到整段編排完成後才發現生成環境不支援。

Windows、macOS 和 Linux 均有便攜啟動腳本,首次安裝依賴需要聯網;MP4 匯出及本機音視頻預處理另需 FFmpeg,並加入系統的 PATH 搜尋路徑。更新功能會下載代碼及重建程式,待生成與匯出任務完成後重啟,但所附資料未交代發版頻率。源碼採用 Apache-2.0,可作商用,第三方模型、插件及外部圖庫則須另查各自限制。準備製作商業短片前,可先用內置《潮汐電台》示例測試編排,再用打算採用的工作流完成單鏡輸出,核對依賴與授權。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Qwen, API, Video, Image, Audio, 提示詞, 工具, Content Creator, Mac, 3D, Linux, 庫, 蘋果, MiniMax

pi-H3:以 2–4 步生成影片,毋須 VAE 解碼器

省掉影片 vae 解碼器,還要保住細節與動作連貫。pi-H3 的速度有實測支持。

teaser

pi-H3 是直接輸出像素的影片生成模型。模型基於 MiniMax H3,在最後一步去噪時生成畫面,省去把壓縮表示還原成影片的 VAE decoder。作者包括 Stanford University 的 Hansheng Chen 等研究人員,部分工作於 Luma AI 完成;在單張 NVIDIA B200 上,pi-H3 0.9 以 2 步生成 5.2 s 影片,端到端耗時為 3.813 s。

測試涵蓋文字編碼至影片及音訊輸出,能反映使用者提交請求後的等待時間。同一影片長度下,pi-H3 0.9 的 4 步設定需 7.304 s;Sol-H3 官方的 4 步結果為 9.475 s,使用單張 NVIDIA GB200。所列設定以 pi-H3 的 2 步最快,但硬件並不相同,不能把全部差距歸因於移除解碼器。

速度隨影片長度改變,生成 15 s 影片時,pi-H3 0.9 的 2 步設定需 18.58 s,4 步需 36.41 s;Sol-H3 官方的 4 步結果為 44.96 s,硬件條件沿用上述配置。pi-H3 的 2 步仍是這組數據中最快,但已無法在影片播放完畢前完成生成,長片工作流仍要預留等待時間。

省去解碼器也帶來畫面重建的難題。每個 MiniMax H3 token,即模型處理的一組內容單位,涵蓋 12288 個像素值,超過 DiT 隱藏維度 5376 的兩倍,直接使用線性 DWD 輸出層會令畫面模糊。研究團隊因此在去噪特徵後加入小型 refiner,補回畫面細節;這也說明,直接輸出像素仍需要額外的重建處理。

pi-H3 1.0 將改用 windowed attention transformer refiner,保留 Sol-H3-VAE decoder 的 24 個 blocks 中的 8 個,再作端到端調整。新版改善細微動作與 2 步生成的連貫性,refiner 亦稍快;不過,所提供的影片與速度測試全屬 0.9,不能當成新版的實測結果。

pi-H3 在所有 DiT blocks 和文字編碼器使用 FP8 W8A8,AdaLN 與輸出層保留 BF16;Sol-H3 則在 DiT blocks 2–46 使用 MXFP8 W8A8,其餘列明部分保留 BF16。兩者的計算精度配置不同,這組端到端比較可以描述整套方案的等待時間,卻未能單獨量度每項改動的貢獻;上述 B200 成績不能直接視為桌面 GPU 的速度承諾。

想先看結果,可以試 Hugging Face demo;要放進節點式創作流程,則可用 ComfyUI-piFlow。需要反覆測試短片構圖、鏡頭和動作的創作團隊,可以先以 2 步與 4 步生成同一提示詞,逐段查看細節是否穩定。這比單看生成秒數更接近製作決策,尤其細小物件或連續動作正是版本修整的部分。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, AI productions, 模型, 模型訓練, Google, NVIDIA, Video, Audio, 提示詞, Linux, Python, MiniMax

Depth Pro 2:蘋果開源的深度圖兼具度量準確性、銳利度與時間一致性

照片邊緣要清晰,影片深度也要穩定。Apple 用同一套模型兼顧兩者,但焦距與記憶體仍左右結果。

Depth Pro 2 on images: inputs on top, predicted depth below

Depth Pro 2 是 Apple AI/ML Research 的開源專案。主要用作深度估算兼處理照片與影片。普通相機拍下的照片、整段影片及即時影像,都能交給同一個流程,按輸入完整解像度估算每個像素的距離以米(meter)制深度計算。處理影片時,預設模式每段讀取 16 frames,相鄰片段重疊 4 frames,讓接合位置的深度保持穩定。這種安排直接處理影片合成的麻煩:物件輪廓要清楚,前後影格的遠近判斷也要連貫。

離線影片可以先收集片段,再一起預測;相機畫面則要隨影格抵達立即處理。unbuffered 模式會使用當前影格及之前 15 frames,代價是串流開頭可參照的畫面較少,深度較不穩定。加長片段及增加重疊可稍為改善穩定性,但執行會更慢。因此,即時預測描述的是處理方式,項目提供的資料未列出可通用的速度保證。

前後畫面能互相參照,靠的是模型內部共享資訊。transformer 在首三分之一的 blocks 之後,交替處理影格內與跨影格的 attention,即輪流查看單張畫面的細節與前後畫面的關係。這讓影片預測有機會利用其他影格的線索,而非把每張畫面獨立處理。保留原始解像度則服務另一個目標:讓物件邊緣維持清晰,減少輪廓細節流失。

項目以 Sintel 與 Spring datasets 的平均結果,檢查清晰度與時間穩定性。Boundary F1 score 衡量輪廓是否準確,Jitter 則反映深度隨時間的抖動;項目報告兩者均優於既有單影格及多影格方法,但未列具體分數。影片展示採用 2K–4K 來源,Depth Pro 2 H+ 保留原生解像度,其他方法使用各自預設設定。這能比較各套系統的輸出,卻不能單憑畫面把差距全部歸因於網絡結構,因為解像度設定也不同。

要把遠近變成米數,焦距必須可靠。未知焦距時,系統會先估算;影片採用首個 window 內估算值的中位數,即時串流則在首個 window 填滿後固定焦距。項目文件明言,焦距高估 10%,所有深度也會高估 10%,所以畫面穩定並不等於尺度準確。已校準相機可先校正影格畸變,再透過 Python 傳入水平焦距 fx,跳過焦距估算。

剪接與合成團隊可以先看預設彩色結果,紅色代表近,藍色代表遠,再決定是否輸出資料。需要接駁 Nuke 或 Blender 時,可輸出 16-bit inverse depth,即越近越亮的反向深度圖,並以原始資料方式讀取。這種輸出按照片或影片首個影格的深度範圍縮放,後續更近的點會飽和成白色;要保留米制深度及焦距,應改取 NPZ。製作點雲前也要裁剪深度範圍,因為天空可能被估為無限遠或數公里。

本機測試可在 Linux 或 Apple silicon Mac 準備 uv,下載程式及模型權重,再交入照片或影片。系統會選用可用的 NVIDIA GPU、Apple silicon GPU 或 CPU;模型由 S、B、L 到預設 H+,較小型號較快,較大型號的深度較清晰穩定。記憶體需求隨影格尺寸及 window 增長,放不下時應先縮短 window,再考慮較小模型。大幅縮小輸入會失去細節,甚至改變深度尺度,不能只當成無損的加速方法。

Apple 亦提供 Core ML 模型及相機深度 Mac demo,後者需要 Apple silicon、macOS 15 或以上,以及 Xcode 16 或以上或其 command line tools。研究團隊可先用固定相機片段,檢查輪廓、時間穩定性及已知距離是否吻合,再接駁合成流程。儲存庫未附 training 或 evaluation code,輸入亦未交代維護節奏;模型權重限非商業科研及學術開發,商業製作不能直接沿用。

模型選擇直接影響速度、邊緣細節及穩定性:大型號較清晰穩定,小型號較快。以下列出參數、權重下載大小及選擇方向。

型號參數下載大小選擇方向
S24M97 MB手提電腦先測試,優先考慮速度
B97M386 MB從 S 往上比較品質與負擔
L334M1.3 GB較偏向細節與穩定性
H+872M3.5 GB預設型號,優先考慮輸出品質

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, NVIDIA, Video, Image, Mac, Linux, Python, 庫, 蘋果

EgoCaptioner:全面而細緻的第一身影片描述

影片字幕常說得出發生甚麼,卻未必交代動作先後。EgoCaptioner 把整體場景和帶時間標記的步驟放在同一份描述內。

EgoCaptioner overview

EgoCaptioner 是一套第一身影片描述模型,將場景總覽與帶時間標記的活動步驟配成一份字幕,涵蓋手部操作、移動、社交互動和視線注意。它以 Qwen3.5-9B 為基礎,由 KlingAI Research、北京大學等團隊參與開發。

在五個第一身影片基準測試中,EgoCaptioner 的 EgoMe-Steps METEOR 為 12.26;同表最佳開源模型 Qwen3.8-27B 為 7.24。這項比較反映步驟描述的文字重合度,不等於每段影片都能準確還原事件。其他指標也有落差:EgoMe-Overview 的 CIDEr 是 0.65,低於同表 EgoThinker 的 4.85,顯示總覽描述並非所有面向都領先。

你可按任務選擇完整描述、只產生影片總覽,或搜尋指定活動並列出步驟。指定活動時,event_steps 必須同時提供 event;活動重複出現,可在簡短英文描述中補上前後情境,並以「I」代表佩戴相機的人。單段影片推理會把結果印在終端,也可另存文字檔;批次模式則以 JSONL 一行一項任務,影片路徑相對於該檔案,處理完成後逐項寫入結果。

這套模型的優勢不只在輸出格式,也可用在訓練資料如何被建立。因此你可先整理事件結構,再逐步補上時間標記和細節,從八個第一身影片來源製作 50,000 個訓練例子;這種由粗到細的標註,目的是避免一次寫完整段影片時漏掉短暫動作或弄亂次序。有感測資料的影片還會加入由人體姿態推得的動作事實,為描述提供另一個核對依據。

生成後的描述亦會透過強化學習調整。Group Relative Policy Optimization(GRPO)是一種以多項獎勵引導模型修訂輸出的訓練方法;EgoCaptioner 用事實準確度、內容涵蓋度和步驟時間對齊作評分,並扣減零碎或重複敘述。消融實驗支持事實獎勵與時間獎勵各自補足對方,也顯示由粗到細的標註比一次完成的標註提供更有效監督;項目文件沒有列出這些消融的具體分數。

EgoTempo 的準確率為 38.40,低於 GPT-6-Astra 的 52.60;但在 Minerva-Ego 的 caption-to-QA 測試中,EgoCaptioner 得分 18.57,高於同表最高對手 EgoThinker 的 15.71。PhysCapBench 的 Overall 得分為 78.84,也高於 Gemini 3.1 Pro 的 75.06,惟仍低於 GPT-6-Astra 的 84.87。這些結果說明它在特定字幕與問答評估上有優勢,不能概括成全面勝過商用模型。

部署門檻主要在硬件和執行環境:需要 Linux x86-64、支援 BF16 的 NVIDIA Ampere、Ada 或 Hopper GPU,以及兼容 CUDA 12.8 的 driver。單段影片流程還要 CUDA toolkit、nvcc 和 C++ compiler;批次處理則另用 vLLM。若 TorchCodec 找不到 FFmpeg 的共享程式庫,需在執行推理的同一個 shell 設定程式庫搜尋路徑;更換模型或輸入檔時,亦要改用新的輸出路徑。

研究團隊把這套模型定位在第一身影片的細粒度描述,較直接的使用情境是整理佩戴相機的操作紀錄、活動片段或逐步字幕,再由人核對關鍵時間和動作。它對未有感測資料的影片,少了姿態推得的動作事實作輔助;指定活動若描述含糊或影片中多次出現,也需要加入上下文才能選中目標片段。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 香港科技大學, 南京大學, 北京大學, AI productions, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Gemini, Video, Linux, 庫, 強化學習

Coda:由程式碼驅動的影片生成藝術家

鏡頭回到原位,掃走的落葉應該消失;人物伸手的一刻,逐隻手指建模卻可能令動作變僵。

banner

Kling Team 的 Coda 研究系列用程式碼為影片安排場景和動作。當中的 Coda-DaVinci 會判斷哪些細節需要預先固定,哪些可以交給影片模型發揮。拍切開年糕、拆去包裝的過程時,系統先為涉及的物件建模,手指怎樣彎曲、怎樣抓住包裝,就留給影片模型生成。

研究團隊把主比較的影片合成模型統一為 Seedance 2.5,讓讀者看到加入場景控制後的差別。在 T2AV-Compass 隨機抽取的 200 個任務中,直接生成的視覺指令遵從得分為 65.11,Coda-DaVinci 達 67.99。比較畫面真實感,則以直接生成的 71.38 較高,Coda-DaVinci 得 70.26。同一批影片分開評分,才看得出跟足指令和看起來自然之間的取捨。

需要控制場景時,Coda-DaVinci 會先製作 proxy,即一段用簡化 3D 物件演出動作的參考短片。環境和有明確形狀的物件會保留較多結構,人物只保留粗略輪廓,可模擬的物件互動則交給 Blender 處理。當任務講求自然的身體動作,場景位置又毋須精確控制,系統會選擇直接生成,避免成片沿用參考動畫裏僵硬的姿勢。

參考短片交代了物件怎樣移動,外觀仍要另外指定。負責編寫提示詞的智能體先檢視渲染結果,把外觀參考圖逐一對應到場景裏的人物或物件,再寫明成片要呈現的細節和人物動作。對需要反覆改片的製作團隊,共用工作區會保留場景程式碼和素材;審查者可對照同一時刻的畫格,追查應該改動場景、提示詞還是參考圖。

長片尤其考驗這套修訂方式,因為事件即使依序發生,轉場時仍可能偏離原來的場景設定。團隊測試了 29 個 LongAV-Compass 案例和 50 個 WBench 案例,報告指長片的事件完成度、結構及互動一致性有所改善,但未列出改善幅度。與直接生成相比,Coda-DaVinci 在轉場穩定性及跟隨場景設定兩方面仍然吃虧。

系列中的 CodeCap-Bench 把問題倒過來,看模型能從一段結構清晰的 2D 影片讀出多少內容。模型看過原片後,要以 HTML、CSS 和 JavaScript 寫出能重新播放畫面的程式。測試要求所有可見內容都由程式繪製,禁止貼入原片畫格或外部圖片,這樣才看得出程式本身記下了甚麼。

研究人員把程式渲染成影片,再與原片對照,既看畫面是否相似,也查物件有否在正確時間出現在正確位置。在已測試的設定下,程式比自然語言描述保留更多資訊。研究人員用重建影片測試問答,得到的答案也較準確,為單看畫面相似度提供了另一種核對方式。

想評估能否把流程接入製作環境,可先在項目首頁同步播放同一任務的成片和 3D 參考短片,對照拆包裝時物件的位置與手勢。系列總表將框架列為 2026/11 已發布,獨立介紹仍寫着 Coming soon,論文在首頁亦標作 forthcoming;本地安裝步驟和硬件需求仍待確認。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 南京大學, 北京大學, 清華大學, AI productions, 模型, Video, Image, 提示詞, 框架, 香港, 3D, Anthropic, 動畫

WeMM Video:讓影片理解同時聽見原始音軌

看懂畫面未必聽懂對白。WeMM-Video 把影片畫格與原始音軌一併交給模型分析,並提供不同規模的開源版本。

WeMM-Video examples of audio-visual understanding and reasoning, audio and music understanding, and image and text under

同一段影片,畫面和聲音可能各自藏着不同的意思。WeMM-Video 是 WeChat Vision at Tencent 開發的中英雙語多模態模型系列,可讀取文字、圖片、音訊和影片,再以文字作答;分析影片時,它把原始音軌和畫面一併輸入。它提供 2B、4B、9B dense models,以及 35B-A3B mixture-of-experts model,適合從單一媒體辨識延伸至視聽推理的工作。

測試影片理解時,使用者可比較只輸入畫面與同時輸入畫面、音軌的回答,檢查語音資訊會否改變對場景的判斷。項目文件的 Transformers 範例以 2B BF16 checkpoint 生成最多 128 個 tokens;影片取樣設為 1.0 fps,最多抽取 16 幀。這些是範例設定,不代表不同片長或硬件下的速度、準確度保證。

使用 Instruct mode 可取得快速直接的回答;需要明確多步推理時,則改用 Thinking mode。這個分工讓簡單描述不必每次都採用較長的推理流程。模型以約 1.2 trillion multimodal tokens 訓練,經過 progressive pre-training 和 multi-stage post-training;項目文件稱 35B-A3B 在 omni-modal video understanding 上勝過 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428,並縮窄與 Gemini-3.0-Flash 的差距。

影片畫格、時間資訊、音訊與文字會一同送入模型處理,因此它可以回答畫面內容,也能把對白納入場景理解;另有 35B-A3B 和 9B 兩款在 general audio understanding 上取得領先表現的說法。

我們需要用 Transformers 載入 BF16 模型,或以 patched vLLM、patched SGLang 提供服務。兩個服務後端都可透過 POST /v1/chat/completions 接收 video_url,並以 video_url.use_audio 決定是否納入原始音軌;模型清單另有 FP8 Block128、AWQ W4A16 和 NVFP4 W4A16,Patched vLLM 支援這些格式。GGUF Q4_K_M 則要透過 Native runtime 執行,文件列出 CPU 或 CUDA 路徑。

測試需要 Python 3.12、NVIDIA GPU、相容 CUDA 12.9 的 driver、FFmpeg,以及 TorchCodec 所需的 shared libraries;Transformers 範例還會下載模型 checkpoint。服務端可按文件指定的 vLLM 0.18.0 CUDA 12.9 或 SGLang 0.5.16 CUDA 12.9 環境啟動,兩者的 context length 範例均為 8192。團隊若先做小規模驗證,可從 2B checkpoint 和內附文字、圖片、音訊、影片例子開始,再按部署後端選擇模型格式。

輸入上限也會影響測試設計:在已設定的 context length 內,每個 request 最多接收 4 張圖片、2 條影片和 2 個音訊項目。長影片若超出抽幀設定,模型看到的只是抽樣畫面;而文件未提供各量化檔案大小和硬件資源需求,現階段難以只靠型號判定部署成本。處理大量片段或要逐幀核對事件的團隊,應先以自己的影片長度、音軌和併發量測試,再決定模型規模與服務方式。

GitHub

Categories: 開源, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Gemini, Video, Image, Audio, Python, 語音

Page 1 of 195
1 2 3 … 195