Jeveration:System 1 模型也能生成圖像

整張圖一次生成,還能共用權重做改圖與場景分析;Jeveration 的速度亮眼,但硬件與訓練範圍都有條件。

Images generated by Jeveration: text-to-image, image-to-image and dense prediction

Jeveration 是建基於凍結視覺語言模型的影像生成模型,同一份 checkpoint(模型權重)兼顧文字生圖、改圖及逐像素分析。在單張 NVIDIA H200、batch 1 並計入 decoding 的測試中,生成一張 512 × 512 圖像需 77.8 ms,是所列比較模型中最快。這個數字反映指定硬件上的單張延遲,不能直接當成一般顯示卡或多人服務的速度。

Jeveration 的速度分別為 Janus-Pro-1B 的 98 倍、Janus-Pro-7B 的 122 倍。各模型在同一張 H200 上計時,但使用各自公布的 sampler、步數及解像度,因此比較包含生成流程的差異。Jeveration 的 GenEval 為 0.74;這項指標檢查圖像是否符合文字要求,但輸入資料未列出完整品質排名,不能據此判定它的畫質最佳。

速度來自生成次序的改變:Autoregressive models 逐個 token 生成,diffusion models 則反覆去噪。Jeveration 在一次 forward pass,也就是模型處理一次輸入的過程中,並行選出整張圖的 128 個 codes,這些是代表影像內容的離散編碼。同一段描述可以畫成不同構圖,各位置獨立選擇便可能拼出互不相容的區域。模型因此為每張圖抽取一個 random state,讓所有位置共用同一份隨機條件,協調整體構圖。

只拿目標圖像來訓練,模型卻傾向忽略這份隨機條件。研究人員先讓模型填補被遮蔽的影像編碼,學習各部分如何互相依賴,再由這個第一階段模型判斷生成樣本,引導第二階段的整體選擇。這個安排處理的是「並行選擇能否一致」,而不只是把原有生成步驟刪短。第一階段模型只在訓練時參與,正式生成仍維持一次 forward pass,沒有把判斷程序加回每次請求。

支撐各項任務的是凍結的 Qwen3.5-4B,主模型參數保持不變,再透過共享 LoRA adapters 學習任務所需的調整。不同輸出部分會把模型的決策轉成影像編碼,或逐像素的場景資訊。對需要同時試做生圖、改圖和影像分析的團隊,共用權重可讓原型集中在同一條 pipeline;不過,文字生圖與改圖仍分別使用不同 decoder,把編碼還原成圖像,整套系統並非只有一個權重檔。

改圖時,使用者可提供白線黑底的 edge map,或亮處代表近距離的 depth map,再加文字描述生成影像;亦可先由相片計算這些結構圖。項目另支援灰階相片上色,以及 anime、ghibli、watercolor 風格轉換,讓試作流程涵蓋結構控制與外觀修改。逐像素分析則輸出類別、以米為單位的深度,以及表面朝向,但訓練資料來自 NYUv2 室內場景。道路、戶外景觀等輸入超出這個訓練範圍,不能把室內結果直接當成那些場景的可靠度證據。

本機執行需要 Python 3.12、CUDA GPU,以及 requirements.txt 列出的依賴,下載至 weights 的項目檔案共 6.5 GB。首次執行還會從 Hugging Face Hub 下載 Qwen3.5-4B、TA-TiTok tokenizer 和 CLIP 的 text tower,因此這個容量並不代表全部準備工作。想先檢視效果,可安裝 Gradio 後透過 app.py 開啟瀏覽器示範,三類任務都有範例;整合程式則可使用 JeverationPipeline。項目文件未交代最低顯示記憶體需求、release 節奏或 issue 活躍度,部署前仍要在目標機器驗證。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, OpenAI, Image, 軟件, Python, LoRA, Tokenize

Tideway:讓消費級裝置高效執行 MoE 推理

模型放得進 SSD,生成時仍可能卡在搬運權重。Tideway 按推理階段調整記憶體分工,減少等待。

Tideway

模型裝得下,回覆仍可能卡在搬運。Tideway 是面向個人電腦的推理系統,協調 GPU VRAM、主機 RAM 與 NVMe SSD,處理 MoE 模型權重超出記憶體的問題。在 RTX 5090、32 GB VRAM、48 GiB RAM 下,Qwen3.6-35B-A3B 的 TraceLab 全程加速達 3.14×,相對各設定最快 baseline,也是表內該欄最高值。

MoE 會按輸入選用不同 experts,即負責部分運算的模型組件。Tideway 改善的是組件搬運與執行安排,模型本身仍須另行提供。項目文件批評各層獨立 cache 加固定配置的做法:讀取長提示時反覆從 SSD 載入權重,逐字生成時又因缺少 expert,退回開銷較高的逐步執行。

項目測試涵蓋 Qwen3.6、Gemma4 及 DeepSeek-V4-Flash 的指定版本,並與 FreeToken、llama.cpp 等引擎比較。不過,提供的表格只有欄名,缺少各項結果,無法核對摘要所報加速幅度及各條件下的最快基準。

下面為 OpenMausBot + Remotion 根據原片做的中文版

Tideway 把 VRAM 與 RAM 當成由 SSD 支援的統一空間,先回收跨層重複副本。GPU 逐出某個 expert 時,系統也會利用閒置 PCIe 通道,選擇性將唯一副本送回 RAM。這樣安排是為了容納更多不同 experts,減少日後重新讀取 SSD;代價是系統必須持續管理組件位置與搬運時機。

讀取提示的 prefill 階段與逐字生成的 decode 階段,存取模式並不相同,因此系統會在兩者交界切換配置。prefill 會借用 VRAM 輪流載入權重,同時固定 RAM 內可重用的 experts,防止掃描整個模型時把它們逐出。進入 decode 後,系統解除固定,並把借用空間改回地址固定的 expert cache,讓生成階段按需要補入組件。

只減少 SSD 讀取仍不足以消除 GPU 等待。Tideway 在計算當前層時,同步傳送下一層權重;decode 則使用分段 CUDA Graphs,即重播預先記錄的 GPU 運算步驟。主機把缺少的 experts 搬入固定位置,再接續重播下一段,毋須因組件位置變動而重新記錄整套運算。

TraceLab 的多輪編程智能體測試,更接近反覆讀提示、生成答案的工作流。以下均使用 RTX 5090 的 32 GB VRAM,數字是相對各設定最快 baseline 的全程加速:Qwen3.6-35B-A3B 使用 BF16,權重為 67 GiB;RAM 為 64 GiB 時達 1.20×,48 GiB 時達 3.14×,32 GiB 時達 2.04×。因此,加速幅度並非隨 RAM 減少而持續增加,不能把最高值套用到所有桌面配置。

同一測試中的 Gemma4-26B-A4B 使用 BF16,權重為 48 GiB;RAM 為 48 GiB 時達 1.51×,32 GiB 時達 1.47×,16 GiB 時達 2.66×。DeepSeek-V4-Flash 使用 FP4,權重為 155 GiB;RAM 為 128 GiB 時達 1.31×,96 GiB 時達 1.64×,64 GiB 時達 1.69×。這些模型是測試對象,各自的權重大小與格式不同,不能把差距單純歸因於模型名稱或 RAM 容量。

比較組包括 FreeToken、llama.cpp、SSD-LLaMA 與 FlashMoE;後兩者是已發表機制的獨立實作。長提示令大量 experts 輪流被讀取、或生成時所需組件仍在 SSD,搬運就仍會直接拖慢回覆,Tideway 只能減輕這個瓶頸。資料未列明 NVMe SSD 型號、固定形狀測試的輸入輸出長度,以及各設定的絕對延遲,因此倍數不能直接換成使用者要等多少秒。

準備本地編程智能體測試的團隊,需要 Linux、Python 3.12+、NVIDIA GPU、CUDA 13 toolkit 與 GCC,並另備模型檔案及 NVMe SSD。安裝項目後還要編譯 backend,再於載入 FreeToken 前呼叫 tideway.activate_backend();隨附整合基於 FreeToken 0.1.2,提供資料未交代發布節奏或 issue 活躍度。下一步應用自己的提示與多輪任務測量完整等待時間,分開記錄開始回覆前及逐字生成時的延遲,再決定記憶體配置。

GitHub

Categories: 開源, 模型, Qwen, DeepSeek, Gemini, LLaMa, 推理引擎

Code World Model 2.0:邁向無限可控影片生成

它把場景控制交給 proxy,讓影片模型負責外觀與光照,並以連續串流處理長時間畫面。

Code World Model 2.0 overview: diverse proxies, action-driven branching, adaptive granularity, orbit views, subject and

畫面可以長時間生成,控制卻不必鎖死在單一格式。Code World Model 2.0 是一套世界模型影片生成系統,實際由 Invoker-Render 負責把結構代理轉成影片。在 140 個 held-out rollouts 的比較中,Invoker-Render 整體 Elo 為 1343.2,高於 SolarRenderer (Causal) 的 1245.3、StreamRender-H3 的 1051.9,以及 Streaming CWM 的 359.6;四個評審項目均排首位。

它處理的不是單純文字轉影片,而是「誰控制世界、誰負責畫面」的分工。上游引擎維持世界狀態,輸出 structural proxy;Invoker-Render 再根據 proxy、參考首幀和文字生成材質與光照。30 分鐘賽車示範以粗略 racing proxy 連續生成,中途沒有剪接或重設,但這個示範使用了預設服務沒有開啟的 reference-guided quality policy,因此不能直接當成一般部署的吞吐量保證。

proxy 可以理解成影片的結構草稿:它指定鏡頭路線、場景佈局和物件動作,卻不負責最後的外觀。同一模型可在執行時接受 semantic maps、sparse 3D boxes、subject masks、shaded geometry 或 boxes with skeletons。固定首幀和場景後,只改 proxy 就能改鏡頭路線;固定首幀和鏡頭路線後,改 proxy 就能改場內物件動作,這種拆分比每次重新生成整段影片更容易追查控制是否真正生效。

研究展示並非只把幾段漂亮片段放在一起。Camera control 固定首幀和場景,只替換鏡頭 proxy,藉此排除外觀或場景變化造成的誤判;world dynamics 則固定鏡頭,只改變交通、行人或橋樑動作。Proxy correspondence 會把 proxy 與輸出逐幀疊加,觀眾可調透明度核對物件位置,直接檢查模型是否跟隨結構,而不只依賴主觀畫質。

串流版本建基於 MiniMax-H3、SGLang 和 SGLang-Omni,並以 Progressive Forcing 分階段訓練,每個 chunk 在生成時執行 4 步。每個 chunk 只讀取固定的 appearance anchor 和有限範圍的近期生成記錄;只要持續收到 proxy 畫幀,同一個 session 就能繼續生成。這正是它和一次生成固定長度影片的做法不同之處,但也代表長時間一致性仍取決於持續輸入的 proxy 及狀態管理。

Code World Model 2.0 部署門檻不低:需要 Linux、Python 3.11 或 3.12、NVIDIA CUDA,預設 production 設定在單一節點使用 8 個 GPU。模型權重放在 Hugging Face 的 inclusionAI/invoker-render-1.0,儲存庫本身沒有附權重、prepared bundle、獨立 lockfile 或個別 checkpoint 的 artifact.json,使用者要按匹配的訓練設定、encoder checkpoint、generator weights 和 prompt 組合資產。檔案推理亦要求首幀為 1344×768 RGB,proxy 影片為 24 FPS,幀數符合 17*N+5 且至少 39 幀;完成後才會輸出 video.mp4 和 inference.json。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 世界模型, 模型訓練, Qwen, Google, NVIDIA, Video, 工具, 3D, Linux, Python, 庫, 蘋果, MiniMax

ALIVE:讓串流影片模型追蹤事件並主動求證

ALIVE 把持續觀看影片的模型推向多輪互動:能等待事件發生、跟進改變中的指示,也會在證據不足時請用戶補充。

ALIVE

等事件出現才回應,線索不足時先問清楚,ALIVE 想補上串流影片模型欠缺的互動能力。它是一個串流影片模型,處理持續影像中的事件監察、多項任務協調和回饋索取;在四個公開基準及 FSI-Bench 上,項目文件稱它在比較模型中取得最高整體分數,但未列出分數或比較名單,暫時難以判斷領先幅度。

例如,用戶要求看到某物件時才通知,模型要持續觀察,而不是只回答當下畫面。FSI-Bench 有 1,235 個 feedback-seeking examples,測試情境資料不足時,模型能否找出缺少的前提、索取回饋,再完成任務。這個測試把「問得對」與「最後做完」放在同一流程檢查,避免只因模型頻繁追問,就被當成善於互動。

ALIVE 的三種互動能力各自對應不同工作:Proactive Monitoring 等指定事件出現才回應;Streaming Task Coordination 在多項請求並行時,按新指示更新任務;Feedback-Seeking Interaction 則在畫面不足以判斷時,請用戶澄清、採取具體行動,或同意繼續監察。串流影片模型通常把請求分開處理,ALIVE 嘗試把它們放進同一段持續對話,代價是判斷錯誤會累積在多輪流程中,而不只影響一個答案。

訓練分兩階段,目的在於分開教模型「何時回應」和「如何在多輪互動中取捨」。第一階段的 contrastive supervised fine-tuning 用對照例子教模型因應證據和用戶要求選擇回應或保持沉默;第二階段以 reinforcement learning 調整後續決策。其 Behavior-Aligned Credit Assignment(BACA)結合整段互動與局部表現的評分,讓模型不只看最後答案,也能修正中途的回應、任務選擇和沉默時機。

ALIVE-SFT-288K 有 288,436 個 interaction examples 訓練資料,供 supervised fine-tuning 使用;ALIVE-RL-3K 有 3,523 個 interaction examples,供 reinforcement learning 使用。這些規模說明模型經過大量互動例子訓練,但不能單憑樣本數推斷資料涵蓋範圍或答案可靠度;項目文件目前把訓練資料列為未完成公開項目。

要測試本機瀏覽器示範,需要 Linux、Python 3.12 和兩張 GPU:一張執行 ALIVE,另一張供語音辨識及語音合成共用。模型 checkpoint 是 ALIVE-Team/ALIVE(ALIVE-8B);示範另用 Qwen/Qwen3-ASR-1.7B 辨認語音,以及 Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice 合成語音。啟動後,項目文件指示在瀏覽器開啟 https://localhost:8090;這是本機示範所需的環境,不等於已提供可直接接入現有服務的部署方案。

兩張 GPU 的門檻不低,示範又同時依賴 ALIVE、ASR 和 TTS,任何一環未能正常運作都會妨礙語音互動測試。公開 benchmark 的逐項分數、比較模型名單和測試設定尚未列明,benchmark and evaluation code 亦仍待發布;因此團隊可以先檢查示範是否符合工作流程,但未宜只憑整體排名決定模型選型。

需要監察長時間影片、同時跟進數項指示,或在視線受阻時向操作員索取新畫面的團隊,會較直接感受到 ALIVE 的設計差異。目前有 ALIVE-8B checkpoint 和本機 web inference 示範,但未交代訓練硬件與時長,資料集和 FSI-Bench 連結亦標示為即將推出。下一步可先按指定雙 GPU 環境跑示範,再等逐項評測與資料公開後核對它在目標情境中的表現。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, 清華大學, 字節跳動, 文字轉語音, AI productions, 模型, 模型訓練, Qwen, Video, Image, Linux, Python, 語音, Dataset 數據集, 強化學習

AURA 2.0:看影片時模型會自行判斷何時開口和行動

AURA 2.0 持續接收鏡頭畫面,能主動回應、呼叫工具並指向畫面物件。四項公開基準的結果領先多個比較模型。

AURA 2.0 logo

鏡頭一直開着,模型不必等人提問才回應。AURA 2.0 是一套即時視訊對話模型與示範工具,能結合連續畫面和對話記錄,判斷是否開口、何時回答,再以串流語音回應。它也能選用工具,並把回答連到畫面中的具體物件。

在 ProactiveVideoQA 四個數據集的平均分(ω = 0.5)中,AURA 2.0 (9B) 得 50.75,高於 MOSS-VL-Realtime (11B) 的 47.18;同一評測中,JoyAI-VL-Interaction (8B) 得 36.95。這個差距反映模型不只要答對,還要判斷何時介入;但分數只代表該基準的設定,不能直接當成日常對話品質保證。

瀏覽器示範把互動放在視訊通話流程內:使用者按住 Hold to talk 說話,放開後送出,也可打字或在畫面上畫記號。收到第一個視訊封包後才可輸入文字問題。模型用 Stream-Aware Tool Calling 按需求選工具和參數,取得執行結果後再作答;Interactive Visual Grounding 則把回答連回特定畫面物件,減少「你說的是哪一個」的含糊。

PhoStream 的 Overall 總分中,AURA 2.0 得 65.69,MOSS-VL-Realtime 得 43.88,JoyAI-VL-Interaction 得 33.40;VideoLLM-Online 得 12.34,MMDuet2 得 4.96。這些結果來自技術報告所列評測,不是同一套綜合分數:IPIBench、StreamArena 和 ProactiveVideoQA 各按指定方式平均,PhoStream 則採用報告的 Overall。研究訓練時亦特別處理沉默與回應標記數量不平衡,對兩類標記使用 focal loss,其餘受監督 token 使用交叉熵,目的是避免模型只因常見標記較多而偏向沉默或回應。

要試用示範,需在 Linux x86_64 伺服器部署;開發環境為 Ubuntu 22.04,安裝環境使用 Python 3.12、固定版本的 vLLM 0.33 wheel,以及隨附的 vLLM-Omni。項目文件驗證的是兩張 80 GB 加速器:一張跑 AURA,另一張共用作語音辨識和語音生成;依賴和模型權重至少要預留 50 GB 磁碟空間。啟動後可在本機瀏覽器開啟 gateway,手提電腦可經 SSH tunnel 連線;亦提供 Docker 部署方式,但沒有預建的公開映像。

硬件門檻是單卡配置需約 70 GB 可用記憶體。兩卡配置預設為 AURA 預留約 90%,語音辨識和生成共用的另一張卡預留約 38%;單卡配置預留 88%。即使改用 AURA 2.0 BF8,記憶體預留比例也不會自動下降,因此不能只看量化權重便假設能放進較細的硬件。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, 華為, AI productions, 模型, 模型訓練, Qwen, DeepSeek, API, Video, Image, 工具, Linux, Python, 語音, 安全, Dataset 數據集

M³OPD-Reasoner:以多教師 On-Policy Distillation 進行多模態推理後訓練的開放配方

先讓各領域教師教同一個學生,再用同一批題目繼續訓練,成績仍會提升;代價主要落在訓練資源。

The recipe as a story: one GSPO teacher per domain, MOPD into one student, MixRL on top, one model for all domains

同一批題目,學過仍能再進步。M³OPD-Reasoner 是一套多模態模型後訓練配方,把圖像理科解題、圖像理解和影片推理集中到同一模型。訓練資料經全部 21 個 benchmarks 去污染後,最終模型的整體 mean avg@8 accuracy 為 75.9%,高於起點 Qwen3.5-9B 的 69.4%,亦是所列比較中的最佳值;但這不代表每次回答都有同等可靠程度。

配方先訓練各科教師,再把能力交給同一學生,最後繼續強化學習。研究人員要驗證的不是「加新資料會否更好」,而是學生已吸收各領域能力後,同一批 193K prompts 還能否帶來改善。因此最後階段沿用教師的 reward 和 GSPO settings,減少資料及訓練設定改變帶來的替代解釋。

教師全部從以所屬領域的題目進行 GSPO,即依照回應獎勵更新模型的強化學習方法。學生則在所有領域的題目聯集上自行生成答案,再由對應教師逐個 response token 評分。這個 MOPD 流程讓學生學習教師如何分配下一個 token 的機率,而非只照抄預先寫好的答案;訓練採用 top-32 reverse KL,約束學生與教師的輸出分布差異。

主流程沒有 SFT,即先用示範答案作監督微調的步驟。對照組則包括先做 MixSFT 再做 MixRL,以及直接從基礎模型做 MixRL;兩者都把不同領域資料混合,訓練單一模型,不經教師蒸餾。另一條公開配方會先為教師做 SFT warm-up,讓研究人員能分開檢查:改善究竟來自示範答案預熱,還是教師分工後再整合的流程。

同一去污染及 mean avg@8 accuracy 測試下,MixSFT 加 MixRL 的整體成績是 73.5%;直接從 Qwen3.5-9B 做 MixRL 則是 74.4%。各領域教師合併計算為 75.2%,MOPD student 同樣是 75.2%,但前者代表多個教師,後者已是單一模型。學生再做 MixRL 後達到全表最佳的 75.9%;項目文件報告沒有出現能力崩潰,但這仍只支持該資料與設定下的結果。

試用不必重跑教師訓練:可下載 M3OPD-Reasoner-9B,透過 Transformers、vLLM 或 SGLang 載入。模型沿用 Qwen3.5-9B 的架構、文字切分器、媒體處理器及對話格式;重現測試時應開啟 thinking、不加 system prompt,並在問題後附答案格式要求。做圖像或影片分析的團隊,可先用自己的樣本比較最終模型與基礎模型,不能把上述平均成績直接當成業務準確率。

重訓的門檻遠高於載入模型。文件的全部訓練設定都使用 4 個 nodes,每個配備 8 張 H100 80GB GPUs;MOPD 還須分配節點處理教師評分。重現環境涉及 Python 3.12、CUDA 12.8,以及指定版本和補丁的 verl、lmms-engine。資源不足以照搬配置的團隊,不能假設縮小硬件後仍有相同訓練速度或結果;文件亦未交代推理最低硬件要求。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Video, Image, 提示詞, Python, Dataset 數據集, 強化學習

MPEG-Diffusion:混合解像度影片生成

主體保留細節,背景減少運算。MPEG-Diffusion 自行選取高清區域,換取更快的影片生成。

Hero image preview

主體要清晰,背景卻未必需要同樣精細。影片生成研究項目 MPEG-Diffusion 把重要區域以高解像度生成,其餘區域則用低解像度處理。在 Wan2.1 14B、720p、81 frames,採用 MovieGen 與 VBench prompts 的測試中,它使用 30% Tokens,相對全解像度基準加速 4.8×。同表最快的兩種方法達 5.2×,但需要預先指定高清區域;它則在生成期間自行選取。

這個差異直接影響生成前的準備工作:使用者毋須先圈出哪裏要保留細節。生成初期的 denoising,即逐步移除雜訊的過程,畫面仍太模糊,難以從外部偵測重要區域。研究人員因此讀取 DiT 生成模型的 intermediate features,也就是模型處理中的內部資訊,再以單一 linear layer 選區。模型內部已掌握重要主體的位置,這層簡單的選取機制便可在畫面尚未清晰時決定資源分配。

混合解像度的難題不止於選區,還包括不同區域怎樣互相參照。文件指出,當高、低解像度 tokens 共用 K/V cache,即 attention 查閱的資訊暫存區,單一低解像度 token 無法重現它所取代的四個高解像度 tokens 的 attention,fine-tuning 也無法解決。Dual-resolution attention 因此分開保存兩種解像度的 K/V caches,讓每次查詢讀取自身解像度的資訊,再用 linear map 補齊另一解像度缺少的內容。

輸出影片時,直接把兩種解像度各自解碼再拼接,也會留下可見失真與邊界接縫。研究人員發現,即使採用真實影片編碼所得的 latents,這個問題仍然存在;latents 是尚未還原成畫面的壓縮表示。Mixed-resolution decoder 改為先把兩者合併成 unified latent,再交給 VAE 一次解碼成畫面,避免在完成解碼後才硬接不同區域。

要判斷加速的代價,須把質素分數與全解像度結果一起看。上述測試的 Full resolution 使用 100% Tokens,速度定為 1.0×,四項質素指標均為同表最高。MANIQA 為 0.445,Imaging 為 0.671;DOVER 為 0.819,VBench Q. 為 85.3。表內四項指標均以較高為佳,所以「接近全解像度」不能理解為完全沒有質素損失。

同樣使用 30% Tokens 的 Phase-Aligned RoPE 與 Foveated Diffusion,均相對基準加速 5.2×,並要求額外的 region 輸入。Phase-Aligned RoPE 的 MANIQA 為 0.293,Imaging 為 0.622;DOVER 為 0.757,VBench Q. 為 83.8。Foveated Diffusion 的 MANIQA 為 0.300,Imaging 為 0.619;DOVER 為 0.743,VBench Q. 為 83.9。兩者在這個設定下速度領先,但四項質素分數都低於全解像度基準。

MPEG-Diffusion 在相同測試中的 MANIQA 為 0.397,Imaging 為 0.644,兩項均高於上述加速方法。DOVER 為 0.794,同樣領先兩者;VBench Q. 為 83.9,與 Foveated Diffusion 持平。它以較低的加速幅度,換取前三項指標更接近全解像度的結果,同時省去預設區域輸入。這組證據支持的是指定影片設定下的取捨,不能直接推廣至所有模型或生成尺寸。

文字生成圖片亦有示例,項目採用 FLUX.2 4B,解像度為 1024×1024。不過,這部分展示的是方法可延伸至圖片生成,並未提供對應的量化速度比較。對正在測試生成流程的團隊而言,圖片示例可供觀察區域分配效果,影片測試的 4.8× 則不應直接套用到圖片工作流。

背景快速移動時,高、低解像度區域之間的過渡偶爾仍會變得明顯,動態背景因此是後續試片需要檢查的條件。目前研究只訓練選區用的 linear head,端到端 fine-tuning 仍列為下一步方向。程式碼標示為 soon,仍須等待程式碼公開。

項目主頁

Categories: AI productions, 模型, 視頻模型, 模型訓練, Stable Diffusion, Video, Image, World-Action Model

FastFrames:互動影片生成

即時生成影片不只要快,畫面質素也不能大幅退步。FastFrames 以每幀低於 50 毫秒為目標。

FastFrames demo: LingBot camera control with and without FastFrames optimizations

鏡頭一動,生成影片就要即時跟上;等幾秒才看到新畫面,互動體驗便會中斷。FastFrames 是一組自回歸影片生成模型,逐幀根據新輸入生成畫面,處理文字生成影片及鏡頭控制所需的速度問題。

它提供 1.3B 的 FastFrames-S 和 14B 的 FastFrames-L。兩者以兩步影片 diffusion 生成 480p 影片;團隊也把 FastFrames 加速方法套用到 LingBot 1.3B,讓模型依鏡頭輸入控制畫面。和只加快生成步驟的做法不同,FastFrames 重新處理 KV cache 更新和 VAE 解碼;KV cache 是模型保留前文資訊的記憶,VAE 解碼則把內部表示轉回影像。這些環節原本常被當成固定成本,研究團隊的剖析顯示,它們合計可佔端到端延遲一半以上。

測試數字顯示,FastFrames-S 在單張 B200 GPU 上每幀約 36 毫秒,約每秒回應 28 次,生成品質可匹配一個慢近八倍的同級模型。FastFrames-L 在八張 B200 GPU 上每幀約 45 毫秒,約每秒回應 22 次,畫面質素和真實感則更高。這些結果依賴指定的高階 GPU;不能直接推斷一般工作站也能達到同樣速度。

開發者可在 Linux x86-64、NVIDIA GPU 及相容 CUDA 12.8 的環境下載權重,測試文字生成,或啟動 LingBot 互動示範。項目提供延遲剖析及 VBench 評估流程,方便比較速度和生成品質;團隊亦展示 RealWonder 的物理互動案例,但完整體驗仍需按文件配置相關模型權重。

需要即時回應的互動影片研究團隊,會較容易直接測試這套流程;只想在普通 GPU 上生成短片的人,則要先核對硬件與權重需求。公開資料列出主要測試平台和指標,未提供一般消費級顯示卡的對照數字,因此部署前應以自己的硬件重新量度延遲。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, NVIDIA, Video, Image, Linux, 蘋果

TCP4D:追蹤機械人動作與未來軌跡模型

TCP4D 把影片中的機械臂動作接到未來軌跡生成,亦能轉製訓練示範;但環境一變,動作表現仍會退步。

TCP4D Logo

這是一個名為 TCP4D(全稱:A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation)的機器人操作(Robot Manipulation)與電腦視覺研究專案主頁,由香港科技大學、香港理工大學、北京理工大學、新加坡國立大學等機構的研究團隊於 2026 年發表。

TCP4D 把動作追蹤與未來軌跡生成放進同一個模型,處理機械人如何從觀看示範走到執行操作。它圍繞工具中心點(TCP)工作,即機械臂末端用來定位操作的位置,例如夾爪抓取物件時的參考點。

該專案提出了一個統一的 4D 場景表徵模型,將工具中心點(TCP, Tool-Center-Point)的追蹤與未來動作軌跡的生成整合在一起,讓機器人能從純 RGB 影片中理解物理空間運動並學會執行操作任務。

Generator 再沿恢復的軌跡抽取特徵,結合機械人當前觀察與語言指令,生成未來 TCP 軌跡。兩個模組分工明確:前者整理看見的運動,後者利用這些資訊推算接下來怎樣移動。對機械人研究團隊而言,測試時也應分開核對兩步,避免把追蹤準確直接當成操作成功。

另一條實用路線是跨機械人資料擴增:系統重新定位恢復的動作,再合成目標機械人的觀察畫面。團隊可以把已有影片轉製成另一款機械人的訓練材料,減少每次換硬件都重新收集示範的需求。不過,合成資料是否足夠,仍要看它與原始示範如何搭配,不能只憑畫面合理就判斷訓練有效。

ARX-X5 實驗比較只用擴增示範,以及混合原始與擴增示範,直接檢驗兩種資料組合的差別。只用擴增示範的平均成功率為 30.5%,混合後為 72.0%,相差 41.5 個百分點。這支持保留原始示範的做法,但這組比較未能單獨證明,加入擴增資料比只用原始示範改善多少。

把模型放進工作流程前,可以先按以下次序核對需求:

  • 先試追蹤:在介面選取 TCP,再用 infer_stage1.py 執行推理,核對影片的末端運動。
  • 再看生成:觀察預測軌跡是否符合當前畫面及語言要求,別只看是否流暢。
  • 保留原始示範:跨機械人資料擴增需要和資料組合一起測試,不能獨立訓練。
  • 測試環境變化:除了原本條件,也要檢查改變環境後的動作,因為文件已列明相關退化。
  • 核對整合輸入:部署端除了影片,還需要腕部影像、機械人狀態及語言指令。

部署範例以 WebSocket server 接收 RGB 觀察歷史、初始 TCP 位置、當前腕部影像、機械人狀態與指令,回傳 32-step 雙臂 TCP 軌跡及夾爪狀態。Generator 只以 clean RoboTwin demonstrations 訓練,項目文件明確承認環境隨機化會令表現下降。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 香港理工大學, AI productions, 模型, 模型訓練, NVIDIA, Video, Image, 香港, 工具, 3D, Python, Dataset 數據集

MedJev:快速有效理解醫學影像的系統一視覺語言決策模型

MedJev-4B 看完醫學影像便直接替選項評分,省去生成答案的時間;速度優勢,換來的是明確的任務邊界。

overview

MedJev-4B 是醫學影像決策模型,將影像、問題及全部候選答案放進同一個 prompt。模型只運算一次便為各選項評分,再以選項編號作答,將工作集中在有固定答案範圍的影像判斷。

這個選擇直接改變了應用程式接收答案的方式。MedJev-4B 不生成 token,即逐步輸出的文字單位,因此程式毋須等待整段回覆,也不用從句子抽取答案。輸出的編號必定對應候選選項,但格式正確不代表判斷正確;需要描述病灶或交代判斷理由的流程,仍不能只靠這個輸出完成。

MedJev-4B 建基於 Qwen3.5-4B,削減的是語言處理深度。原有 32 層中,首 23 層完整保留,第 24 至 31 層刪除,最後一層只留下 query 和 key projections,即計算問題與選項匹配程度的部分。影像編碼與整合結構則維持原樣,並保留整合後的每個影像單位,避免裁剪時移除細小病灶。省下語言運算、保住影像細節,是理解這次改動的核心。

項目文件報告,在 4 個 benchmark、1 張 H20、batch size 1 的條件下,MedJev-4B 的準確率高於全部 20 個 4B 至 9B 通用及醫療模型。除最小的模型外,其餘對照模型也較慢;與 Qwen3.5-4B 相比,平均準確率高 7.93 個百分點,作答速度為其 6.04 倍。測試前會先合併 LoRA adapter,即訓練所得的模型調整部分,避免額外運算推高延遲。這些結果支持指定硬件與測試集上的優勢,不能直接當成其他設備或工作負載的速度承諾。

準備接入工作流程前,可以先核對以下邊界:

  • 輸入必須附上候選答案,不能只交影像要求自由撰寫報告。
  • 資料準備程式只保留有 2 至 7 個候選答案的樣本。
  • 每宗樣本的所有影像都必須能解碼,參考答案亦須唯一對應一個選項。
  • 輸出可直接接入選項判斷流程,但不附帶文字推理過程。
  • 評測會逐例留下選項概率與延遲,方便追查錯誤集中在哪些個案。

準備好資料後,先用 scripts/prepare_data.py 建立樣本清單並核對剔除數量,再以 scripts/evaluate.sh 產生逐例 JSONL 與 summary.json。要對照公布結果,應在閒置 H20 上以 batch size 1 測試;其他硬件需求與維護節奏未有交代,正式接入前仍須量度自己的延遲與錯誤率。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, NVIDIA, Image, Medical醫學, Python, 庫, LoRA

Page 1 of 194
1 2 3 … 194