NVIDIA

NeMo Switchyard：幫 AI Agent 自動揀模型，慳成本又唔跌質素

2026 年 8 月 11 日

NVIDIA 推出 NeMo Switchyard，等開發者用同一套 SDK 為 Agent 動態揀選最啱用嘅模型，兼顧成本、延遲同質素。

揀模型往往是部署 AI Agent 嘅最大難題之一。每一個請求嘅需要都唔同：有時要做分類，有時要做推理，亦可能只係簡單跟進任務。如果全部交俾最貴嘅模型，成本同延遲即刻飆升；硬揀細模型又會喺複雜任務上跌質素。NVIDIA NeMo Switchyard 就係為咗處理呢個矛盾而設計嘅 routing 框架。

開發者可以將 Switchyard 理解為一個智能分流器：每次有請求進入，router 會根據模型能力、成本同基建狀況等即時訊號，決定交俾邊個模型處理。整個判斷過程毋須事先大量微調，支援 tuning-free 同 tunable 兩種路由演算法，亦因為採用 provider-agnostic SDK，邏輯同具體模型供應商解耦，轉換模型時無需重寫應用。

Switchyard NVIDIA's Local Agent Router

Watch this video on YouTube

呢套做法同「全部用一個模型」嘅常見做法相比，最大差異在於將選模型變成可調控嘅政策。LangChain 同 Cognition 等合作實測顯示，路由後既能維持高準確率，又能明顯降低成本。對於需要同時處理多類任務、又關心成本曲線嘅 Agent 工作流，呢種 system-of-models 嘅思維比起死鎖單一模型更貼近實際環境。

重點摘要：

動態路由：根據每次請求嘅 context、能力、成本同延遲限制，即時揀選最合適嘅模型。
彈性 SDK：provider-agnostic 設計令開發者無需為每個模型供應商重寫應用。
支援兩種路由策略：由 tuning-free 到可微調演算法，畀開發者按需要調整。
成本與質素平衡：實測顯示可以在保持高準確率嘅同時顯著降低開支。
即時訊號驅動：用 runtime 訊號做調度，適合 production 環境嘅 agent workflow。

對於正在建構多步驟 Agent、又唔想被單一模型綁死嘅團隊，NeMo Switchyard 提供咗一個相對務實嘅選擇：將「揀模型」變成可觀察、可調校嘅環節，而唔係每次模型換代都要由頭來過。

項目主頁

Categories: Agentic, 模型訓練, NVIDIA, API, 框架, LangChain

WorldTrace 令世界模型影片記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

做長時間影片生成時，Video World Models 最易出現的問題唔係畫面唔夠靚，而是走出訓練長度之後開始「唔認得之前見過乜」。WorldTrace 針對的正是呢種視覺記憶失效：它屬於 Video World Models 的記憶機制改良方法，重點是令 Key-Value (KV) cache 裡已壓縮的內容，過了原本訓練範圍之後仍然可以被模型重新定位和讀取。

核心思路不是再訓練一個新生成器，而是用 training-free 方式處理記憶可尋址性。研究指出，問題關鍵在 temporal Rotary Positional Embeddings (RoPE) 偏移超出訓練 horizon 後，注意力機制即使保留了舊畫面資訊，都未必再讀得到；再加上在 RoPE 旋轉空間直接平均 key，會令不同 phase 互相抵消，令記憶內容變得模糊。WorldTrace 透過固定、仍屬 in-distribution 的 slot 位置保存壓縮記憶，避免記憶「存在但搵唔返」。

同一套記憶框架下，它分成兩個方向：WorldTrace-Field 用 rotation-invariant 的歷史聚合方式，支援較連貫的長 rollout；WorldTrace-Landmark 則保留較接近原樣的 scene traces，讓模型隔了更長時間後，仍有機會回想曾經到過的場景。這種分工反映出一個很實際的取捨：有些情境重視連續生成的穩定性，有些則更需要精準回憶特定地點或視覺片段。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper。

項目主頁 · 項目

Categories: Embedding, 世界模型, 模型訓練, NVIDIA, Video, 框架, Dataset 數據集

WorldTrace 令影片世界模型記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper，但公開內容目前集中在方法動機與設計，效能細節在這份摘要材料中仍然有限，閱讀時應留意完整論文是否提供更完整的量化結果與測試設定。

項目主頁 · 項目

Categories: Embedding, 世界模型, 模型訓練, NVIDIA, Video, 框架, Dataset 數據集

free-claude-code：一個代理層打通 Claude Code 與 Codex

2026 年 8 月 5 日

想保留原生開發代理體驗，又想自由換模型與供應商，free-claude-code 正正補上這個缺口。它把 Claude Code、Codex 同 Pi 接到同一個可管理入口。

用開 Claude Code 或 Codex 的人，最在意通常唔係再裝多一個聊天介面，而係可否繼續用原生 model picker、串流回應、tool use 同 image input，同時改用自己揀的模型供應商。free-claude-code 就係一個 proxy 工具，把 Claude Code、Codex、Pi 及其 IDE 擴充功能接到自管入口，處理多供應商切換同路由分發。

它的價值在於工作流幾乎唔使重學。你可以照用 fcc-claude、fcc-codex 或 fcc-pi 啟動對應代理，Windows 同 macOS 亦可放在背景執行，再到本地 Admin UI 揀選並驗證供應商。可在 31 個 cloud 與本地 providers 之間切換，亦可把 Fable、Opus、Sonnet、Haiku 同 fallback 流量分別導向不同模型，這點對想控制成本、速度同能力分工的團隊幾實用。

跟直接綁死單一 API 的做法相比，這個項目押注在「保留原生客戶端體驗，再用 proxy 抽換後端」。代價是相容性要靠代理層維持，所以它明確強調只會在兼容模型上保留 streaming、tool use、reasoning 同 image input；換句話說，模型可揀得更自由，但不是每個後端都保證功能完全一致。

支援 Claude Code、Codex、Pi，同時保留各自原生 model picker
透過本地 Admin UI 管理與驗證 31 個 cloud／本地 providers
可把不同流量類型分流到不同模型，方便平衡成本與能力
適合想用本地模型、付費模型或免費模型混搭的開發團隊

安裝與測試方式偏向開發者工具鏈：項目以 Python 3.14、uv、Pytest、Ruff、Ty 組成，部署重點不是雲端託管，而是先在本機跑起 proxy，再讓代理客戶端經它連線。現階段最適合已經在用 Claude Code 或 Codex、又想統一管理模型入口的人；追求零設定即用的讀者，會覺得它比較像一層需要自己維護的基建。

GitHub

Categories: 開源, NVIDIA, API, Image, 工具, IDE, Mac, Python, 編程, Anthropic, UI/UX

JoyAI 把即時串流影片編輯推向 720p

2026 年 8 月 5 日

影片逐幀抵達便可按文字指令修改，JoyAI-Video-Edit 以 30.19 FPS 連接即時攝影與生成式編輯。

直播畫面或上載影片不必等到完整片段準備好，便能一邊輸入自然語言指令、一邊看到修改結果。JoyAI-Video-Edit 屬於開源影片生成及影像處理模型，處理的是影片串流中延遲高、必須預先知道片長，以及難以維持連貫性的編輯流程。

它支援主體修改、局部區域調整、背景替換、風格轉換、動作改變和參考影像引導，適合互動示範、直播效果及需要即時預覽的創作工具。系統以 Multimodal Large Language Model（MLLM）條件編碼器、causal video Variational Autoencoder（VAE）及 16B-parameter Multimodal Diffusion Transformer（MMDiT）組成，逐段處理新抵達的畫面。

同類影片生成方法往往先取得完整影片，再一次過進行離線處理；JoyAI-Video-Edit 改用 autoregressive diffusion，配合 aligned autoregressive distribution matching distillation、long-horizon optimization、bounded Key-Value state（KV-state）inference 和 deployment-oriented scheduling，換取串流速度。不過，這種設計仍要留意長時間輸出可能出現的 temporal drift，而且消費級 GPU 支援仍列為待辦工作。

部署基準在 720×1280 解像度達到 30.19 FPS end-to-end throughput，代表系統已接近互動式影片處理所需的速度，但不能直接等同於所有硬件和指令下都能保持相同表現。Hugging Face 提供 JoyAI-Video-Edit checkpoint，GitHub 同時提供部署程式碼和線上 Demo，較適合具備 GPU 資源、希望整合影片工作流，或研究 Computer Vision 與串流生成的團隊。

即時串流：畫面逐幀處理，不要求預先提供完整影片或固定片長。
指令範圍廣：涵蓋主體、局部、背景、風格、動作及參考影像編輯。
速度指標：720×1280 下達到 30.19 FPS 的完整流程吞吐量。
部署取捨：透過 bounded KV-state inference 控制計算量，但消費級 GPU 支援仍未完成。
適用人群：影片工具開發者、直播創作者及需要即時預覽的研究團隊。

GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, 蘋果, Dataset 數據集

CADENA 把 3D 網格逐步還原成 CAD 程式

2026 年 8 月 4 日

想由3D mesh 反推可編輯 CAD 流程，CADENA 提供了一條幾務實的路。它唔係一次過寫完整程式，而係每步都先執行、再比較幾何差異。

做 3D reverse engineering，最大痛點唔係生成一段似樣代碼，而係生成之後能否真的建出可用、可編輯、而且封閉的幾何。CADENA 屬於模型加推理流程的參考實作，目標是把 3D mesh 重建成 parametric CAD program；它採用 stepwise inference，每次只發出一個 operation，先執行目前前綴，再用目標幾何與已建幾何的差距決定下一步。

這種做法的價值，在於把「一次過輸出整段程式」改成可檢查、可回退的逐步生成。倉庫內的 inference/ 會做 vLLM 服務、per-operation expansion 同 prefix selection，rl/ 則負責 sandboxed prefix rendering 與排序分數；系統只保留能令 IoU 改善的步驟，所以多走幾步不會令結果更差。代價同樣清楚：部署要 Python 3.10+、CUDA GPU、vLLM，同時依賴 OpenCASCADE via CadQuery，環境比一般 Vision-Language 模型推理更重。

模型本身用的是 Qwen2-VL-2B policy，Hugging Face 釋出 sft 與 rl 兩個階段，當中 rl 對應 CADENA-RL。輸入不是單張截圖，而是八個視角拼成一張圖，六個軸向視圖加兩個等角視圖；目標物放在綠色通道，當前已建立幾何放在紅色通道，模型讀到的其實是尚未補齊的殘差。這種設計直接把「下一刀應該補邊度」轉成視覺訊號。

幾個值得留意的重點：
– 倉庫提供完整推理、資料集建立、評分與可視化流程，但不包含用來合成訓練語料的 rule-based program generator。
– cadgen/ 只有 DSL runtime 的執行半部，較適合做還原、測試與基準比較，唔係完整資料生產管線。
– 預設流程會由 mesh 目錄建立 inference dataset，再輸出每一步的程式、輸入圖同 built STL，方便檢查中途錯誤。
– 無效預測會被剔除：建不出來，或者結果不是 watertight，都不算有效答案。
– 評分包含 GMS、IoU、CD，而且結果會按 family 及整體一併報告，避免單一類型零件拉高平均值。

適合研究 CAD reverse engineering、幾何生成、製造前處理，或者想把 mesh 轉回可參數化編輯流程的團隊。現階段最實際的理解方式，是把 CADENA 看成一套偏研究導向、但已經有明確 benchmark、checkpoint 同 rollout 腳本的開源項目；可重現性做得不錯，不過完整訓練資料生成鏈未公開，想延伸到自家資料或重訓流程，仍要補上不少工程工夫。

GitHub · 模型

Categories: 開源, 多模態模型, Qwen, Google, NVIDIA, 框架, 3D, Python, Dataset 數據集

DEFT-RLVR 用延後曝光減少自動駕駛 VLM 誤判

2026 年 8 月 4 日

自動駕駛 Vision-language-action models 唔少都會被正確軌跡「提示」到答啱。DEFT-RLVR想處理的，正是這種看似會推理、其實先知道答案的偏差。

Ground-truth trajectory exposure can induce post-hoc rationalization and hallucination.

自動駕駛 Vision-language-action models 一旦在推理前先見到真實未來軌跡，很容易把答案合理化，卻未必真係根據場景作判斷。DEFT-RLVR 屬於訓練與驗證框架項目，核心是把「先看場景作決定」同「之後再對照候選軌跡」拆開，減少 trajectory anchoring bias。

它的做法唔係直接生成開放式座標，而是先用 AD-MCQ 把規劃問題改成多選題，再用 DEFT 兩階段流程處理：模型先做 candidate-blind scene reasoning，之後先見到候選軌跡再揀答案。這種設計的好處，是答案可被精確核對；代價則是任務表述被收窄到候選集合之內，較接近「可驗證決策」而唔係完整路徑生成。

針對的不是感知本身，而是推理監督被答案污染的問題
AD-MCQ 保留 braking、speed 同 lateral geometry 等差異，方便精確評分
DEFT-RLVR 用 GRPO 聯合優化，並且可選用 rubric 監督推理過程
RL 階段直接由 base VLM 開始，毋須 cold-start SFT
模型採用 Qwen3-VL

部署門檻不算低。項目要求另行安裝支援 CUDA 的 vLLM，Waymo codebook reconstruction 還要額外用 Python 3.9 的 autovla waymo py39 環境；預設 recipe 亦明顯偏向大型多 GPU 節點，小型設備需要自行調整 tensor parallelism、batch size、sequence length 同 offloading。

目前公開資訊顯示，它在 AD-MCQ-500 上同時提升 trajectory selection 與 candidate-blind reasoning，較穩妥的判斷是：這套方法對研究自動駕駛 VLM/VLA 訓練可靠性、想避免「先知答案再解釋」的團隊尤其有參考價值；要落地到更開放的真實規劃流程，仍要看候選軌跡構建與算力成本能否接受。

GitHub

Categories: 開源, 視覺模型, 多模態模型, NVIDIA, VLA, Python

Poplar 把人像數據集生成變成可追溯流水線

2026 年 8 月 4 日

想建立可重現的人像圖文數據集，難處往往唔係生成，而係點樣保留規格、來源同質檢。Poplar正正將呢三步串成可審核流程。

生成人像圖文數據集最易失控的地方，不在於出圖本身，而在於之後很難追查提示詞有冇被改動、畫面為何被淘汰、覆蓋範圍是否足夠。Poplar把呢件事做成一條開源流水線兼框架，專注處理 human-centric image-text dataset synthesis，將 Specify、Render、Inspect 三段分開，又用 append-only JSONL 記錄每一步。

它的做法幾務實：先抽樣人物、服裝、活動、場景、取景與光線等結構化屬性，再由 Qwen3.5-27B-FP8 把規格寫成攝影導向提示詞；之後用 Krea 2 Turbo 配合 Krea2-realism-V2 生成，每個規格只出一張圖，最後再由同一個 Qwen3.5-27B-FP8 檢查圖文是否一致、是否有明顯缺陷。重點不只是「生成到」，而是連 prompt hash、seed、重試紀錄、缺陷標記同審核時間都留底。

適合研究團隊、數據工程、訓練視覺模型前的數據建設工作
差異在於把語意覆蓋、渲染來源與質檢決策全部做成可追溯紀錄
部署門檻不算低，已發佈排程要四張 NVIDIA GPU，並需相容 CUDA 12.6 的 PyTorch 環境
質量控制包含保守式 deterministic prefilter，會重試近灰階、嚴重模糊、低細節或損壞輸出

跟只看單張生成效果的做法相比，Poplar更重視整批數據集能否重現與審核，取捨是硬件需求較高，流程亦偏向資料生產而非互動創作。現有資料未見完整基準分數，但它把審核 rubric、prompt mismatch severity、evidence 與 confidence 都納入 review records，對要建立可交付數據資產的團隊，價值相當直接。

項目主頁 · GitHub

Categories: 開源, Qwen, NVIDIA, Image, Python, Dataset 數據集

NVIDIA FastGen 平行解碼的加速擴散生成訓練

2026 年 7 月 31 日

NVIDIA 團隊把擴散模型加速訓練與蒸餾流程整理成同一套框架，重點不止是跑得快，亦方便跨影像與影片任務重用方法。

由 NVIDIA 團隊主導，Weili Nie、Julius Berner、Chao Liu 與 Arash Vahdat 是署名作者，核心貢獻者亦包括 Weili Nie、Julius Berner、Chao Liu。這個項目放在 NVlabs 名下，定位很明確：它不是單一生成模型，而是用 PyTorch 建成的訓練框架，集中處理 diffusion models 的加速與蒸餾，讓影像與影片生成可以用較少步數完成推理，同時保留大規模訓練能力。

與一般只提供某一種加速技巧的研究代碼不同，FastGen 把 consistency models、distribution matching distillation、self-forcing、KD 等方法放進同一套結構，並且覆蓋 T2I、I2V、V2V 多種任務。這種設計的價值，在於研究團隊可以在相近配置與資料流程下比較不同蒸餾路線，而不是每試一種方法就重砌整套訓練管線。

基本理解方式：代碼庫包含 datasets、methods、networks、trainer 與 scripts，顯然以訓練、推理、評測三部分分開整理；環境方面建議用 Docker，也保留 conda 安裝路線，並支援 W&B 記錄。不過公開資訊未有列出完整 quick start 細節、現成模型清單或基準成績，現階段較像面向研究與工程團隊的基礎框架，而不是開箱即用的消費級生成工具。

Prompt:
4 NFE PDD on Wan2.1 14B: A joyful child, 
with a big smile and arms spread wide, 
swings energetically on a rusty old swing set in a sunlit backyard. The swing set, with peeling paint and creaking chains, 
contrasts against the vibrant green grass and blooming flowers surrounding it. 

The child's laughter echoes as they swing higher and higher, 
their feet barely touching the ground at the bottom of each arc.
 
The scene is captured from a low angle, 
emphasizing the height of the swings, 
with the sun casting a warm glow over everything.
Medium shot focusing on the child and the swing set.

屬於框架型項目，處理的是 diffusion models 如何更快生成，而不只是再訓練一個新模型
支援 ≥10B 參數的大規模訓練，較適合有多卡資源的團隊
任務涵蓋 T2I、I2V、V2V，對跨模態生成研究較有吸引力
方法層同時納入 consistency models、distribution matching distillation、self-forcing 等路線，方便做橫向比較

配合 NVIDIA 研究頁面的 FastGen-PDD 脈絡來看，這個項目也像是承載後續加速生成方法的底座，尤其面向 image 和 video generation 的 parallel decoding distillation。對想建立自家快速生成訓練流程、測試不同蒸餾策略，或者需要把大型 diffusion 項目整理成可維護代碼庫的團隊，FastGen 的參考價值高；但想直接下載即用、立刻看到完整評測結論的人，現有公開資料仍然偏少。

項目主頁 · GitHub · Paper

Categories: 開源, 視頻模型, NVIDIA, Video, Image, txt2img, Python, 語音

LTX-2.3 Black-Magic 黑暗補景 LoRA

2026 年 7 月 31 日

夜景片段唔夠光，未必只係拉高亮度就解決到。呢個 LoRA 走生成式 VFX 路線，重點係補出畫面可能存在的內容。

拍到過暗片段時，最直接嘅痛點係一加光就爆雜訊、細節仍然唔見。LTX-2.3-Black-Magic-LoRA 明確建基於 Lightricks/LTX-2.3，以 adapter 形式提供 IC-LoRA，定位唔係忠實還原訊號，而係替黑位內容做具時間連貫性嘅生成式重建，所以更接近 video-to-video 視覺特效模型，而唔係傳統 low-light enhancement。

取捨亦講得好清楚：當原始畫面資訊太少，模型會「推斷」暗處可能有咩，而唔係保證還原真實場景。呢種做法對氣氛鏡頭、夜景、舞台火光、森林或室內昏暗片段有吸引力，因為畫面觀感會比單純提亮更自然；但用喺證據保存、監控取證或要求真實性的工作，就要非常審慎。

項目提供嘅技術資訊相對精簡。已知它使用 diffusers，pipeline tag 係 video-to-video，模型檔案列出 black-magic-ic-lora-450.safetensors，而名稱中標示對應 LTX-2.3 22B。不過頁面截圖內容未見上下文長度、GGUF 格式量化、mmproj、llama.cpp、Ollama、LM Studio、MTP draft speculation、v2 更新紀錄、檔名變更或 chat template 說明，代表呢頁並唔係本地 LLM 部署型模型卡，相關部分無法確認。

基礎模型已明示為 Lightricks/LTX-2.3，關係為 adapter，而唔係完整重訓主模型。
能力核心係 shadow reconstruction，重建暗部觀感，唔等於忠實還原原始訊號。
標籤集中在 ltx-video、low-light、generative-video、vfx、lighting，用途相當聚焦。
已知檔案只有 black-magic-ic-lora-450.safetensors。

同一般曝光修正最大分別，在於接受「畫面不夠資料時需要生成補完」呢個前提。使用者應該將它視為風格化且偏後期製作取向嘅影像模型；想改善觀感、保住影片連續性，它有明確價值，但要用作真實場景還原，頁面本身已經劃清界線。

項目主頁 · 模型

Categories: 開源, 視覺模型, NVIDIA, Video, Image, Python, LTX

Page 4 of 11

« Previous 1 2 3 4 5 6 … 11 Next »