模型訓練 – Page 8

MBA：把商業點子變成多模態評測題

2026 年 8 月 13 日

MBA 將商業點子生成拉回真實場景，讓模型不只看文字，還要理解圖片、情境同市場證據。它同時提供評測基準同兩個 agent 訓練版本，方便比較不同取捨。

MBA（Multimodal Benchmark and Agents for Real-World Business Ideation）把原本偏文字的商業構思流程，改成要連圖片、場景同市場證據一齊理解的多模態任務。對做產品構思、創業點子篩選或研究 agent 的團隊來講，重點唔係生成幾多答案，而係點樣喺真實視覺線索下提出夠新意、又講得通的方案。

這個項目同時提供 MBA-Bench 同兩個 agent，MBA-b 同 MBA-k。前者偏盲測設定，後者會利用已知標準，兩者都用 LoRA-based supervised fine-tuning，再接 group relative policy optimization，並加入 creativity、feasibility 等獎勵去訓練。

官方資料提到，MBA-Bench 有 30K 筆樣本，涵蓋六個有明顯視覺線索的領域，評估亦用多個商業向準則去看答案是否具體、可行、具差異化同可擴展。這代表它不只是比模型「講得靚」，而是逼系統在多個限制之間作取捨。

倉庫提供環境設定、資料準備、訓練同推理流程；資料亦可從 Hugging Face 取得，適合想重跑基準、改 reward 設計，或者把 multimodal agent 套到商業 ideation 工作流嘅研究者同工程團隊。現階段最它把 business ideation 由純文本任務，推向更接近現實訊號的評測框架。

同時有 benchmark 同 agent，方便做訓練、比較同復現
強調圖片與市場證據，唔再只靠文字提示
以 creativity 同 feasibility 作核心獎勵
MBA-b 同 MBA-k 對應 blind 與 known 兩種設定
適合做多模態 agent、產品構思同商業研究的團隊

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, 模型訓練, 框架, Dataset 數據集

LTX-2.5 原生多鏡頭、4K HDR，一次看懂升級重點

2026 年 8 月 12 日

LTX 最新開源基礎模型 LTX-2.5，主打原生多鏡頭銜接、4K HDR，並降低重試與算力成本，繼續走開放權重路線。

如果你是用開源模型做影片生成的開發者，LTX-2.5 這次更新解決的卡位頗明確：人物、環境、光線與聲音在多鏡頭之間斷裂的問題。它把多鏡頭生成變成原生能力，並加入自動時長預測，模型會按指令動作自行決定片段長度，省下人手剪接的麻煩。

對比起多數只能透過後製拼接的同類方案，LTX-2.5 在 prompt 跟隨度上也有明顯進步，能夠處理更複雜的創作指示，而且只需要更短的提示詞就能產生穩定結果。配合新的擴散影片解碼器，動態假影更少，畫面在高解析度與 HDR 下仍能逐格保持質感。

本地部署與微調是這次版本延續的核心承諾：開源權重可直接下載，預訓練基礎模型可在自家做 LoRA 微調，產出與後製則支援原生 RAW workflow，貼近專業調色與剪接流程。

從官方比較表來看，目前維持開放權重且不受地區限制的開源視頻生成選擇仍然有限，這也是 LTX-2.5 在定位上最值得留意的差異化。不過實際表現仍需視本地硬件配置與工作流整合程度而定。

重點摘要

原生多鏡頭生成：人物、環境、光線與聲音在不同鏡頭間保持一致。
自動時長預測：依據動作需要自動決定片段長度。
4K HDR 與原生 RAW：支援專業調色與後製 pipeline。
Gemma 4 12B 文字編碼器：搭配自研提示詞增強器，提升 prompt 跟隨度。
開源權重可下載：可在本地硬件運行，並支援 LoRA 微調。

項目主頁

Categories: 開源, AI productions, 數字人, 多模態模型, 視頻模型, 模型訓練, Video, Image, LTX

NeMo Switchyard：幫 AI Agent 自動揀模型，慳成本又唔跌質素

2026 年 8 月 11 日

NVIDIA 推出 NeMo Switchyard，等開發者用同一套 SDK 為 Agent 動態揀選最啱用嘅模型，兼顧成本、延遲同質素。

揀模型往往是部署 AI Agent 嘅最大難題之一。每一個請求嘅需要都唔同：有時要做分類，有時要做推理，亦可能只係簡單跟進任務。如果全部交俾最貴嘅模型，成本同延遲即刻飆升；硬揀細模型又會喺複雜任務上跌質素。NVIDIA NeMo Switchyard 就係為咗處理呢個矛盾而設計嘅 routing 框架。

開發者可以將 Switchyard 理解為一個智能分流器：每次有請求進入，router 會根據模型能力、成本同基建狀況等即時訊號，決定交俾邊個模型處理。整個判斷過程毋須事先大量微調，支援 tuning-free 同 tunable 兩種路由演算法，亦因為採用 provider-agnostic SDK，邏輯同具體模型供應商解耦，轉換模型時無需重寫應用。

Switchyard NVIDIA's Local Agent Router

Watch this video on YouTube

呢套做法同「全部用一個模型」嘅常見做法相比，最大差異在於將選模型變成可調控嘅政策。LangChain 同 Cognition 等合作實測顯示，路由後既能維持高準確率，又能明顯降低成本。對於需要同時處理多類任務、又關心成本曲線嘅 Agent 工作流，呢種 system-of-models 嘅思維比起死鎖單一模型更貼近實際環境。

重點摘要：

動態路由：根據每次請求嘅 context、能力、成本同延遲限制，即時揀選最合適嘅模型。
彈性 SDK：provider-agnostic 設計令開發者無需為每個模型供應商重寫應用。
支援兩種路由策略：由 tuning-free 到可微調演算法，畀開發者按需要調整。
成本與質素平衡：實測顯示可以在保持高準確率嘅同時顯著降低開支。
即時訊號驅動：用 runtime 訊號做調度，適合 production 環境嘅 agent workflow。

對於正在建構多步驟 Agent、又唔想被單一模型綁死嘅團隊，NeMo Switchyard 提供咗一個相對務實嘅選擇：將「揀模型」變成可觀察、可調校嘅環節，而唔係每次模型換代都要由頭來過。

項目主頁

Categories: Agentic, 模型訓練, NVIDIA, API, 框架, LangChain

RynnValue 用秒估計機械人完成時間

2026 年 8 月 11 日

它不只判斷機械人有冇做對，仲會估計距離完成仲差幾多秒。呢種時間式價值訊號，令強化學習獎勵設計變得直接得多。

機械人操作最難的不只是識別動作成敗，而是要持續知道距離完成指令仲有幾遠。RynnValue 就是針對呢個空缺而來的模型項目：它把機械人影片連同文字指令一齊讀入，逐格預測剩餘完成時間，並輸出自然語言分析，讓進度估計、失敗偵測與 VLA（vision-language-action）policy 的獎勵建構可以共用同一套訊號。

它和常見進度分數或偏好標註做法的分野很清楚。RynnValue 不靠人工標出「較好」軌跡，也不把進度硬壓成 0 到 1，而是直接學習 goal-conditioned cost-to-go 的物理時間；標籤來自時間戳，配合子任務切分與 cutoff relabeling，於是能擴展到 7,000 多小時、約 300 萬段 instruction-conditioned clips 的異質機械人資料。這個取捨帶來的好處是可擴展，代價則是模型必須更好地處理長尾任務時長與不同視角、不同 embodiment 的差異。

RynnValue 連同完整工具鏈一併提供。你可以把它理解成一套由 HuggingFace 相容模型、影片推理示範，到 reward-model benchmark 與強化學習介面都包起來的研究型工具組；當中 RynnValue 建基於 RynnBrain，實作在 Qwen3-VL architecture 之上，除了預測 absolute 與 relative temporal value，亦會生成影片描述，並判斷 instruction–video 是否匹配、任務是否成功。

核心能力是把「距離完成尚餘幾多秒」變成稠密 value signal
訓練毋須 preference 或 progress annotations，較易放大量異質資料
8B 版本在 RBM-EVAL-OOD 的平均 Kendall’s τₐ 達 0.675，高於文中對照的 fully preference-supervised 方法 0.655
可直接接到 reward shaping，用作 policy ranking、evaluation 與 reinforcement learning critic

為免模型偷看序列位置去猜進度，作者加入 temporal-order shuffling、random temporal sampling，以及 value-isolation attention；消融結果亦顯示這些設計不是裝飾，拿走後指標會明顯下跌。再進一步，它把輸出的 value 轉成 potential-based shaping reward，在雙臂 Franka 的真實機械人學習中，無論 online 定 offline 都比最強 reward-model baseline 有更高成功率。

最受惠的會是做機械人操作、VLA 訓練、reward modeling 與 embodied AI 評測的團隊，尤其想減少人手標註成本、又需要跨資料來源泛化能力的人。限制同樣存在：這類時間距離訊號雖然比二元成敗更細緻，但對任務切分、影片品質與觀測覆蓋仍然敏感，而且它目前聚焦於 robot manipulation，不代表可直接外推到所有 agent 場景。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, Dataset 數據集

UA-NWM 不確定性無人機導航

2026 年 8 月 11 日

無人機朝目標圖片飛行，最難唔係預測一條路，而係判斷目標畫面是否仍屬合理路徑。UA-NWM 解決「模型解釋唔到」的誤差。

戶外無人機導航最易出錯的位置，在於前方畫面未必只有一種合理變化。UA-NWM 把這個問題當成 world model 的評分工作處理，面向 aerial image-goal navigation，唔再只估一個未來畫面再同目標硬碰硬，而係判斷目標圖片是否落在模型預測的未來狀態分佈之內。

它最值得留意的技術點，是用 Hierarchical Error Projection（HEP）把預測與目標之間的差距拆成可由不確定性子空間解釋的部分，同埋解釋唔到的殘差，最後只用後者作為 trajectory cost。呢種做法同單點預測式 ranker 的分別很直接：同樣見到偏差，UA-NWM 會先問偏差是否屬於合理未來變化，而唔係一概當成走錯路。

模型本身會預測未來的 DINO latent features，配合 deterministic future feature map 同 uncertainty subspace 做單次 forward scoring，避免靠隨機抽樣多個未來狀態先完成比較。同一個 checkpoint 可配合兩種 inference strategy，包括 uncertainty-aware 的 UA-NWM 與 deterministic baseline，適合研究團隊直接比較兩種評分邏輯帶來的差異。

適合 UAV 導航、戶外機械人感知，以及要由目標圖片反推行進路線的團隊
重點唔係生成最像的未來畫面，而係判斷目標是否仍在合理未來分佈內
提供 AirGoal-10k 的 training、evaluation、trajectory ranking、CEM/MPC planning 與 visualization workflow
deploy/ 內有真實部署用的 server-side policy wrapper，但原始資料未完整交代整套部署步驟

它已對應 AirGoal-10k，並包含真機 UAV demo、資料集連結與 pretrained checkpoints；受益最大的是需要處理大範圍戶外場景、多解未來觀測，以及想把 world model 直接接到規劃器如 CEM/MPC 的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 清華大學, 世界模型, 模型訓練, Image, Dataset 數據集, 百度

WorldTrace 令世界模型影片記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

做長時間影片生成時，Video World Models 最易出現的問題唔係畫面唔夠靚，而是走出訓練長度之後開始「唔認得之前見過乜」。WorldTrace 針對的正是呢種視覺記憶失效：它屬於 Video World Models 的記憶機制改良方法，重點是令 Key-Value (KV) cache 裡已壓縮的內容，過了原本訓練範圍之後仍然可以被模型重新定位和讀取。

核心思路不是再訓練一個新生成器，而是用 training-free 方式處理記憶可尋址性。研究指出，問題關鍵在 temporal Rotary Positional Embeddings (RoPE) 偏移超出訓練 horizon 後，注意力機制即使保留了舊畫面資訊，都未必再讀得到；再加上在 RoPE 旋轉空間直接平均 key，會令不同 phase 互相抵消，令記憶內容變得模糊。WorldTrace 透過固定、仍屬 in-distribution 的 slot 位置保存壓縮記憶，避免記憶「存在但搵唔返」。

同一套記憶框架下，它分成兩個方向：WorldTrace-Field 用 rotation-invariant 的歷史聚合方式，支援較連貫的長 rollout；WorldTrace-Landmark 則保留較接近原樣的 scene traces，讓模型隔了更長時間後，仍有機會回想曾經到過的場景。這種分工反映出一個很實際的取捨：有些情境重視連續生成的穩定性，有些則更需要精準回憶特定地點或視覺片段。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper。

項目主頁 · 項目

Categories: Embedding, 世界模型, 模型訓練, NVIDIA, Video, 框架, Dataset 數據集

WorldTrace 令影片世界模型記住更遠場景

2026 年 8 月 10 日

影片世界要模型生成得夠長，往往先開始失憶。WorldTrace 針對呢個斷層，想保住長時段生成同遠距場景回想能力。

針對訓練 horizon 以外的記憶失效，而不是單純提升畫質
保持壓縮後的 KV memory 可尋址，重點在 fixed in-distribution slot positions
WorldTrace-Field 偏重長序列生成的一致性
WorldTrace-Landmark 偏重遠距離場景召回與保留視覺痕跡
原始資料將它描述為 training-free，未見提供安裝、下載或部署流程

這類方法較適合需要長時間互動、持續追蹤場景變化，或者要求模型記得自己曾經去過哪裡的工作流，例如互動式模擬、可探索影片環境與長時段世界狀態建模。現有資料亦提到它獲 ICML 2026 F2S Workshop Best Paper，但公開內容目前集中在方法動機與設計，效能細節在這份摘要材料中仍然有限，閱讀時應留意完整論文是否提供更完整的量化結果與測試設定。

項目主頁 · 項目

Categories: Embedding, 世界模型, 模型訓練, NVIDIA, Video, 框架, Dataset 數據集

LISA：讓 MEG 語音解碼由準確走向可解釋

2026 年 8 月 10 日

LISA 把腦磁訊號配對到語音嵌入，並保留空間、時間與聲音特徵線索。

將一段 3 秒、208 通道的腦磁圖（magnetoencephalography，MEG）訊號配對到聽到的語音，同時追查證據來自哪個腦部位置與時間段，正是 LISA 要處理的問題。它屬於可解釋神經解碼模型，透過對比式檢索目標，把 MEG 片段映射至對應音訊的 Wav2Vec2 表徵。

LISA 的價值不只在於找出正確語音片段，而是把空間濾波器、時間濾波器和分支結構直接保留下來，方便轉換成感測器空間或皮質來源的分析結果。它採用幾何感知的空間注意力，配合 25 個可解釋分支，每個分支使用 150 ms 時間核心，再接兩個時間卷積區塊。

在 MEG-MASC 實驗中，模型於 1,005 個候選語音片段取得 39.75 ± 0.34% Top-1 準確率及 70.4% Top-10 準確率；完整解碼器有 486,619 個可訓練參數，約為 Défossez et al. 方法的二十分之一。配對 MEG 遮蔽分析亦發現，19 項測試聲音特徵中有 15 項對檢索有貢獻，惟這些結果仍屬特定資料集與實驗設定，不能直接推廣至所有腦訊號任務。

可抽取空間及時間濾波器，支援後續神經科學分析
內置 preprocessing、training、evaluation 與 analysis 程式
Python 3.11 的 LISA 環境可用於 synthetic demo 或新資料集
CPU 可以執行，訓練階段使用 CUDA-capable GPU 會較合適
重現 MEG-MASC 清理流程，儲存空間峰值約需 300 GB

研究人員可先用 synthetic demo 熟習張量流程，再按文件改接其他 EEG（electroencephalography，EEG）或 MEG 資料。相較只追求檢索準確率的深度解碼器，LISA 以較小模型換取可追溯性；需要完整重現結果的人，仍要準備資料集、環境及較大的儲存空間。

項目主頁 · GitHub

Categories: 開源, 模型訓練, 框架, Medical醫學, 語音

Ego2Robot 把人類影片轉成機械人訓練數據

2026 年 8 月 6 日

Ego2Robot將第一身人類操作影片轉化成大規模機械人訓練數據，改善 VLA 模型面對陌生環境時的泛化能力。

機械人要應付陌生場景，往往需要大量而且多樣化的示範數據；Ego2Robot選擇從第一身人類操作影片取材，將人手動作轉換成不同機械人形態可以使用的訓練資料。這個數據合成項目面向 Vision-Language-Action（VLA）模型預訓練，處理人類影片與機械人動作、視覺外觀不一致的問題。

流程分為動作對齊、視覺對齊和品質篩選三部分。系統會把拇指、食指、中指指尖及手腕等關鍵點重新映射到夾爪的 TCP、開合幅度和方向，再以 Savitzky–Golay 及 SLERP 平滑動作；視覺處理則結合 SAM 3、ProPainter、機械人底座姿態搜尋和 IK solving，把機械人手臂合成到已修補的人類場景中。

項目支援已有手部姿態標註的數據集，也可以從原始影片估算姿態，後者使用 WiLoR 逐幀重建和 DynHaMR 時序最佳化。統一流程可以平行產生 15 種 robot morphologies，累積 18,561 小時訓練數據，涵蓋較多任務、場景和機械人配置。

重點包括：
– 同時支援 curated datasets 和 in-the-wild videos
– 以多層 quality curation 篩走動作及視覺合成中的低質資料
– RoboTwin 2.0 加入視覺外觀、場景佈局、機械人形態和任務語義等干擾軸
– 與機械人數據聯合預訓練後，多種 out-of-distribution 情況下的泛化能力提升
– 改善效果亦在真實機械人部署中獲得驗證

對需要建立通用機械人操作模型的研究團隊，Ego2Robot提供了一條減少真人示範收集成本的路線。不過，合成數據的品質仍取決於手部姿態估算、動作重定向、逆運動學和場景合成是否準確，因此它較適合作為真實機械人數據的補充，而不是完全取代實體部署資料。

項目主頁

Categories: 阿里巴巴, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, 中國, Dataset 數據集

Meta 提出多模態預訓練的關鍵：視覺要及早融入

2026 年 8 月 6 日

模型學習文字、看圖與生成圖像，未必會自然互相增益。這組研究拆解知識如何流動，並提出更有效的多模態預訓練配方。

對需要同時理解文字與影像、甚至生成影像的模型來說，最難處理的不只是資料量，而是不同能力會否互相拖累。這項由 Meta FAIR、Reality Labs 與 University of Oxford 團隊進行的研究，以統一多模態預訓練為焦點，探討語言、視覺理解和視覺生成怎樣共同學習。

研究發現，跨模態知識流動並不對等。語言資料可普遍提升各類視覺任務；視覺理解會為影像生成提供強而有力的先驗知識；視覺生成對其他能力的直接幫助則較有限，主要透過加快低階概念學習，間接改善理解能力。團隊亦以 CLEVR 合成資料集配合真實世界資料，分辨不同概念之間的轉移方式。

語言可增強視覺理解與視覺生成能力
任務愈複雜，模態之間愈可能出現競爭
參數共享方式會改變不同模態能否產生協同效果
視覺路徑應由預訓練初期同步學習
延後加入視覺訓練，可能造成「vision laziness」

「vision laziness」指模型過度依賴語言捷徑，未有充分學習影像訊號。研究比較早期統一訓練、後期整合及順序式訓練後認為，視覺與語言由一開始共同演化，表現會較穩定；將視覺資料延後加入，即使模型其後接觸影像，也未必能補回早期錯失的表徵學習。

團隊把受控實驗得出的資料混合比例與擴展策略，套用至以 2T tokens 訓練的 13.5B Mixture-of-Experts（MoE）模型驗證。對設計多模態基礎模型的人而言，研究提供的價值不在單一架構，而是指出資料配比、任務難度、共享設計與整合時機，均會直接影響模型是否真正學會運用視覺。

項目主頁 · Paper

Categories: 多模態模型, 模型訓練, Meta

Page 8 of 23

« Previous 1 … 6 7 8 9 10 … 23 Next »