InferNews

GigaBrain-0.7 讓機械人跨場景理解並執行任務

Share to X

由家居整理到工業操作，GigaBrain-0.7嘗試令機械人適應更多身體形態與工作環境。

GigaBrain-0 Overview

由家居整理到工業操作，機械人要面對的不只是看懂畫面，還要理解指令、預測下一步並控制不同硬件。GigaBrain-0.7 屬於 Vision-language-action (VLA) embodied foundation model，透過統一 understanding、prediction 與 action，處理跨任務及跨機械人形態的泛化問題。

項目以 three-system architecture 組織模型能力，並把預訓練資料擴展至超過 37,000 小時的異質 embodied data，再以 one-stage alignment training 同時優化 vision-language understanding 和 multi-embodiment action generation。相比 GigaBrain-0 系列及包括 π 0.5 在內的先進模型，開發團隊聲稱它在 foundation zero-shot capabilities、language-conditioned instruction following 及 post-training task success rates 均有明顯提升。

GigaBrain-0.7 已提供程式碼、模型和 sample data，模型及資料亦連接至 Hugging Face；但 VLM evaluation code、RoboColiseum、RoboTwin2.0 和 EBench benchmark code 仍列在待辦清單。這代表項目適合研究團隊先重現流程及測試資料管線，未必已具備完整、即插即用的標準化評測環境。

讀者可從以下幾點理解其價值與取捨：
– 支援多種機械人形態，目標是提升跨硬件泛化能力。
– Maker H01 及主流機械人平台涵蓋家居和工業場景。
– 大規模異質資料有助擴闊任務範圍，但亦提高訓練及硬件需求。
– 開放程式碼、模型與樣本資料，方便研究及二次開發。

對機械人研究、具身智能及需要跨平台控制的團隊，GigaBrain-0.7提供了較完整的模型、資料與訓練實作入口；商業落地仍需自行驗證安全性、硬件兼容性、延遲及長時間任務穩定度。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, VLA, Robotic, Dataset 數據集

OraRL：標註即 Rollout，統一多模態模型強化學習

Share to X

OraRL 把影片標註轉成可靠的正向 rollout，令同一模型兼顧定位、分割、追蹤、問答與空間理解。

Animated OraRL method preview

面對一段長影片，模型要同時回答內容問題、找出時間片段、定位畫面區域，往往要在多套任務方法之間取捨。OraRL 是一個用於統一影片多模態模型（video MLLMs）強化學習的研究項目，將原本只用來評分答案的標註，序列化成模型可直接學習的 oracle rollout。

它的核心做法是把一條標註答案加入同一提示的 policy samples，再只用 policy rewards 計算 on-policy baseline，避免準確標註扭曲模型原本的相對比較；annotation-policy reward gap 則用於方向性修正，最後以 sign-balanced pruning 篩選更新訊號。這個安排保留探索，同時不需要 chain-of-thought supervision 或額外解碼。

同一套更新規則覆蓋 temporal grounding、spatial grounding、segmentation、tracking、spatial-temporal grounding、video QA 及 spatial intelligence，Video-ORA-9B 則以一個模型處理七類影片理解任務。4B 設定的更新時間由每步 92.5 秒降至 62.4 秒，速度提升 1.48 倍，單張 GPU 峰值記憶體亦由 62.4 GB 降至 50.9 GB。

推理部分提供較實用的取捨參考：H20 以 vLLM 和 BF16 載入時，4B 及 9B 分別佔 8.6 GiB 和 17.6 GiB；十分鐘、每秒兩幀的影片採用 answer-only decoding 後，總延遲由 29.03 秒降至 24.30 秒。儲存庫列出 Environment、Training 及 Evaluation 文件，但提供的資料未包含完整安裝步驟或可直接下載模型的細節，較適合研究團隊按文件檢查環境後測試。

  • 訓練方法：標註同時作為正向 rollout 和任務有效的學習目標。
  • 涵蓋範圍：一套 RL recipe 支援七類影片感知任務。
  • 效率改善：4B 更新速度提升 1.48 倍，記憶體需求下降。
  • 推理優化：支援影片快取、一次解碼重用及 answer-only decoding。
  • 適合情境：需要統一處理影片定位、追蹤、分割、問答和空間推理的研究或工程團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 世界模型, 模型訓練, Video, 影像處理, 框架, Dataset 數據集

VA-Judger 生成更貼近人類偏好的影片與聲音

Share to X

VA-Judger 以人類偏好比較影片和聲音生成結果，改善單靠獨立指標造成的失真與獎勵錯配。

VA-Judger training pipeline

同一個提示詞產生兩段影音內容時，VA-Judger會比較哪一段更符合人類偏好，並拆解提示詞對齊、影音一致性、音質、畫質及內容完整度。它屬於聯合影片與音訊生成的 Reward Model，處理傳統指標難以捕捉整體連貫性的問題。

模型以 Qwen3-Omni 為基礎，先從品質差距明顯的配對學習比較準則，再透過拒絕採樣處理接近的結果，最後以 dimension-wise Group Relative Policy Optimization（GRPO）把人類回饋分配到不同品質維度。這比把音質、畫質及同步指標簡單相加更貼近觀看者的整體判斷，也減少生成模型鑽指標漏洞的機會。

VA-Judger-Bench包含同領域及跨領域模型比較，用來測試 Reward Model 是否能對齊人類選擇；研究結果指向它優於多項指標基線。VAPref-10K則包含9K提示詞及10.3K組細緻的影音配對比較，但資料集及部分訓練程式仍未發布。

項目提供 Reward Model 推理、Video Model 推理、模型 SFT，以及以 VA-Judger 分數優化 LTX-2 的流程；README亦列出合併已發布 RL LoRA 的 LTX-2 checkpoint。提供的資料沒有列出完整安裝步驟，使用者需要按項目頁面、checkpoint及程式碼狀態自行確認環境。

  • 適合場景：研究影音生成、偏好對齊及 RL post-training 的團隊
  • 可評估內容：提示詞對齊、影音一致性、音質、畫質及內容完整度
  • 主要取捨：比較人類偏好的方法較全面，但需要配對資料及額外訓練流程
  • 目前限制：dimension-wise GRPO 程式碼及 VAPref-10K 仍列為待發布項目

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 視頻模型, 模型訓練, Qwen, Video, LTX, Dataset 數據集

WeMM-Embedding 統一多模態向量

Share to X

WeMM-Embedding 把文字、圖片、影片和視覺文件放進同一套向量空間，適合要做檢索、比對和跨模態搜尋的場景。它同時提供不同尺寸選擇，方便在準確度與成本之間取捨。

WeMM-Embedding Performance Overview

WeMM-Embedding 是一組多模態 embedding 模型，目標是把文字、圖片、影片、視覺文件和交錯式多模態輸入，轉成可直接比對的統一向量。對要做搜尋、相似度比對、內容檢索或跨媒體匹配的團隊來說，這種做法比逐一分開處理不同素材更省事。

它提供 2B、4B、9B 三個版本，還支援 Matryoshka dimensions，代表可以按需要輸出不同長度的 embedding，減少計算和儲存成本。README 也提到，向量來自 <embedding> token 的最後一層 hidden state，再做 L2 normalization；目前不支援 audio。

實作和試跑方式都算直接，既可以用 transformers，也可以用 SentenceTransformer 直接載入 Hugging Face 模型 ID。作者同時標明推理較建議用 transformers==5.2.0，原因是較新的版本在前處理行為上可能有差異；serving 方面則測過 vLLM 和 SGLang。

  • 統一處理 text、image、video、visual document 和 interleaved multimodal inputs
  • 支援 Matryoshka dimensions，可按成本需要縮短 embedding 長度
  • 適合做跨模態搜尋、內容去重、相似度比對和檢索索引
  • 推理可用 transformers 或 SentenceTransformer，部署可接 vLLM、SGLang
  • 現階段不支援 audio，做語音相關流程要另配其他模型

對要處理多媒體內容的應用團隊、檢索系統、內容平台和資料整理流程，這類模型最直接的價值是減少多套表示法之間的銜接成本。它在多個基準上取得領先結果，但實際選型仍要看你要的是完整維度、較低成本版本，還是偏向部署效率的配置。

GitHub · 模型

Categories: 開源, 騰訊, AI productions, Embedding, 模型, 多模態模型, Video, Image, Audio

RiboSpan 把長篇 RNA 納入 10K 上下文模型

Share to X

長篇 mRNA 不再需要截斷處理，RiboSpan 以單核苷酸解析度同時理解完整轉錄本。

RiboSpan architecture

長篇 mRNA 過往容易因約 1K 的上下文限制而被截斷，令 5′ UTR、CDS 和 3′ UTR 無法放在同一個模型視野內。RiboSpan 是一個 RNA foundation model，實際處理的是完整長鏈 RNA 的聯合表示與下游建模問題。

項目採用 1.61B 參數的雙向 Transformer，每層都使用 dense self-attention，並以每個核苷酸一個 token 的方式保留位置對齊資訊。RiboSpan-10K 原生以最多 10,240 nt 的長度預訓練，不依賴推理階段延長上下文；訓練資料包括 6,760 萬條 RNA 序列，合共 857 億個核苷酸，來源涵蓋 RNAcentral、Ensembl 和 Ensembl Genomes。

  • 單核苷酸 tokenization，保留高解析度序列位置
  • Bidirectional Transformer 可同時讀取上游、下游及遠距離資訊
  • RiboSpan-10K 原生支援 10,240 nt 長上下文
  • 不加 task-specific head 或 fine-tuning，frozen representation 在評測中達到 state-of-the-art，長 RNA 尤其突出
  • 以 40% masking 繼續預訓練，可提升高比例遮罩下的重建能力，同時保留 15% masked language modeling（MLM）訓練建立的 backbone 表示

研究者可從 Hugging Face 載入預訓練 RIBOSPAN checkpoint，再以 Python 整合序列表示、重建或其他 RNA 分析流程；checkpoint 會自動下載並快取，亦可改用本地路徑。模型規模和 dense attention 帶來較高的記憶體及運算成本，長度超過 10,240 nt 的轉錄本仍需另行切分或設計處理策略。

RiboSpan 適合研究 RNA 功能、長轉錄本表示和生物資訊模型的團隊，尤其方便先固定 backbone、再測試下游任務的人員。相較只處理約 1K 上下文的 dense RNA encoder，它保留完整轉錄本關係；代價是 1.61B 參數令本地推理和微調門檻更高，而模型權重亦採用非商業授權，商業項目需要先核對限制。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Python

WithEveryone 多人合照不再撞臉

Share to X

復旦大學、騰訊混元與香港大學研究團隊，嘗試一次保留五至十個人物身份的群組生成。

WithEveryone teaser

復旦大學、騰訊混元（Hunyuan）及香港大學的研究團隊共同開發 WithEveryone，針對 AI 生成多人合照時人物身份容易混淆的問題，讓五至十個參考身份可以同時出現在連貫場景中。它屬於群組影像生成研究項目，核心價值是維持每個人「誰是誰」的對應關係，而不只是增加畫面人物數量。

系統會把每個參考人物轉換成獨立的 identity token，再透過 Layout CoT 預先推理人物、臉部、身體區域與姿勢的位置，最後交由 renderer 生成視覺條件。Layout-Grounded ID Loss 會在指定臉部區域提供身份監督，ID Representation Forcing 則要求模型在合成前先為每個身份建立預測，減少多人場景中的錯配。

研究展示提供了 63 組生成結果，並在 identity-disjoint benchmark 上比較身份保真度與複製參考圖程度：WithEveryone 的 ArcFace similarity 為 0.614，高於 GPT-Image-2 的 0.566；Copy-paste score 為 0.055，低於 GPT-Image-2 的 0.169。這表示它一方面維持人物特徵，另一方面較少直接照搬參考圖，但目前資料未提供更完整的速度、硬件需求或不同人數下的細分結果。

目前 GitHub 儲存庫尚未提供可下載的研究版 checkpoint，亦沒有完整安裝及測試流程。原因是研究版本依賴的 foundation model 授權不容許公開 checkpoint；團隊正以支援開源發佈的 foundation model 訓練新版本，待程式碼及 checkpoint 準備好後才會分享。

  • 支援五至十個參考身份的群組影像生成
  • 以 identity token 綁定人物，配合身份感知的版面推理
  • 透過 Layout-Grounded ID Loss 監督指定臉部區域
  • 研究結果在 ArcFace similarity 及 Copy-paste score 上勝過 GPT-Image-2
  • 現階段只能閱讀研究展示，未能按儲存庫資料自行安裝重現

對需要製作多人宣傳照、角色群像或指定人物場景的影像研究團隊，這個方法提供了比單純堆疊參考圖更完整的身份與構圖處理思路。一般創作者暫時仍要等待開源版本，因為未公開 checkpoint 令項目現階段更接近研究展示，而不是可即時採用的生成工具。

項目主頁 · GitHub

Categories: 開源, 香港大學, 騰訊, 模型, 多模態模型, Image, 香港, Dataset 數據集

FACET-Terminal：讓終端任務由可執行環境先行生成

Share to X

FACET 把技能、Docker 環境、解法與驗證器連成同一狀態，產出可真正執行驗證的終端任務。

FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

終端 AI Agent 最怕指令寫得合理，環境、解法和驗證器卻互相對不上。FACET（Fine-grained Agentic Construction of Executable Tasks）是一套終端任務合成框架，先建立並修復 Docker 環境，再讓指令、參考解法和驗證器共享同一套執行狀態，處理複雜任務難以穩定測試的問題。

項目由 71,341 個來源技能整理出 7,852 條場景—技能種子，最後取得 6,078 個通過執行驗證的任務，並從成功 rollout 篩選約 1.2K 條完整軌跡，用於監督微調 Qwen3.5 系列模型。環境中的檔案、路徑、套件、連接埠、資料結構和測試資料會沿流程傳遞，減少純文字交接造成的落差。

資源包括 FACET-Terminal-Tasks-6k 數據集，以及 FACET-Terminal-Qwen3.5-4B、9B 和 27B 模型。要重現任務合成流程，需要 Python 3.11–3.13、uv、Docker 和模型 API；配置與 Python 程式集中在 facet/，並提供 FORWARD、REVERSE、JOINT 三種生成策略作比較。

Terminal-Bench 2.1 的三次獨立執行平均結果顯示，4B、9B、27B 模型分別由 17.60、27.34、40.82 提升至 24.72、35.58、47.57；4B 相對提升 40.5%，27B 更接近同設定下 Qwen3.5-397B 的 49.06。這批數據規模仍然有限，任務質素亦依賴 Docker 環境和驗證器是否正確，較適合研究 Agent 訓練、Terminal-Bench 評測及需要可重現終端操作的團隊。

  • 資料基礎：6,078 個通過執行驗證的任務
  • 生成方式：環境先行，指令、解法與驗證器共享狀態
  • 公開模型：Qwen3.5 4B、9B、27B
  • 評測結果：27B 在 Terminal-Bench 2.1 達 47.57
  • 適合場景：終端 Agent 訓練、任務合成及可重現評測

項目主頁 · GitHub · 模型

Categories: 開源, 上海人工智慧實驗室, Agentic, 模型, 模型訓練, API, Python, 中國, Dataset 數據集

RapidLiDAR：單次前向傳播做到 10 Hz 嘅 LiDAR 場景補全

Share to X

佢將稀疏嘅部分點雲一次性還原成稠密場景，主打即時同可調速度，適合對延遲敏感嘅自動駕駛同機器人開發者。

Repository image for AzharSindhi/RapidLiDAR

對做自動駕駛或機械人感知嘅人嚟講，LiDAR 場景補全最頭痛嘅唔係質素，而係慢——好多現有方法要幾百毫秒先出一幀，根本追唔上車規或即時反應嘅需求。RapidLiDAR 嘅定位就喺呢度：佢設計成一個端到端、單次前向傳播嘅補全模型，目標係跑到接近 10 Hz，同時保留可調速度同可調節輸出密度嘅彈性。

做法上，佢先用體素化抽取多尺度 3D 特徵，再透過一個自注意力 BEV 頭產生密集 2D 特徵圖。Adaptive Initialization Module 會預測一個空間變化嘅位移，把稀疏點雲「撐開」做粗略初始化；之後 Multi-Scale Reconstruction Module 用可變形注意力（deformable attention）將每點特徵同多尺度 BEV 特徵對齊做精修。如果想再稠密仲可以加一個可選嘅 Refinement Network 喺凍結嘅主模型上做上採樣，倍率為 κ。

換句話講，舊方法通常分開做初始化同迭代 refinement，或者用兩階段網絡先粗後細；RapidLiDAR 將呢幾步壓入一次前向，靠 BEV 座標化同可變形注意力同時兼顧效率同幾何一致性。代價係依賴 SemanticKITTI 風格嘅資料 loader，需要 .npy 格式嘅 GT 同 input 配對，唔係 out-of-the-box 處理原始 Velodyne 掃描。

適合做自動駕駛 stack、實時 SLAM、機械人感知原型，或者想喺邊緣裝置上試稠密 LiDAR 預測嘅團隊。原文強調即時性為 10 Hz，具體 mIoU 或 Chamfer distance 等數字未在 README 完整列出，安裝需 CUDA 12.4 同 PyTorch 2.4.1，並要自行 JIT 編譯 Chamfer distance CUDA extension。

GitHub · Paper

Categories: 開源, 模型, 視覺模型, NVIDIA, Robotic, 3D, Python, Dataset 數據集

V-RAE 重整影片潛空間，生成更快更準

Share to X

V-RAE把影片生成前最難處理的時間冗餘壓細，同時保住語意結構。對想做重建、生成同預測建模的團隊，呢個方向幾有參考價值。

V-RAE method

做影片生成時，潛空間一旦又大又雜，訓練速度、重建品質同後續生成都會一齊受拖累。V-RAE放喺呢個位置切入：它屬於影片表示自編碼器模型，將 frozen vision foundation model 的表徵再壓成更緊湊的 generative latents，處理的是影片表示太冗長、但又不能失去語意同動態連續性的問題。

V-RAE不是重新訓練整個視覺骨幹，而是接在 DINOv3、SigLIP2、V-JEPA2.1、EUPE 這類 frozen encoder 之上，用 lightweight temporal pooling module 減少時間維度上的重複資訊，再交由 video decoder 重建連續動作。這種做法的取捨在於，它更依賴現成視覺表徵的品質，但換來較輕量的影片 latent 壓縮流程，亦令 semantic latents 可以變成 directly decodable predictive state space。

V-RAE：重构视频潜在空间以实现高效生成 2026-08-16

項目提供了訓練、評估與重建示例所需的程式結構，安裝條件寫明要用 Linux、NVIDIA GPUs、CUDA 相容驅動、FFmpeg，以及 Python 3.10 或以上。可配合已釋出的 checkpoints 與對應 frozen encoder 做重建測試，但能否自由下載、下載範圍是否完整，仍要以當前發佈頁面為準，不適宜直接假設任何人都可無限制取得全部模型。

結果 V-RAE在 K600 reconstruction 取得 2.13 rFVD，數值優於文中比較的大型 pretrained video VAEs；class-conditional generation 則在 UCF101 與 K600 分別達到 117.86 與 19.16 gFVD，並提到可快最多 6 倍收斂。作者亦提出 tFVD，令它與人類判斷的一致性提升，在 UCF101 與 K600 的 Pearson correlation 分別達到 r = 0.621 與 r = 0.919，這點對影片生成評測有直接意義。

  • 接在 frozen vision foundation model 後面做壓縮，避免由零建立整套影片表徵
  • 用 temporal pooling 減少時間冗餘，同時保住 semantic structure
  • 同時覆蓋 reconstruction、class-conditional generation 與 predictive modeling 場景
  • 倉庫已包含 training、evaluation、sampling 所需結構，但部署前提偏向研究級 Linux + NVIDIA GPU 環境
  • 適合研究影片生成、世界狀態建模、長序列表示學習的團隊參考其 latent 設計

V-RAE較適合有影片模型實驗能力的研究團隊、做 VideoDiT 類生成流程的人，以及想把影片 latent 拿去做預測狀態空間建模的項目。對於怎樣把強大的視覺表徵轉成更可生成、可重建、可評測的影片 latent，已經給出一條相當具體的路線。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Linux, Python

needle：14MB 本地工具模型，專攻結構化操作

Share to X

Needle 2 把工具呼叫、裝置操作和結構化抽取收進單一 14MB 引擎，本地跑完整對話只需約 28MB RAM。它適合要低記憶體、離線部署又要輸出 JSON 的工作流。

Needle

Needle 2 屬於用於 tool calling 的小型模型，同時處理 device use 和 structured extraction。它把輸入文字轉成可直接接入工作流的結構化結果，適合在本地裝置、隔離網絡環境或資源很緊的情況下部署。

這個 Python package 提供 inference、LoRA fine-tuning 和 export，安裝後會先從 Hugging Face 下載一次 engine，再在本機快取，之後不再依賴網絡。開發者只要描述工具，模型就會按 schema 產生 JSON，並用 byte-level grammar 收窄輸出範圍，減少格式跑偏。

This 14MB AI Model Runs Locally — Needle 2 Explained

它和同類小模型的取捨很明確：45M 參數、單一 14MB binary，換來的是極低記憶體佔用和離線運行能力；官方測試也顯示，它會和 FunctionGemma 270M、LFM2.5 230M 及 Apple FM 互有勝負，但體積小得多。另一個做法是加入 confidence score，低於門檻就可以交回人工或上層流程處理。

  • 單一引擎打包，部署時不用分開管理權重檔
  • 以 JSON 與 schema 約束輸出，方便串接工具鏈
  • 支援大量工具目錄，但每輪只取 top five
  • 256-token sliding window 令記憶體維持在約 28MB
  • 適合離線裝置、邊緣設備和需要穩定結構輸出的團隊

GitHub · 模型

Categories: 開源, 模型, 模型訓練, Python, 庫, 蘋果
Page 6 of 37
1 … 4 5 6 7 8 … 37