Code as World: 用於物理推理的智能體

2026 年 8 月 31 日 Share to X Facebook Copy link

它把物理世界拆成可執行的程式表示，再用代理式流程反覆驗證與修正。你可以把它理解成一套把影像觀察轉成可推演世界模型的方法。

Code-as-World 是一個面向物理推理的研究項目，核心做法不是直接死記像素，而是把世界整理成可執行的程式表示。這樣做的目的很直接：讓模型不只看見畫面，還能整理出物件、狀態、動態規則與彼此關係，方便後續推演和檢查。

它的做法帶有明顯的工具與模型結合味道，提供 Code-as-World-VL-4B 和 Code-as-World-VL-9B 的本地推理與 QuantiPhy 評估。倉庫也提到可用 Python 3.10 或 3.11 在 CUDA 主機上安裝，代表它比較像研究團隊可重現實驗與推理流程的發佈形式，而不是單純示範頁。

和一般只靠像素特徵做判斷的做法相比，這個項目更著重可執行、可驗證、可調整的世界表示。代價是系統會更複雜，因為它要同時處理抽象、組合、模擬與一致性檢查，但換來的是更適合做反事實推演、診斷與物理場景理解。

• 把物理世界表成程式，方便模擬和驗證
• 支援本地推理與 QuantiPhy 評估
• 4B、9B 版本已釋出，方便比較尺度效應
• 適合做物理推理、世界模型與多模態研究
• 量化結果顯示，較大模型的平均 MRA 有提升

對做多模態模型、世界模型、機械推理或具身智能的團隊，這類方法會比較有吸引力，因為它把感知和可執行結構連起來。若工作重點是要從影片或觀測中抽出可重用的物理表示，而不是只做單次辨識，這個項目提供了一條相當具辨識度的路線。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 世界模型, NVIDIA, Dataset 數據集

---

GLM-5.3 開放權重，卻為大型雲端供應商設門檻

2026 年 8 月 29 日 Share to X Facebook Copy link

GLM-5.3 (753B 參數)，已在 Hugging Face 發佈權重，但新授權條款不再採用 MIT，並要求大型提供商接受安全審查。

想自行下載模型權重、在本地或私有環境運行 GLM-5.3 753B 參數的團隊，現在多了一項不能忽略的授權考量。Z.ai 已把 GLM-5.3 上載到 Hugging Face，讓研究者和開發者取得模型權重，但同時撤下過往的 MIT license。

這個安排令「開放權重」與「完全不設限制的開源授權」出現清楚分別。模型檔案可以取得，不代表所有公司都能按照相同條件提供服務；收入超過 100 億美元的提供商，需要先接受安全審查，條款明顯針對大型雲端及 AI 服務供應商。

對小型團隊、研究人員和需要控制資料流向的企業，GLM-5.3 的權重仍可能方便本地推理、模型整合及內部測試。不過，將模型包裝成公開 API、雲端推理服務或大規模商業產品前，必須先核對新 license 的適用範圍和審查要求。

• 權重已放上 Hugging Face，降低取得模型的門檻
• GLM-5.3 不再使用 MIT license
• 開放權重不等於不受授權條款限制
• 收入超過 100 億美元的提供商須接受安全審查
• 商業服務和大規模分發需要額外檢查合規要求

模型

Categories: 開源, 模型, 中國

---

Breeze TTS 2：低延遲語音生成再推一級

2026 年 8 月 28 日 Share to X Facebook Copy link

Breeze TTS 2 把即時語音互動、聲線設計同語氣控制放埋一齊，主打低延遲同高可塑性。它較適合要做配音、語音代理或互動內容嘅團隊。

Breeze TTS 2 係一個文字轉語音（text-to-speech, TTS）模型，重點唔止係把文字讀出，而係處理即時互動入面最難平衡嘅兩件事：聲音要自然，回應又要夠快。佢支援 Voice Clone、Voice Design 同 Voice Direction，代表可以由參考錄音複製聲線，亦可以純靠自然語言描述去設計新聲線，再按指令調整語氣、節奏同表達。

對內容製作、語音代理、遊戲角色配音同多語言產品來講，呢種做法比單純 TTS 更有彈性。文本內仲可以插入 Vocal Events，例如笑聲、咳嗽、清嗓子呢類表情提示，令生成聲音更接近真人演繹，而唔係只係平鋪直敘讀稿。

項目資料顯示，佢喺 Artificial Analysis TTS leaderboard 排名第一嘅 open-weight 模型，亦聲稱喺部分測試中超越商業系統。低延遲係另一個賣點：warming 後喺 NVIDIA H100 可做到少於 40 ms 的 time to first audio，RTF 約 0.32，適合即時對話場景。

不過，repo 同時寫明模型權重、衍生模型同 self-hosted outputs 只限研究同非商業用途，呢點對想直接落地嘅團隊影響好大。代碼層面提供 PyTorch inference code，但原始資料未交代完整安裝流程或部署細節，較合理嘅理解方式係先把佢視為一個面向研究與產品原型驗證的高性能 TTS 模型。

• 支援參考錄音複製聲線，亦支援純文字描述設計新聲線
• 可以用指令調整語氣、情緒、語速同演繹方式
• 低延遲串流適合即時語音互動同 voice agent
• 在 open-weight TTS 基準中聲稱領先，但授權限制較嚴
• 適合配音、互動內容、多語言語音產品同研究團隊

項目主頁 · GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, 模型, NVIDIA, Audio, Clone, Python, 語音, Dataset 數據集

---

WeMM-Embedding：對齊文字、圖片、影片的多模態檢索

2026 年 8 月 28 日 Share to X Facebook Copy link

騰訊微信視覺團隊把文字、圖片、影片、視覺文件等多種輸入收進同一個嵌入空間，推出涵蓋 2B／4B／9B 三個尺寸的 WeMM-Embedding 系列，主打檢索與多模態理解一條龍。

把文字、圖片、短影片、文件截圖一次過丟進同一個嵌入空間做檢索，一直是多模態團隊頭痛的工程難題。WeMM-Embedding 系列由騰訊微信視覺團隊開源，正是針對這個場景而來：三個規模（2B／4B／9B）都用同一套介面，輸出可直接比對的向量，免卻多模型串接的麻煩。

向量從模型最後一層的 <embedding> token 位置取出，再做 L2 正規化，方便直接接入既有向量資料庫。對想做跨模態檢索或 RAG 的團隊而言，這類統一模型比起同時維護 CLIP 系、BGE 系、影片模型幾套 pipeline，部署成本明顯較低。

官方推薦 transformers==5.2.0 以保證預處理一致性，亦支援 SentenceTransformer 直接載入 Hugging Face 模型 ID。比較有彈性的是 Matryoshka Representation Learning（MRL）：例如 9B 版本支援 64 到 4096 多段維度，開發階段可以用低維度快速迭代，再逐步切到高維度；2B 與 4B 版同樣提供 64 至 2048 左右的選項。已驗證 vLLM 0.27.0 與 SGLang 0.5.9 兩套推理引擎，兩者都以 pooling runner 啟動，搭配專屬的 chat template 即可提供 embedding 服務。

與同類開源嵌入模型相比，WeMM-Embedding 強調「影片與視覺文件也在同一個向量空間」，而不是只覆蓋到圖文。短影片摘要、PDF 截圖理解、社交媒體（X Demo）多模態內容推薦等場景，會比純圖文模型更貼地。音訊輸入目前不在支援範圍內，是規劃時要留意的限制。受惠對象包括做多模態 RAG、跨模態檢索、商品搜尋及內容審核的中小團隊，因為他們通常缺乏同時訓練多個專門模型的資源。

重點：

• 統一嵌入空間：文字、圖片、影片、視覺文件、交錯輸入共用同一向量表示，免除多模型串接。
• 三種規模：2B、4B、9B 同步開源，可在準確度與成本之間靈活取捨。
• Matryoshka 維度彈性：支援 64 至 4096 多段可選維度，平衡儲存與效果。
• 生態友善：兼容 transformers、SentenceTransformer，並已驗證 vLLM 與 SGLang 部署。
• 目前限制：音訊輸入未支援，預處理對 Transformers 版本敏感，需固定在 5.2.0。

GitHub · 模型

Categories: 開源, 騰訊, AI productions, RAG, Embedding, 模型, Video, Image, Dataset 數據集

---

Ox Alpha 百萬 Token 上下文免費試用

2026 年 8 月 27 日 Share to X Facebook Copy link

Z.ai 最新模型 Ox Alpha 提供 1M-token context window，讓大型程式碼庫、圖像與影片可在同一個推理流程中處理。

面對大型程式碼庫、長篇規格文件或連續多步工作，Ox Alpha reasoning model（推理模型）可把最多 1M-token context window 的內容放在同一個脈絡中處理，減少反覆切分資料或遺失前文。它亦支援文字、圖像和影片輸入，適合除錯、重構及分析截圖或介面流程。

Ox Alpha 會先規劃和自我檢查，再產生答案，並以 visible thinking 展示推理過程。模型同時提供原生 tool calling、tool_choice，以及配合 response_format 的結構化 JSON 輸出，方便用於長時間運行的 agentic 工作流程。

網站列出的獨立測試涵蓋 10 項真實編程任務，Ox Alpha 完成 8 項，得分 80%；同一比較中，Fable 為 65%，GLM-5 為 62%，GPT-5 和 Grok 4 均為 52%。樣本只有 10 項任務，結果較適合作為參考，未足以代表所有編程場景。

• 1M-token context window，最高 131K tokens 輸出
• 支援文字、圖像和影片三種輸入
• 適合大型程式碼庫的 debugging 和 refactoring
• 原生 tool calling 與結構化輸出
• 免費試用、毋須登入，網站表示不會把聊天儲存在伺服器

項目主頁

Categories: Agentic, 模型, 多模態模型, Video, Image, 軟件, Python, 編程, 免費試用, UI/UX

---

JIT-Agent：讓模型即時寫出專屬代理框架

2026 年 8 月 27 日 Share to X Facebook Copy link

JIT-Agent-27B會按任務即時組合可執行的代理框架，令同一個 Agentic LLM 更貼近研究、辦公及規劃工作。

面對深度研究、日常工作或工作區操作等不同任務，固定不變的代理框架未必能有效轉用。JIT-Agent 屬於一個 meta-agent 模型項目，接收任務規格、協議、工具及技能註冊表，再為現成的 agentic LLM 生成特定任務的可執行 harness，處理代理流程難以適配的問題。

JIT-Agent-27B 並非直接取代底層模型，而是負責組合包裝模型的工作方式。每個 harness 由 memory、planning、action 及 capability orchestration 四個模組組成，並透過 HarnessFactory 的共享介面輸出結構化程式碼，避免每次都由模型自由撰寫整套代理程式。

• 按任務生成不同的記憶、規劃和行動流程
• 可包裝不同的 off-the-shelf agentic LLM
• 測試期間會根據 trace 與 feedback 修訂 harness
• 生成器保持 frozen，改進內容寫入 harness archive
• 涵蓋研究、辦公、規劃及 workspace 類代理基準

同類方案通常先準備一個通用 scaffold，再期待它在不同任務中轉移；JIT-Agent 將可轉移的能力放在 harness 生成與演化，而不是只依賴 base model 擴大。代價是系統需要任務規格、工具註冊表、過往 harness 及測試回饋，生成品質亦會受這些輸入影響。

JIT-Agent 把 jit/、scripts/、harness_factory/、benchmark/ 及 dataset/ 分開，涵蓋生成與修復提示、代理核心、評估器和基準適配器。 JIT-Agent-27B 在九個代理基準中領先八個。適合研究代理架構、需要為多類工作測試流程的團隊，以及想比較「擴大底層模型」與「改進 harness」效果的人員。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 框架, 編程, Dataset 數據集

---

GigaBrain-0.7 讓機械人跨場景理解並執行任務

2026 年 8 月 27 日 Share to X Facebook Copy link

由家居整理到工業操作，GigaBrain-0.7嘗試令機械人適應更多身體形態與工作環境。

由家居整理到工業操作，機械人要面對的不只是看懂畫面，還要理解指令、預測下一步並控制不同硬件。GigaBrain-0.7 屬於 Vision-language-action (VLA) embodied foundation model，透過統一 understanding、prediction 與 action，處理跨任務及跨機械人形態的泛化問題。

項目以 three-system architecture 組織模型能力，並把預訓練資料擴展至超過 37,000 小時的異質 embodied data，再以 one-stage alignment training 同時優化 vision-language understanding 和 multi-embodiment action generation。相比 GigaBrain-0 系列及包括 π 0.5 在內的先進模型，開發團隊聲稱它在 foundation zero-shot capabilities、language-conditioned instruction following 及 post-training task success rates 均有明顯提升。

GigaBrain-0.7 已提供程式碼、模型和 sample data，模型及資料亦連接至 Hugging Face；但 VLM evaluation code、RoboColiseum、RoboTwin2.0 和 EBench benchmark code 仍列在待辦清單。這代表項目適合研究團隊先重現流程及測試資料管線，未必已具備完整、即插即用的標準化評測環境。

讀者可從以下幾點理解其價值與取捨：
– 支援多種機械人形態，目標是提升跨硬件泛化能力。
– Maker H01 及主流機械人平台涵蓋家居和工業場景。
– 大規模異質資料有助擴闊任務範圍，但亦提高訓練及硬件需求。
– 開放程式碼、模型與樣本資料，方便研究及二次開發。

對機械人研究、具身智能及需要跨平台控制的團隊，GigaBrain-0.7提供了較完整的模型、資料與訓練實作入口；商業落地仍需自行驗證安全性、硬件兼容性、延遲及長時間任務穩定度。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, VLA, Robotic, Dataset 數據集

---

OraRL：標註即 Rollout，統一多模態模型強化學習

2026 年 8 月 26 日 Share to X Facebook Copy link

OraRL 把影片標註轉成可靠的正向 rollout，令同一模型兼顧定位、分割、追蹤、問答與空間理解。

面對一段長影片，模型要同時回答內容問題、找出時間片段、定位畫面區域，往往要在多套任務方法之間取捨。OraRL 是一個用於統一影片多模態模型（video MLLMs）強化學習的研究項目，將原本只用來評分答案的標註，序列化成模型可直接學習的 oracle rollout。

它的核心做法是把一條標註答案加入同一提示的 policy samples，再只用 policy rewards 計算 on-policy baseline，避免準確標註扭曲模型原本的相對比較；annotation-policy reward gap 則用於方向性修正，最後以 sign-balanced pruning 篩選更新訊號。這個安排保留探索，同時不需要 chain-of-thought supervision 或額外解碼。

同一套更新規則覆蓋 temporal grounding、spatial grounding、segmentation、tracking、spatial-temporal grounding、video QA 及 spatial intelligence，Video-ORA-9B 則以一個模型處理七類影片理解任務。4B 設定的更新時間由每步 92.5 秒降至 62.4 秒，速度提升 1.48 倍，單張 GPU 峰值記憶體亦由 62.4 GB 降至 50.9 GB。

推理部分提供較實用的取捨參考：H20 以 vLLM 和 BF16 載入時，4B 及 9B 分別佔 8.6 GiB 和 17.6 GiB；十分鐘、每秒兩幀的影片採用 answer-only decoding 後，總延遲由 29.03 秒降至 24.30 秒。儲存庫列出 Environment、Training 及 Evaluation 文件，但提供的資料未包含完整安裝步驟或可直接下載模型的細節，較適合研究團隊按文件檢查環境後測試。

• 訓練方法：標註同時作為正向 rollout 和任務有效的學習目標。
• 涵蓋範圍：一套 RL recipe 支援七類影片感知任務。
• 效率改善：4B 更新速度提升 1.48 倍，記憶體需求下降。
• 推理優化：支援影片快取、一次解碼重用及 answer-only decoding。
• 適合情境：需要統一處理影片定位、追蹤、分割、問答和空間推理的研究或工程團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 世界模型, 模型訓練, Video, 影像處理, 框架, Dataset 數據集

---

VA-Judger 生成更貼近人類偏好的影片與聲音

2026 年 8 月 26 日 Share to X Facebook Copy link

VA-Judger 以人類偏好比較影片和聲音生成結果，改善單靠獨立指標造成的失真與獎勵錯配。

同一個提示詞產生兩段影音內容時，VA-Judger會比較哪一段更符合人類偏好，並拆解提示詞對齊、影音一致性、音質、畫質及內容完整度。它屬於聯合影片與音訊生成的 Reward Model，處理傳統指標難以捕捉整體連貫性的問題。

模型以 Qwen3-Omni 為基礎，先從品質差距明顯的配對學習比較準則，再透過拒絕採樣處理接近的結果，最後以 dimension-wise Group Relative Policy Optimization（GRPO）把人類回饋分配到不同品質維度。這比把音質、畫質及同步指標簡單相加更貼近觀看者的整體判斷，也減少生成模型鑽指標漏洞的機會。

VA-Judger-Bench包含同領域及跨領域模型比較，用來測試 Reward Model 是否能對齊人類選擇；研究結果指向它優於多項指標基線。VAPref-10K則包含9K提示詞及10.3K組細緻的影音配對比較，但資料集及部分訓練程式仍未發布。

項目提供 Reward Model 推理、Video Model 推理、模型 SFT，以及以 VA-Judger 分數優化 LTX-2 的流程；README亦列出合併已發布 RL LoRA 的 LTX-2 checkpoint。提供的資料沒有列出完整安裝步驟，使用者需要按項目頁面、checkpoint及程式碼狀態自行確認環境。

• 適合場景：研究影音生成、偏好對齊及 RL post-training 的團隊
• 可評估內容：提示詞對齊、影音一致性、音質、畫質及內容完整度
• 主要取捨：比較人類偏好的方法較全面，但需要配對資料及額外訓練流程
• 目前限制：dimension-wise GRPO 程式碼及 VAPref-10K 仍列為待發布項目

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 視頻模型, 模型訓練, Qwen, Video, LTX, Dataset 數據集

---

WeMM-Embedding 統一多模態向量

2026 年 8 月 26 日 Share to X Facebook Copy link

WeMM-Embedding 把文字、圖片、影片和視覺文件放進同一套向量空間，適合要做檢索、比對和跨模態搜尋的場景。它同時提供不同尺寸選擇，方便在準確度與成本之間取捨。

WeMM-Embedding 是一組多模態 embedding 模型，目標是把文字、圖片、影片、視覺文件和交錯式多模態輸入，轉成可直接比對的統一向量。對要做搜尋、相似度比對、內容檢索或跨媒體匹配的團隊來說，這種做法比逐一分開處理不同素材更省事。

它提供 2B、4B、9B 三個版本，還支援 Matryoshka dimensions，代表可以按需要輸出不同長度的 embedding，減少計算和儲存成本。README 也提到，向量來自 <embedding> token 的最後一層 hidden state，再做 L2 normalization；目前不支援 audio。

實作和試跑方式都算直接，既可以用 transformers，也可以用 SentenceTransformer 直接載入 Hugging Face 模型 ID。作者同時標明推理較建議用 transformers==5.2.0，原因是較新的版本在前處理行為上可能有差異；serving 方面則測過 vLLM 和 SGLang。

• 統一處理 text、image、video、visual document 和 interleaved multimodal inputs
• 支援 Matryoshka dimensions，可按成本需要縮短 embedding 長度
• 適合做跨模態搜尋、內容去重、相似度比對和檢索索引
• 推理可用 transformers 或 SentenceTransformer，部署可接 vLLM、SGLang
• 現階段不支援 audio，做語音相關流程要另配其他模型

對要處理多媒體內容的應用團隊、檢索系統、內容平台和資料整理流程，這類模型最直接的價值是減少多套表示法之間的銜接成本。它在多個基準上取得領先結果，但實際選型仍要看你要的是完整維度、較低成本版本，還是偏向部署效率的配置。

GitHub · 模型

Categories: 開源, 騰訊, AI productions, Embedding, 模型, 多模態模型, Video, Image, Audio

---