MobileMem 把手機長期記憶放入真實場景測試

2026 年 8 月 18 日 Share to X Copy link

手機助手要記住一年的生活，難點不只是搜尋資料，更要理解跨應用、跨模態的長期脈絡。

手機助手若要回答「女兒七歲生日有哪些照片」或核對過敏藥物，單靠短對話記憶很快會失準。MobileMem 屬於端側長期記憶（on-device long-term memory）的評測框架與資料集，將一年手機經歷整理成可重現的測試環境，檢驗記憶系統能否跨應用保留、連結及找回重要資訊。

它涵蓋 365 天、12 個應用程式，以及每位使用者平均 1.72M tokens 的資料規模，來源包括對話、日曆、筆記、瀏覽紀錄和相片等異質內容。與只測單輪問答或獨立文件檢索的做法相比，MobileMem 更接近長期使用情境，但同時令資料整理、隱私處理和推理成本變得更複雜。

資料分為兩條 benchmark track：text 供文字記憶系統處理長期對話與結構化 mobile-app events；omni 則加入 screenshots 和 photos，測試多模態記憶。它本身不是模型，而是用來比較不同 memory systems、分析失敗原因及建立 leaderboard 的測試基礎。

• 支援文字與多模態兩類測試
• 涵蓋跨應用、長期且知識密集的 mobile agent trajectories
• 可從 HuggingFace 下載資料集
• Dataset Explorer branch 提供互動式資料瀏覽
• 現有資訊未列出具體模型分數，需查看 leaderboard 或自行重跑測試

研究人員可先下載 HuggingFace 資料集，按 text 或 omni 軌道接入自己的記憶模型，再利用網站和 Dataset Explorer 檢查案例。適合開發 mobile agents、personalized assistant、長期 RAG 或 multimodal memory 的團隊；涉及健康紀錄、家庭相片等私人內容時，仍要自行確認資料授權、匿名化和端側部署要求。

項目主頁 · GitHub

Categories: 開源, Agentic, Medical醫學, RAG, 多模態模型, 中國, Dataset 數據集

---

RA-Bench 直指危機假影片檢測盲點

2026 年 8 月 17 日 Share to X Copy link

危機事件影片最麻煩之處，不是合成得花巧，而是看起來太像真。RA-Bench把檢測器拉回真實傳播場景，專門測試這個落差。

當一段災難、戰事或公共事故影片本身已有真實事件做錨點，檢測器往往無法只靠內容違和感分辨真偽。RA-Bench屬於影片檢測基準資料集，針對的正是 AI 生成危機影片貼近真實新聞片段後，現有偵測方法還能否守得住。

它的做法有一個關鍵判斷：不再拿脫離情境的合成片去測，而是把真實危機影片與對應生成版本配對，並且涵蓋四個開源與五個閉源生成器。資料規模有 17,886 段影片，當中包括 1,830 段 real anchors、16,056 段生成片，另設 RA-Bench-HumanProof 與 RA-Bench-LastMile，前者收錄連人工審查者都一致誤判為真的 633 段影片，後者再測試影片經過連續傳播處理後，檢測器會否失準。

這個項目把「像真」、「會誤導人」、「經社交傳播後失真」三件事放在同一套測試裡。相對於只看配對樣本的資料集，它多了一層來源泛化與傳播鏈穩健性的要求；代價是資料權限較複雜，完整版本有部分 real anchors 只提供原始 URL，未必人人都能直接重跑 full 軌道。

• public-media 只評估可重新分發的真實錨點配對，較適合公開重現與初步比較
• full 依照完整論文清單評估，也要求處理只提供 URL 的真實來源
• Hugging Face 釋出公開媒體約 93.8 GB，生成影片完整提供，真實素材則經權利審核後部分保留來源連結
• 評估採用 source-matched evaluation，會把每個生成來源放回其對應真實錨點脈絡判斷

對做影片鑑識、內容審核、新聞驗證與多模態安全研究的團隊，RA-Bench的價值很直接：它不是教模型辨認「很像假片的假片」，而是逼它面對會在人類審查與傳播流程中混過去的片段。限制也同樣清楚，這仍是 benchmark，不是現成檢測器；要得出可比較結果，仍要先準備預測輸出、下載資料，並處理部分真實來源無法重分發的存取條件。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, OpenAI, Video, 多模態模型, Dataset 數據集

---

Qwen3.8 系列的 27B 開放權重模型

2026 年 8 月 14 日 Share to X Copy link

Qwen3.8-27B以 27B 密集模型同時處理文字、圖片與影片，重點不只在識別內容，而是更穩定完成多步驟任務。它延續 Qwen3.5 架構，但頁面公開的本地量化與 GGUF 資訊仍未齊。

由 Qwen3.5 的架構基礎延伸而來，Qwen3.8-27B把長流程推理、Agentic 任務同原生視覺理解放入同一個 27B dense 模型。使用時最直接的差異，是它不只看圖答題，亦針對編程、專業工作、研究與多步驟任務完成度作強化，並保留可調整的 thinking control。

模型層面採用 Causal Language Model with Vision Encoder，屬於經過 pre-training 與 post-training 的 image-text-to-text 模型。27B 參數、64 層、hidden size 5120，以及混合 Gated DeltaNet 與 Gated Attention 的 hidden layout，反映它不是單純沿用傳統 dense Transformer 堆疊，而是針對長程依賴與效率作結構調整。

Qwen 3.8 27B BLOWS MY MIND! Best Local AI Model Yet! Basically Opus Locally! (Fully Tested)

對開發者而言，較有用的是推理行為控制：thinking mode 預設開啟，可按請求關閉；reasoning_effort 可調整推理深度；preserve_thinking 可保留歷史訊息中的 reasoning context。

• 基礎模型可確認為 Qwen3.5 架構系統上的後訓練版本，而非獨立另起爐灶
• 原生支援圖片與影片理解，定位比純文字模型更貼近 Agentic 與多模態工作流
• 相容 Transformers、vLLM、SGLang、TokenSpeed，方便接入現有堆疊
• 頁面未提供 GGUF 格式、量化檔名、mmproj、Ollama／llama.cpp／LM Studio 建議配置
• 亦未見 MTP draft speculation、v2 檔名變更或 chat template 注意事項的具體說明

與同系前代相比，Qwen3.8主打的是可靠完成整段任務，而不只是單輪回答更聰明；與一般視覺語言模型相比，它更強調 environment feedback 下的自主規劃。目前公開的是 Transformers 格式權重與設定檔，未足以直接判斷本地量化部署門檻，所以硬件需求、推薦量化等級與不同量化之間的取捨，現階段只能等後續模型檔或社群移植版本補上。

模型

Categories: Qwen, Agentic, API, 多模態模型, 模型, 模型訓練, 編程, 視覺模型

---

MBA：把商業點子變成多模態評測題

2026 年 8 月 13 日 Share to X Copy link

MBA 將商業點子生成拉回真實場景，讓模型不只看文字，還要理解圖片、情境同市場證據。它同時提供評測基準同兩個 agent 訓練版本，方便比較不同取捨。

MBA（Multimodal Benchmark and Agents for Real-World Business Ideation）把原本偏文字的商業構思流程，改成要連圖片、場景同市場證據一齊理解的多模態任務。對做產品構思、創業點子篩選或研究 agent 的團隊來講，重點唔係生成幾多答案，而係點樣喺真實視覺線索下提出夠新意、又講得通的方案。

這個項目同時提供 MBA-Bench 同兩個 agent，MBA-b 同 MBA-k。前者偏盲測設定，後者會利用已知標準，兩者都用 LoRA-based supervised fine-tuning，再接 group relative policy optimization，並加入 creativity、feasibility 等獎勵去訓練。

官方資料提到，MBA-Bench 有 30K 筆樣本，涵蓋六個有明顯視覺線索的領域，評估亦用多個商業向準則去看答案是否具體、可行、具差異化同可擴展。這代表它不只是比模型「講得靚」，而是逼系統在多個限制之間作取捨。

倉庫提供環境設定、資料準備、訓練同推理流程；資料亦可從 Hugging Face 取得，適合想重跑基準、改 reward 設計，或者把 multimodal agent 套到商業 ideation 工作流嘅研究者同工程團隊。現階段最它把 business ideation 由純文本任務，推向更接近現實訊號的評測框架。

• 同時有 benchmark 同 agent，方便做訓練、比較同復現
• 強調圖片與市場證據，唔再只靠文字提示
• 以 creativity 同 feasibility 作核心獎勵
• MBA-b 同 MBA-k 對應 blind 與 known 兩種設定
• 適合做多模態 agent、產品構思同商業研究的團隊

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, 模型訓練, Dataset 數據集, 框架

---

360CityArena 把城市導航基準拉近真街景

2026 年 8 月 13 日 Share to X Copy link

想測試 Embodied Agents 喺城市場景到底識唔識搵路，360CityArena 提供咗一個更貼近真實街區的基準，但結果亦直接揭示現時模型離人類判斷仲有一大段距離。

喺模擬城市入面叫 Embodied Agents 認路、數物件、跟地圖行，難度一向唔低；換成秋葉原的 360 度真實街景之後，問題就由「會唔會做任務」變成「可唔可以喺複雜環境保持判斷」。360CityArena 屬於 benchmark，核心用途係評估 multimodal large language models 喺 embodied navigation 同 visual reasoning 上，到底有幾接近真實城市探索需求。

呢個項目最有意思的地方，在於它唔係靠乾淨的 3D 合成地圖，而係用 602 段 360° 影片重建東京秋葉原 85 條街道，再放入 Unity 環境，用 pose graph 方式讓 agent 沿既定節點移動。換句話說，代理唔可以自由行去任何 3D 座標，也唔涉及實體互動；它測的是在受限移動下，模型能否理解街景、地圖、語言提示同空間關係。

公開版本有 175 個人工設計任務，涵蓋 localization、landmark search、counting、map navigation、language guided navigation 同 relational spatial reasoning。部署方式亦算清楚：Unity 6.5 負責環境，Python runner 接模型 API、送出相機與地圖觀察，再把每次執行結果寫入 outputs/<run_id>/，因此它比較適合研究團隊或評測項目直接重跑同對照。

• 用 360° 真實街景而唔係純合成場景，城市細節更接近真實導航
• 任務覆蓋找地標、看圖尋路、數物件、按文字指示前進等七類能力
• Unity 環境配合 Python runner，方便接駁不同 MLLM API 做可重現測試
• agent 只可沿 pose graph 移動，限制更明確，同時保留城市探索的推理壓力

最值得留意的是結果並唔樂觀。官方比較指出，Gemini 2.5 Flash 目前在整體任務只有 17.1%，人類則有 77.3%，差距大到足以說明：現時多模態模型即使已經能看圖和讀指令，一旦放入連續街景、地圖對位與空間推理混合的場景，穩定性仍然不足。對做 Agentic、Robotic、世界模型相關研究的團隊來講，360CityArena 的價值正在於它唔再只測單步理解，而係把城市級導航的瓶頸攤開畀人直接比較。

項目主頁 · GitHub

Categories: 開源, Gemini, Agentic, API, 3D, Python, 多模態模型, Robotic, Dataset 數據集

---

Rest2Art 用單張靜態觀察重建可動 3D 物件

2026 年 8 月 12 日 Share to X Copy link

只見到物件關上的樣子，Rest2Art 仍可推回零件結構與關節。對數碼孿生、模擬和機械人操作都幾實用。

只見到抽屜關上、櫃門未打開，系統仍要估到哪些部分可以動、會沿哪個軸轉或滑，這正是 Rest2Art 想處理的難題。它屬於 articulated object reconstruction，目標是由單一 closed-state observation 重建出可直接放入模擬環境的 articulated asset，而不需要先拍到物件在不同狀態下的運動。

這個做法的價值，在於把原本要靠動態觀察先完成的工作，提前到靜態輸入就處理好。Rest2Art 會先用 vision-language model 與 segmentation model 互相校正零件層級和遮罩，再把結果對應回 mesh；之後再借助 video diffusion model 產生可能的 articulation hypotheses，但真正的 joint parameters 不是直接照抄影片，而是再用幾何一致性去驗證。

回應了一個很現實的限制：很多日常物件未必容易拍到完整開合過程，但建模、模擬與機械人任務仍然需要知道它如何運動。Rest2Art 用 explicit mesh 作為中介，方便跨模型比對與融合，最後再把各部分轉成封閉體積，令輸出不只是「睇得明」，而是可用於 physical simulation。

• 單靠 single closed configuration 重建 part-level geometry 與 joint parameters
• 結合 vision-language model、segmentation model 與 video diffusion model 補足缺少 motion cues 的問題
• 以 explicit mesh 做 cross-model verification and fusion，減少不同模型輸出互相衝突
• 可輸出 simulation-ready articulated asset，並支援 URDF 匯出

論文描述顯示，它在 reconstruction-based、generation-based 與 modular pretrained-model families 之間，都能做到有競爭力的表現，重建出的零件分解與關節亦具備 physical plausibility。對數碼孿生、虛擬場景整合、real-to-sim-to-real，以及機械人 policy learning 而言，這種由靜態觀察直接產生可互動資產的流程，明顯比只重建外形更進一步。

項目主頁

Categories: Video, 3D, 多模態模型, 影像處理, 視覺模型, 框架, Dataset 數據集

---

NanoVDR：70M 文字編碼器取代 2B VLM：視覺文檔檢索的輕量化新嘗試

2026 年 8 月 12 日 Share to X Copy link

NanoVDR 把 2B 參數嘅視覺語言模型蒸餾成 69–151M 嘅純文字編碼器，查詢時完全唔需要視覺模型，CPU 51 毫秒即可完成。

處理幾十萬張文件圖片嘅時候，每次查詢都要過一次 2B 嘅視覺語言模型（VLM），開銷大到令人卻步。NanoVDR 想解決嘅就係呢個落差：文件索引由教師模型離線建好，查詢階段只用一個 DistilBERT 規模嘅純文字編碼器，CPU 上 51 毫秒出結果，2048 維嘅單一向量直接做點積，扔得入 FAISS。

佢嘅做法係將 Qwen3-VL-Embedding-2B 凍結做教師，提早把目標向量快取落嚟，學生只係學一個餘弦距離嘅 loss——即係 loss = 1 - cos(student, teacher)。訓練時冇相關性標註、冇負例採樣，兩邊完全解耦，所以查詢端同索引端可以分開換組合。DistilVDR 進一步把文件端都換走，做到成個流程都唔再需要教師。

對於做企業 RAG、法律文件搜尋、學術庫檢索嘅團隊，最大吸引力係每頁索引得 4 KB，比 ColPali 嗰類多向量檢索慳 64 倍儲存，而且唔使 GPU 即可頂住查詢負載。ViDoRe v1 上面，NanoVDR-S-Multi 拎到 82.2 NDCG@5，保留咗教師大約 95% 嘅能力，呢個取捨對批量部署嚟講好實際。

重點摘要：

• 極輕量查詢端：文字編碼器僅 69–151M 參數，無需視覺模型參與查詢
• 高效索引：每頁僅 4 KB（float16），比多向量方案節省約 64 倍儲存
• 簡易整合：輸出為單一向量，FAISS 即可處理，無需 MaxSim 池化
• 教師-學生解耦：目標向量預先快取，兩端可獨立訓練與組合
• 完整資源：模型、訓練數據集、線上 Demo 同論文均已開源

多向量查詢塔嘅程式碼已就位，但 checkpoint 要等 NanoVDR-v2 先出齊，想要更高召回嘅人需要留意後續更新。

項目主頁 · GitHub

Categories: 開源, Qwen, Embedding, RAG, 多模態模型, 模型, 視覺模型

---

Ex-Omni-2D 直接對話生成同步發聲與表情的數字人影片

2026 年 8 月 12 日 Share to X Copy link

Ex-Omni-2D 讓對話模型同時輸出文字、個人化語音與表情同步的頭像影片，以多碼本語音單元串接語音與畫面，並提供 Teacher 與 Prefix-Streaming Student 兩種部署模式。

想讓 AI 數字人不只是「會打字」，而是真的「邊說邊演」？香港中文大學（深圳）與 LIGHTSPEED 合作開源的 Ex-Omni-2D，正是針對這個目標設計。它是一個開源對話框架，接受多模態查詢、參考圖像與參考音訊後，先由語言模型輸出一份結構化的 Visual Thought Plan（VTP），再依此生成文字回應、個人化語音，並產出嘴形與動作同步的頭像影片。

傳統做法通常把語音合成與人物影片視為兩條獨立管線，需要額外對齊文字、聲音與嘴形，容易出現時間錯位。Ex-Omni-2D 的差異在於採用 16 個 codebook 構成的原生多碼本語音單元，作為語音與影片共享的聲學與時序介面：同一組語音單元既驅動 TTS，也作為影片生成器的緊緻條件，從而降低跨模態錯位的風險。

影片生成路徑提供兩種互補模式：Full-sequence Teacher 採雙向注意力，追求最高畫質；Prefix-Streaming Student 則是蒸餾而來的少步數 block-causal 版本，支援 2、4、8 步串流推論，方便在工作站、GPU 伺服器甚至 Hugging Face Spaces 上做漸進式部署。

這個項目的重點：

• 對話原生影片：視覺行為直接從多模態對話上下文規劃，不必再手動撰寫影片提示詞。
• 結構化 VTP：明確定義首幀、場景、情緒、動作風格與動作細節，方便後續控制與除錯。
• 共享語音介面：16 個 codebook 同步驅動語音合成與人物動作。
• 品質與效率取捨：Teacher 負責最高畫質，Student 支援 2/4/8 步串流。
• 彈性部署：同一套代碼可在個人工作站、GPU 伺服器或 HF Spaces 執行，並提供線上 Demo 試玩。

在串流場景中，作者指出 Prefix Streaming 從第 9 至 16 chunk 的一致性明顯較強，將 last-to-first consistency error 降低 21.4%，這對需要長時間維持角色身份一致的應用相當關鍵。論文亦提到 Prefix Streaming 能減少長序列累積形變，同時保留參考圖像的人物外觀。

較適合的對象包括需要快速打造可對話 AI 助手、虛擬主播、客服分身或教學數字人的團隊；對研究多模態對話、語音驅動動畫的人來說，這份開源代碼、模型權重與 arXiv 論文也是一個方便的起點。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, 香港, 香港中文大學, 騰訊, 文字轉語音, AI productions, 多模態模型, 數字人, 視頻模型, 語音

---

LTX-2.5 原生多鏡頭、4K HDR，一次看懂升級重點

2026 年 8 月 12 日 Share to X Copy link

LTX 最新開源基礎模型 LTX-2.5，主打原生多鏡頭銜接、4K HDR，並降低重試與算力成本，繼續走開放權重路線。

如果你是用開源模型做影片生成的開發者，LTX-2.5 這次更新解決的卡位頗明確：人物、環境、光線與聲音在多鏡頭之間斷裂的問題。它把多鏡頭生成變成原生能力，並加入自動時長預測，模型會按指令動作自行決定片段長度，省下人手剪接的麻煩。

對比起多數只能透過後製拼接的同類方案，LTX-2.5 在 prompt 跟隨度上也有明顯進步，能夠處理更複雜的創作指示，而且只需要更短的提示詞就能產生穩定結果。配合新的擴散影片解碼器，動態假影更少，畫面在高解析度與 HDR 下仍能逐格保持質感。

本地部署與微調是這次版本延續的核心承諾：開源權重可直接下載，預訓練基礎模型可在自家做 LoRA 微調，產出與後製則支援原生 RAW workflow，貼近專業調色與剪接流程。

從官方比較表來看，目前維持開放權重且不受地區限制的開源視頻生成選擇仍然有限，這也是 LTX-2.5 在定位上最值得留意的差異化。不過實際表現仍需視本地硬件配置與工作流整合程度而定。

重點摘要

• 原生多鏡頭生成：人物、環境、光線與聲音在不同鏡頭間保持一致。
• 自動時長預測：依據動作需要自動決定片段長度。
• 4K HDR 與原生 RAW：支援專業調色與後製 pipeline。
• Gemma 4 12B 文字編碼器：搭配自研提示詞增強器，提升 prompt 跟隨度。
• 開源權重可下載：可在本地硬件運行，並支援 LoRA 微調。

項目主頁

Categories: 開源, Video, Image, AI productions, 多模態模型, 數字人, 模型訓練, 視頻模型, LTX

---

ConCor-1：一句標註都唔使畀，自動搵出圖文對應

2026 年 8 月 11 日 Share to X Copy link

ConCor-1 將視覺語言定位反轉成雙向概念對應，唔使預先指明想搵乜字句，畀一張圖同一段文字就會自動判定邊啲文字對應邊個物件。

以往做視覺語言定位，多數流程都要你先講明想搵邊句字，模型再喺圖入面指出對應區域。ConCor-1 索性反轉呢個做法：畀一張圖同一段文字，無論係完整描述、指代表達，定係一列類別名，模型都會自己判斷邊段文字同圖入面邊個物件對得上，然後一次過畀齊文字遮罩、實例遮罩同對應分數。研究團隊由華盛頓大學、Allen Institute for AI 同 Meta FAIR 組成，模型基於預訓練視覺語言模型，再加上一組可學習嘅 bridge tokens 嚟代表候選對應。

呢種設計最大嘅實用價值，係省卻前置標註嘅工序。當你手上得一段長 caption 或者一大串類別名，傳統方法往往要逐句拆開再分批餵入，ConCor-1 直接當作一次對應預測處理，文字分割、影像分割、跨模態對齊三件事一齊做。佢將 phrase grounding、referring expression 同 open-vocabulary detection 收納成同一格式，等訓練同評測可以用統一數據集比較。

ConCor-1 喺長 caption 數據集上將 correspondence F1 提升 48%，喺零樣本 LVIS、即用大類別清單當文字輸入嘅場景亦提升 29%。Hugging Face 上已有模型權重、數據、Space Demo，源代碼以 Apache 2.0 發佈。對做細粒度理解、自動化標註，或者想整合長描述入視覺流程嘅團隊，呢個框架值得留意；想自行重現訓練嘅人就要再等等，現階段主要提供推論程式碼同評測即將推出。

重點摘要

• 雙向概念對應：毋須預先指明文字，直接輸出文字遮罩、實例遮罩同對應分數
• 統一格式：將 phrase grounding、referring expression、open-vocabulary detection 收成單一預測任務
• 基於 bridge tokens：喺預訓練視覺語言模型上加可學習 token 代表候選對應
• 顯著提升：長 caption F1 提升 48%，零樣本 LVIS F1 提升 29%
• 開源配套：模型權重、數據、Space Demo 同推論程式碼已於 Hugging Face 同 GitHub 公開

適合需要從圖文配對中抽取結構化對應、做自動化標註、或研究視覺語言定位框架嘅讀者。ConCor-1 將文字分割、影像分割同跨模態對齊壓成單一任務，特別適合處理長描述或大類別清單等場景。

項目主頁 · GitHub · 模型

Categories: 開源, 多模態模型, 模型, 視覺模型, Meta, Dataset 數據集

---