Dataset 數據集

VIABench 視覺模型如何協助失明應用

2026 年 7 月 17 日

不少影片模型識描述畫面，未必識幫人做決定。VIABench 把測試搬到視障人士日常片段，重點睇模型能否提供真正有用的協助。

講到視覺模型，很多測試仍然停留在「見到乜、答到乜」；VIABench 把焦點轉去更貼身的助盲情境，直接檢查多模態大型語言模型可否在日常片段中作出提醒、回答環境問題，甚至按目標提供引導。它屬於Dataset 數據集兼評測基準，處理的是視障協助場景長期缺乏貼地測試標準這個問題。

VIABench 不再只量度被動理解，而是把影片 Multimodal Large Language Models 與真實任務綁在一起。資料來自盲人錄製或分享的第一身影片，包含 761 段影片、46.9 小時內容，以及 14,526 筆人工整理標註，圍繞 Proactive Reminder、Visual Question Answering、Vision-Guided Interaction 三類任務，測試模型會否在合適時間講合適內容。

和常見視覺問答基準相比，VIABench 的分野在於它重視「協助能力」多過一般描述能力。這意味模型不單要看懂畫面，還要判斷何時提醒、如何回應環境細節，以及怎樣支援使用者完成目標；取捨是任務更接近真實世界，但評測難度也更高，單靠表面語意對齊未必夠。

核心價值在於測試影片 MLLMs 能否提供可行協助，而非只做畫面解說
任務覆蓋主動提醒、視覺問答、互動引導三種助盲場景
數據來自真實第一身影片，場景代表性比通用影片基準更強

較適合關注無障礙 AI、assistive technology、video MLLMs 評測的研究團隊，也適合想比較不同模型在真實互動場景表現的人。現有資料已足夠理解它作為基準的定位；使用前較合理的做法，是先查閱論文與 Hugging Face 資料集頁面，再確認支援哪些相關模型與評測設定。

GitHub

Categories: 開源, Video, 多模態模型, 視覺模型, Dataset 數據集, 南京大學

statistical_self_consistency：檢查 LLM 判斷靠唔靠得住

2026 年 7 月 17 日

同一個問題換幾種切法，模型答案未必能夠互相對得上。呢個研究項目正正用統計方法量度呢種落差。

Statistical self-consistency in language models

當你想用 Large Language Models（LLMs）去估計某個群體的收入、意見分布或問卷答案，最麻煩唔係模型有冇答，而係同一批人用不同條件拆開再合併之後，結果會唔會前後一致。statistical_self_consistency 針對的正是呢個問題：它屬於研究實驗型程式庫，用二元 conditioning tree 把人群逐層分割，向模型索取各節點估計，再用 law of total probability 重建整體分布，檢查模型輸出有幾接近真正「條件機率」應有的表現。

項目的技術重點唔係再訓練一個新模型，而係替現有 LLM 加上一套 reference-free 的自我檢查方法。它一邊比較重建後的 aggregate 與直接 marginal estimate 是否一致，一邊再用 American Community Survey（ACS）、Global Opinion QA 同 World Values Survey（WVS）的人類統計資料做 alignment 對照。呢個取向同一般只睇單題準確率或 benchmark 分數的做法唔同，因為它更關心模型輸出在統計層面有冇內在矛盾。

資料與執行方式也反映出它偏向研究用途。README 已交代實驗分佈在 src/experiments_acs/、src/experiments_global_opinion_qa/ 同 src/experiments_wvs/，ACS 與 WVS 亦有對應 data loader；WVS 需要自行從官方網站下載 SPSS 檔案並放到指定資料夾，另有 secrets/secret_config.yaml 儲存 API keys。原始資料沒有提供一鍵部署、公開模型下載或產品化介面，較合理的理解是：你會用它重跑論文實驗、檢查提示設計下的估計穩定性，或者把同類方法接到自己的 LLM 評測流程。

用 binary conditioning trees 檢查 LLM 估計能否在分割與聚合後保持一致
涵蓋 ACS、Global Opinion QA、WVS 三類任務，包含收入估計、跨國意見題與問卷分布
同時做 self-consistency checks 與 human data alignment，唔只看單次回答
依賴外部資料與 API keys，較接近研究驗證流程，未見即裝即用的產品包裝

受益最大的會是做 LLM evaluation、computational social science、survey estimation 或 prompt-based inference 的研究者與團隊。它未有在目前資料中列出完整性能數字，但方法定位相當清楚：不是追求更花巧的生成能力，而是量度模型在條件推斷場景下有幾可信。相關模型名稱在現有資訊中未被具體列出，只能確認此項目面向一般 LLM 實驗，而非綁定單一模型家族。

GitHub

Categories: 開源, API, 框架, Dataset 數據集

UniVR：視覺推理訓練變成可控工作流

2026 年 7 月 17 日

UniVR 把 Emu3.5 的視覺推理訓練拆成 SFT 與 GRPO 兩段，讓團隊可用自己的資料同獎勵函數接上去。它更像一個面向視覺任務的訓練骨架，而唔係單一模型。

UniVR 係一個能理解我們視覺空間中的思考方式及其在統一視覺推理中的應用，它針對 Emu3.5 unified generative models 的訓練框架，處理的是視覺推理、長程規劃同結果判斷點樣一齊學。它唔係拿來直接做推理展示，而係俾你用自己的資料同獎勵訊號，去微調一個已經懂得處理圖像與文字的底座模型。

SFT（supervised fine-tuning）階段要提供統一格式的樣本：query image、textual instruction、visual reasoning trajectory；RL（reinforcement learning）階段則改成透過 HTTP reward server 送回分數。原始資料沒有提供完整安裝流程，所以目前可確定的只有要把自定義 PyTorch Dataset 接入 UniVR_SFT/train.py，以及把 reward function 換成自己的服務。

和一般只做單次微調的做法相比，UniVR 的取向更偏向「先教格式，再用獎勵修正推理」。它在 RL 端用 GRPO，並配合 HybridEngine 與 Emu3.5 的 vLLM patch，強調 rollout 效率；同時保留 LoRA 同 full-parameter training，適合資源與改動幅度唔同的團隊。

支援多節點 SFT，兼容 LoRA 同 full-parameter training
RL 端基於 verl，同 GRPO 搭配自訂 HybridEngine
Emu3.5 的 vLLM no-CFG parallel inference 可做到約 2 倍 throughput
獎勵設計分成 format reward、global reward，同 step-level 的視覺推理約束
相關模型包括 Emu3.5 同作為評分器的 Qwen3-VL-30B

較容易受惠的情境包括做視覺代理、機械臂/操作規劃、長程任務推理，或者想將現成視覺模型轉成自己工作流的團隊。它的價值在於把「資料格式、推理軌跡、獎勵判斷」串成同一條訓練路線，令視覺任務唔再只靠靜態標註去學。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, 字節跳動, Gemini, DeepSeek, OpenAI, Image, Python, 多模態模型, 模型訓練, Dataset 數據集

BadWAM 直指 World-Action Models 盲點

2026 年 7 月 17 日

BadWAM唔係做更強控制，而係專門測試 World-Action Models 會點樣「想得啱、做錯事」。對研究機械人安全同對抗攻擊的人來說，呢類偏移比一般失敗更值得警惕。

當一個 World-Action Models（WAMs）睇落仍然能夠預測合理未來，但實際控制已經被悄悄帶偏，問題就唔再只是準確率高低。BadWAM 屬於研究型安全測試框架，集中模擬 World-Action Drift Attacks，用細微視覺擾動去拆開「想像」同「行動」之間原本應該對齊的部分。

呢個項目的價值，在於它唔係單純證明模型會失手，而係指出一種更難察覺的失效方式：未來預測仍然似樣，行動卻已經朝向任務失敗。相比一般只睇輸出有冇偏移的對抗攻擊做法，BadWAM更貼近 WAM 的結構特性，分成 Action-only Adversarial Attack 同 Imagination-preserving Adversarial Attack 兩條路線，後者尤其針對「表面正常、實際出錯」的情況。

重點可先睇幾項：
– 支援 query-based 攻擊，重點在凍結的 WAM 上做線上搜尋
– 提供 LIBERO closed-loop attack evaluation，唔只停留在單步分析
– 包含 matched-strength stealth analysis 同 ablation experiments
– 內附 statistics export 與 plotting utilities，方便整理結果

從部署角度看，儲存庫提供的是研究代碼而唔係開箱即用套件，基礎環境指向 Python 3.10+，並建基於 FastWAM。README 亦講明未附 model checkpoints、LIBERO data、dataset statistics、RoboTwin assets 同實驗輸出，所以要重現結果，仍然要自行補齊相關資源與依賴。

現有公開結果已經說明這個框架唔只係概念展示。在 LIBERO closed-loop 測試中，action-only WAM 成功率由 96.5% 跌到 43.1%，joint WAM 亦由 98.1% 跌到 61.5%。受益最大的會係做機械人控制、WAM 安全、對抗魯棒性測試的研究團隊；對一般應用開發者來說，它未必直接幫你部署產品，但很適合作為檢查模型是否「睇落可靠、其實已偏航」的驗證工具。

項目主頁 · GitHub

Categories: 開源, 香港, 香港理工大學, Python, 安全, 世界模型, Dataset 數據集, 框架

Self-in-Space 補上無人機空間理解盲點

2026 年 7 月 17 日

無人機睇得見環境，未必真正理解自己點樣移動。Self-in-Space把評測、數據同模型放埋一齊，專門拆解呢個落差。

講無人機視覺理解，很多方法集中在環境辨識或任務完成，但較少正面處理飛行器本身的狀態感知。Self-in-Space屬於研究型基準測試、訓練數據集與模型組合項目，核心是把 UAV 的 spatial cognition 與 self-awareness 分開檢查，看看模型是否不只「見到空間」，亦知道自己在場景中如何移動。

作者明確批評現有 UAV-oriented MLLMs 普遍偏向 environment-centered、task-oriented 範式：重視周圍有什麼，較少處理自身運動如何影響理解。為此，他們提出 SIS-Bench、SIS-Motion-54K 與 SIS-Motion，重新把 aerial understanding 拆成 perception、memory、reasoning 三層，再同時覆蓋空間與自我兩條軸線，令問題定義比一般影片問答 benchmark 更貼近 embodied UAV 場景。

SIS-Bench 包含 1,646 段真實 UAV 影片與 4,856 組 QA，覆蓋 13 個任務；團隊用它測試 26 個 video MLLMs，包括 6 個 proprietary models 與 20 個 open-source models。結果指出兩個穩定現象：模型對 self 的建模弱過 space，而且能力會由 perception 走到 memory、再到 reasoning 時逐步下跌，這個診斷比單看整體分數更有參考價值。

結合 benchmark、training dataset 與 motion-aware model，不是單一模型發佈
直接針對 UAV embodied intelligence 的 self-awareness 缺口
評測設計有清楚分層，方便看出模型在哪一段開始失準
SIS-Motion 嘗試用 motion-aware representation 改善 aerial video understanding
已公開 SIS-Bench 與 SIS-Motion-54K，可在 Hugging Face 或 ModelScope 了解內容

這項目的受眾很清楚：做 UAV 視覺、aerial video understanding、embodied AI、video MLLMs 評測的人，都會較容易用得着。現階段它更像研究與比較基礎設施，而不是即裝即用產品；想部署測試，較合理做法是先從 SIS-Bench 驗證現有模型在 self-awareness 與 spatial reasoning 的表現，再看 SIS-Motion 是否能為下游 UAV navigation tasks 帶來可轉移的增益。相關模型與資源以 SIS-Motion、SIS-Bench、SIS-Motion-54K 為主，並且對照了多個 video MLLMs 的表現。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, 字節跳動, Gemini, Video, 多模態模型, 模型訓練, Dataset 數據集, 清華大學

awesome-Self-Improving-Agents：拆解自我改進 Agent 地圖

2026 年 7 月 17 日

想追蹤 self-improving agents 點樣由概念走到方法，呢個整理庫比單看論文更省時間。它把分散做法收成一張可導航地圖，方便快速判斷研究路線。

當大家都在談 Agent 會否愈跑愈聰明，真正麻煩的往往不是資料太少，而是做法太散、名詞太多、更新位置又不一樣。awesome-Self-Improving-Agents 把這件事整理成一個論文地圖型資源庫，核心不是教你直接部署系統，而是幫你分清楚 self-improving agentic systems 究竟在改進模型本身，還是在改進 prompt、memory、tools 與 control logic 這些外圍 scaffolds。

現有討論常把各類自我改進方法混在一起看，作者則用一條很實際的分界重組內容：一邊是 Foundation Model Improvement，另一邊是 Scaffolding Improvement。這個切法的好處，是你很快知道某篇工作追求的是更持久但較重的參數更新，還是較快、較平、亦較容易回退的代理層更新，閱讀時不會把 LoRA、工具路由、記憶結構調整當成同一類問題。

它不是可即裝即跑的軟件工具，更像研究與產品規劃都用得著的索引庫。你可以直接從 GitHub README、survey hub 同 arXiv 論文交叉閱讀；要測試這個項目的價值，最直接的方法是按 taxonomy 揀一條路，例如 Intrinsic Generative Demonstrations、Intrinsic Evaluative Feedback，或者 memory、tool refinement、full scaffolding，看看它能否幫你更快找到代表性工作與相近分支。

把 self-improvement 分成 Foundation Model Improvement 與 Scaffolding Improvement 兩大路線
收錄 239 篇 papers，當中 73 篇屬 FM improvement，166 篇屬 scaffolding improvement
細分到 Intrinsic Generative Demonstrations、Intrinsic Evaluative Feedback、dynamic tool routing、autonomous tool creation 等機制
適合研究員、Agent 產品團隊、技術寫作者整理文獻脈絡與比較方法取向

相關模型與系統脈絡圍繞 Foundation-Model-Based Agents 展開，但這個項目本身不提供單一模型權重或 benchmark 分數，也不是 OSWorld 那類直接跑任務的評測框架。它的價值在於建立閱讀順序與判斷框架；想找可落地的 agent 改進方向，這份 curated map 比單篇 survey 更接近工作清單。

項目主頁 · GitHub · Paper

Categories: 開源, Agentic, 多模態模型, 模型, Meta, Dataset 數據集

EgoMemo 讓助手懂得幾時先開口

2026 年 7 月 17 日

唔少助手識回應，真正難的是判斷應否打擾你。EgoMemo把連續第一身影片整理成可檢索記憶，嘗試把主動提醒變成可評測的能力。

助手最難處理的，不是看見了甚麼，而是判斷幾時該出聲、幾時應該保持安靜。EgoMemo對準的正是這個空位：它屬於一個面向連續第一身影片的記憶增強代理系統，同時附上 benchmark，目標是讓系統根據累積情境主動提供服務，而不只是等人發問或對每個事件都作反應。

現有做法多數落在兩個範式：reactive，只會被問到先答；semi-proactive，偵測到預先定義事件就回應。作者認為這兩類方法都欠缺對使用者歷史、當前活動與介入時機的判斷，所以用 EgoServe 重新定義問題，把主動協助視為 context-dependent decision problem，再由 EgoMemo用 three-level temporal memory graph、semantic knowledge graph 同 visual embedding archives 做 retrieval-augmented reasoning。

這個 GitHub 項目不止放出模型思路，亦包含 memory-graph construction + retrieval pipeline、evaluation suite、dataset annotation 與 streaming demo。理解部署方式並不複雜：先準備 Python 3.10 環境與 .env 內的 API keys、資料路徑，再下載 EgoServe 註釋及對應來源影片，之後按不同資料集分開執行 processing 與 retrieval 兩階段，前者建立記憶圖，後者生成 proactive-service response。

EgoServe 收錄超過 3,000 個 service instances，橫跨 4 個 temporal memory horizons 與 10 類服務
EgoMemo 採用 training-free 設計，重點放在記憶組織與檢索，而不是再訓練一個大模型
項目同時支援 EgoLife、HoloAssist、CaptainCook4D、EyeWo / ESTP-Bench、OVO-Bench 等資料來源
retrieval 可切換 caption retrieval、visual retrieval 等設定，方便做 ablation

EgoMemo 不是追求單次問答表現，而是補上長時間情境累積後的判斷能力。受益最大的是做 egocentric AI、智能助理、穿戴式裝置或多模態 Agentic 項目的研究團隊；限制也同樣直接，整個流程依賴外部影片資料、API keys 與多階段處理，重點更接近研究基線與評測框架，而未算一個即裝即用的消費級產品。相關模型與組件方面，儲存庫示例已出現 QwenVL 3 8B Instruct、GPT-5、Gemini 等作為 caption 或 response 端選項。

項目主頁 · GitHub · Paper

Categories: 開源, Gemini, OpenAI, Agentic, API, KnowledgeGraph, Embedding, Python, 多模態模型, 模型訓練, Dataset 數據集

Hallo4D 點樣補救 3D 與 4D 生成穿崩

2026 年 7 月 17 日

3D同4D生成最怕畫面一轉角度就走樣，或者動起來之後角色忽然變臉。Hallo4D想處理的，正正是這類跨視角、跨時間都難收拾的失真。

做3D同4D內容生成，最麻煩往往唔係單張畫面唔夠靚，而係鏡頭一轉、時間一推進，物件結構開始重複、錯位，角色仲會出現 jitter、identity flicker 同 structural drift。Hallo4D沿住呢個痛點出發，屬於一個研究型框架，重點唔係再訓練新模型，而係插入現有流程，幫3D與4D生成結果找出並修正時空不一致。

而家常見做法多數仍然依賴 2D diffusion-based supervision，但欠缺直接約束幾何一致性的機制，所以會出現 duplicated structures 同 misaligned geometry；去到4D，問題再擴大到時間軸。Hallo4D提出的是 generation-detection-correction 範式：先生成，再用 Large Multimodal Models（LMMs）從 multi-view、multi-frame renderings 判斷邊度出錯，之後以 image-space consistency optimization 做修正，並用 multi-model voting 揀較穩定的候選結果。

它不是跟同類方法鬥基礎生成能力，而是做一層 tuning-free、model-agnostic 的補救機制，聲稱毋須 retraining 或 architectural modification。代價亦很明顯，整個流程更依賴外部 LMM 推理、候選修正與投票判斷，較像高質後處理，而唔係最省算力的路線。

重點放在 spatio-temporal hallucination mitigation，不是直接取代原有 3D / 4D 生成模型
用 LMMs 檢查多視角、多幀輸出，再引導修正不一致位置
針對時間穩定性加入 optical flow 驅動的 keyframe sampling
以 CSEA、log-dynamic-range loss 同 union-of-frusta visibility pruning 處理曝光崩壞

目前較適合當作研究方法理解，而不是即開即用的產品工具。測試方式大致應是把它接到既有 Text-to-3D、Image-to-3D 或 4D pipeline，對比 baseline 與修正後結果，觀察多視角幾何、角色身份穩定度同曝光控制有無改善；頁面亦提供多組 visual comparisons，以及在 SV4D 的額外 4D 場景結果。

十分適合本身已經在做 3D / 4D 生成、又經常被跨視角穿崩同時序閃爍拖慢流程的研究團隊。相關脈絡亦值得一併看：Hallo3D主攻 multi-view-consistent 3D generation，Hallo4D則把範圍擴展到統一處理 3D + 4D 的時空一致性；量化表現，現有儲存庫文字未見完整指標表，判斷仍要以論文與項目頁面的可視化對比為主。

項目主頁 · GitHub · Paper

Categories: 開源, Image, 3D, 多模態模型, 中國, 任何模型, Dataset 數據集

KnowAct-GUIClaw 跨平台 GUI 代理

2026 年 7 月 17 日

想讓代理真正代你點按、輸入同切 App，難處從來不只係識畫面。KnowAct-GUIClaw把記憶、路由同技能接埋，重點放喺長流程任務穩定完成。

要代理跨桌面、Android、iOS 同 HarmonyOS 幫你做事，最易失手的位通常唔係單一步驟，而係多個 App 之間點樣接續執行。KnowAct-GUIClaw屬於 Agentic 自動化框架／工具，核心處理的是長流程 GUI automation：由理解意圖、揀路徑、執行操作，到把經驗寫回記憶與技能庫，令之後的任務唔使每次由零開始。

同類 GUI agent 常見做法，是把畫面理解同動作決策綁成單次 observe-reason-act 迴圈；作者認為這種固定範式一遇上跨 App、跨系統流程，就容易缺少任務分解、歷史經驗同可重用技能。KnowAct-GUIClaw改用 Know–Route–Act–Reflect，前面先整理證據與路由，後面再把軌跡蒸餾成 memory 同 skills，取向明顯偏向「愈用愈熟手」而唔係單次回答最聰明。

部署上有兩條路：一條是完整 host，配合 nanobot webui、gateway 同 agent 去跑；另一條是獨立 guiclaw 工具，讓其他 host、腳本或終端直接調用。GUI automation 會改變裝置狀態，驗證任務應先用 dry-run，同時用測試裝置或測試帳號，這點對企業內部流程、自動測試、數碼助理場景尤其重要。

支援 desktop、Android、iOS、HarmonyOS，重點係跨平台一致流程
以 memory store 同 skill store 補強長流程任務，而唔只靠即場推理
在 MobileWorld benchmark 取得 64.1%，頁面稱超過多個 open agent frameworks 及部分 closed agents
對不同底模有泛化效果：Kimi-2.6 提升 8.5%，Qwen3.5-35B-A3B 提升 16.2%

受惠最大的，會是要處理重複 GUI 流程的團隊，例如行動裝置測試、跨 App 任務編排、個人助理型代理開發。不過它的價值未必只在榜單，而係把 GUI agent 從「會操作畫面」推向「會累積經驗再操作畫面」。

項目主頁 · GitHub · Paper

Categories: 開源, Agentic, 工具, Dataset 數據集, Skill 技能

Ring-Zero 1T 參數零樣本強化學習

2026 年 7 月 17 日

唔靠人工標註推理步驟，模型一樣可以練出更成熟的思考方式。Ring-Zero 想解的，正是大模型推理愈大愈難教、愈難穩定訓練的問題。

當模型愈做愈大，真正困難唔只係算力，而係點樣令佢喺冇人工示範推理鏈嘅情況下，仍然學到清晰、有效又可延伸嘅思考方式。Ring-Zero 屬於大型語言模型推理訓練研究，重點放喺將 zero RL 擴展到 1T 參數，觀察推理能力會唔會隨規模自然湧現。

呢個項目要處理嘅問題幾具體：以 Reinforcement Learning with Verifiable Rewards（RLVR）直接訓練 base model，雖然可以避開昂貴嘅人工 chain-of-thought（CoT）資料，但簡單放大規模會帶來可讀性差、token 冗餘，同埋推理深度唔夠靈活。Ring-Zero 針對呢幾個卡位，加入 clipped importance sampling、training-inference ratio correction 同 mixed-precision control，目標係令訓練流程更穩定，輸出亦更精煉。

同常見依賴監督式推理示範或者較細模型做 zero RL 嘅做法相比，Ring-Zero 想證明一件事：規模本身會改變模型學推理嘅方式。研究者觀察到訓練大致會經歷「discovery」再到「sharpening」兩個階段，而且模型會自發出現 anthropomorphism、structured formatting、self-verification、parallel reasoning 同 context anxiety 等行為，顯示部分人手設計技巧未必再係必要。

把 zero RL 擴展到 1T 參數，核心焦點係大規模推理湧現
唔用人工標註 CoT，改用 RLVR 從 trial-and-error 中學習
除咗最終答案，仲額外檢查 comprehensibility、reproducibility、efficiency
在七個數學 benchmark 上，Ring-2.5-1T-Zero 表現具競爭力

對研究 LLM 推理、模型訓練同 scaling law 嘅讀者，呢個項目最有參考價值。佢唔單止關心分數高低，仲嘗試回答大模型點樣學會更短、更有結構、亦更容易重現嘅 CoT；呢一點對之後做 AGI、模型訓練同推理優化都幾關鍵。

Youtube · Paper

Categories: 安全, 模型訓練, 中國, Dataset 數據集, 清華大學, AGI

Page 10 of 21

« Previous 1 … 8 9 10 11 12 … 21 Next »