InferNews

LSCBench 揭示 AI 編程代理安全盲點

Share to X

LSCBench 以不提安全的真實漏洞重建任務測試編程代理，結果顯示能正常運作與同時安全的程式碼仍有明顯距離。

Qwen

當編程代理只收到功能規格、完全沒有被提醒要處理安全問題時，能否自行避開已知漏洞？Last Secure Code Benchmark（LSCBench）正是用來回答這個問題的開源基準測試項目：它從真實項目移除曾經包含漏洞的程式碼，再要求代理按規格重建，最後以功能測試及重現原有攻擊的安全測試共同評分。

LSCBench 共設 450 個任務，涵蓋 150 個漏洞情境，包括 115 個 Common Vulnerabilities and Exposures（CVE）案例及 35 個專家編寫的 Java 應用程式，支援 C、C++、Go、Java、JavaScript、PHP 和 Python。每個情境分成 function、file 及 repo 三種粒度，分別測試代理修補最小函式、相關檔案，以及較完整程式庫的能力。

六個模型在 450 個任務中大多能產生可運作程式碼，但同時通過功能和安全測試的比例最高只有 25.1%。Claude Fable 5 配合 Claude Code 取得最高 Func∧Sec 比例，GPT-5.6-Sol 的安全測試通過率則以 25.8% 稍高；Kimi-K3 雖然功能通過率達 91.3%，兩項測試同時通過的比例只有 16.4%，反映功能完成度與安全性並非同一件事。

  • 測試焦點：編程代理沒有收到安全提示，必須自行辨認風險。
  • 評分方式：功能測試確認程式可運作，安全測試重播原有攻擊。
  • 資料範圍：450 個任務、150 個漏洞情境、7 種程式語言。
  • 粒度差異：同一情境會在 function、file、repo 三個層次出現。

LSCBench 屬於面向 Computer-use agents（CUAs）及 coding agents 的安全基準測試，實際解決的是「生成的程式碼能否在沒有安全提示下仍然避免已知漏洞」這個評估缺口。對模型開發團隊、安全工程師及採用 AI 輔助編程的團隊而言，項目提供了比單看功能通過率更接近真實風險的檢查方式；不過，測試結果只涵蓋指定漏洞與攻擊重現流程，不能取代完整 code review、模糊測試及正式安全審計。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, Qwen, OpenAI, DeepSeek, Python, 庫, 編程, 安全, Anthropic, Dataset 數據集, Kimi

SuperNav 讓多模態模型指揮機械狗導航

Share to X

由多模態模型處理找物件、按次序到訪及高層次指令，SuperNav 把導航變成可觀察、可評估的代理工作流。

SuperNav

當指令由「找出籃球」延伸至「先找打印機，再找垃圾桶」，SuperNav 以 Agentic Navigation System 的形式處理場景理解、路線行動與任務進度。項目實際解決的是機械人面對不同場景和非固定指令時，難以只靠預設導航流程完成工作的問題。

系統由預訓練多模態模型 (multimodal model) 作決策，再透過工具、task-progress tracking 和 context management 將決定轉成移動行動，不需要為導航專門微調模型。Codex、OpenCode 或 Kimi 都可作為代理執行端，任務、工具與 Skills 則透過實驗設定組合，彈性高於寫死單一路線，但結果仍會受模型判斷及工具能力影響。

作者提供 agent runtime、導航工具、Skills、實驗配方及評估工具，支援 Habitat-GS 和 AI2-THOR。測試時可先在模擬環境執行單物件、多物件和 demand-driven navigation，再查看 RGB 觀察、軌跡、tool calls、提示詞、工具結果及原生記錄；儲存庫目前沒有真實機械人驅動程式，Unitree Go2 的示範主要來自研究項目展示。

研究結果指出，SuperNav 在單物件、多物件及需求導向導航的成功率高於所比較的基線，並展示 Unitree Go2 實體部署。可留意的限制是，資料只交代高於評估基線，未提供足夠細節讓讀者單靠儲存庫重現所有真實機械人測試。

  • 適合場景： 室內找物件、依次到訪多個目標，以及較高層次的整理要求
  • 可觀察性： 即時查看 RGB 影像、軌跡和工具呼叫，完成後再檢查記錄
  • 模型關係： 多模態模型負責決策，SuperNav 負責工具協調、進度追蹤與導航執行
  • 測試範圍： Habitat-GS、AI2-THOR，並有 Unitree Go2 示範

研究團隊、具身 AI 開發者和需要比較導航代理的人，會較容易從這個開源項目受益；一般使用者則要先準備相應模型服務、模擬環境和實驗設定，不能把儲存庫直接當成已包裝完成的機械人應用。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 提示詞, 工具, 庫, Kimi, Skill 技能

AdvSim2Real 讓網頁爬蟲代理學懂抵抗提示注入

Share to X

網頁爬蟲代理不能完全忽略頁面內容，AdvSim2Real 改用自我對抗訓練，令代理在保留操作能力之餘更能抵禦惡意指令。

AdvSim2Real overview

當網頁內文同時包含任務資料和惡意指令，要代理完全忽略非常重要。AdvSim2Real 屬於網頁代理安全訓練項目，透過動態產生任務和提示注入，處理代理被頁面內容帶偏的問題，並把能力提升帶到真實 Chromium 瀏覽器。

項目在凍結的 WebWorld-14B 中共同訓練任務課程、注入對手和網頁代理。課程專挑代理約有一半機會完成的任務，對手只有在注入令成功變成失敗時才獲得回報；每條操作軌跡再由凍結的 Qwen3.8-27B 評審。執行代理採用 Qwen3.5-4B，訓練後既提升正常任務能力，也減少對攻擊的敏感度。

元件論文配置／作用
ExecutorQwen3.5-4B；執行網頁任務
Curriculum產生符合 Agent 當前能力嘅訓練任務
Adversary產生令 Agent 偏離使用者目標嘅網頁注入內容
World modelWebWorld-14B；模擬每次動作後嘅下一個網頁狀態
JudgeQwen3.8-27B；判斷任務是否完成

150 項測試任務中，正常完成率由 74.89%升至 81.33%；面對三個訓練所得對手時，完成率由 48.07%升至 57.48%。對未參與訓練的 Kimi-K3 對手，完成率相對基礎代理提升 33.6%；在不呼叫世界模型的真實 Chromium 測試中，嚴格成功率則由 25.56%升至 44.44%。

  • 訓練方式：任務、攻擊和執行代理同步演化
  • 核心限制：結果高度依賴 WebWorld-14B 模擬質素及 LLM 評審準確度
  • 泛化能力：能抵抗未參與訓練的 Kimi-K3 對手
  • 驗證範圍：涵蓋 150 項網頁任務及真實 Chromium 測試

儲存庫提供程式碼、benchmark、訓練 checkpoint 和結果，較適合研究網頁代理安全、Computer-use agents 及強化學習的團隊重現。使用者不能把它當成即裝即用的瀏覽器防護工具；要重現訓練或比較結果，仍需按項目提供的模擬器、模型 checkpoint 和評審流程建立測試環境。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 世界模型, 模型訓練, Qwen, Google, 工具, 庫, 安全, Dataset 數據集, Kimi, 強化學習

[技術文章]LLM 媲美 Embedding，成本卻高逾 1431 倍

Share to X

LLM已能追上頂尖Embedding模型，但搜尋系統未必值得因此承受高昂成本。

Hugging Face

做語意搜尋、分類或文件聚類時，LLM已能在多項測試追上專門的文字嵌入模型；但每次評測成本最高相差1,431倍，令「是否應取代Embedding pipeline」成為成本與能力之間的取捨。本頁屬研究論文內容，並非可直接下載的單一模型頁面；未有提供可確認的 base model 或 fine-tuned from 資訊，因此無法判定某個模型的原始基礎模型。

研究比較10個、來自6個家族的 large language models (LLMs)，以及26個參數量由118M至14B的 embedding models，測試涵蓋37項 MTEB(LLM) 任務，包括分類、semantic textual similarity (STS)、聚類、pair classification 和 retrieval。最佳 LLM Gemini 3.1 Pro 得分77.6，最佳 embedding model 得分77.2，差距只有0.4分。

  • Embedding models 在分類、相似度和聚類表現較合適
  • LLM 在需要推理的 retrieval 任務較有優勢
  • LLM 每次 benchmark pass 成本約154美元，embedding model 約0.11美元
  • 開源 LLM 在同一 GPU 上慢約2.5至736倍
  • reasoning tokens 佔 LLM inference 成本28%至81%

研究亦指出，降低 reasoning budget 對多數模型的 retrieval 品質沒有明顯傷害，反映混合式流程更合理：以 embedding model 負責大部分相似度搜尋，再把需要理解語境或多步推理的查詢交給 LLM。

Paper

Categories: Embedding, Qwen, Gemini, LLaMa, Ollama, Dataset 數據集, Kimi

StreamArena 多模態長片代理的記憶與互動分析

Share to X

來自香港科大、港大與中大及小紅書的團隊，把長達近 90 分鐘的影片理解拆成可持續觀察、回想、找工具與主動回應四種能力。

StreamArena overview

由 HKUST(香港科技大學)、The University of Hong Kong(香港大學) 與 The Chinese University of Hong Kong(香港中文大學) 及小紅書組成的開發團隊，將焦點放到一個很多多模態代理都未真正處理好的難題：影片唔再係幾秒剪輯，而係接近一個半鐘頭、仲要持續互動。StreamArena 屬於資料集與評測工具包，處理的是 continuous streaming video understanding，目標係用統一方法檢驗代理在長時間影音流之中，能否即時理解、隔一段時間後仍然記得內容，並在合適時機用工具或主動回應。

呢個項目最值得注意的地方，在於它唔用短片加選擇題去掩蓋模型弱點，而係用 243 段 full-length videos、平均 88.8 分鐘、合共 3,646 個 open-ended tasks，分成 Real-Time Perception (RTP)、Historical Retrospection (HR)、External Tool Use (Tool) 同 Proactive Interaction (Pro)。HR 與 Pro 仲按時間跨度分層，HR 最遠拉到 30 分鐘，直接把長期記憶與延遲控制的取捨攤開來測。

StreamArena Evaluation Toolkit：streamarena/ 放資料載入、媒體處理、tool-call protocol、OpenAIBackend、GeminiBackend 同 LLM-as-Judge scorer；method/ 則整理多種被測方法，包括 offline 的 Qwen、MiMo、Kimi、Qwen-Omni、Gemini，以及 MiniCPM-o-4.5、VST、StreamForest、ThinkStream。所有方法都寫入同一套 records JSONL schema，所以 judge/ 可以用同一把尺評分。安裝與執行細節在目前資訊裡未完全展開，但可確認它不是單一模型倉庫，而是用來重跑、對齊與比較不同方法的評測框架。

  • 覆蓋四類能力：RTP、HR、Tool、Pro，唔只問答，仲測持續監看與主動互動
  • 243 段長影片、平均 88.8 分鐘，資料規模明顯偏向長時序理解
  • 同一份 JSONL 輸出格式配合通用 judge，方便橫向比較不同方法
  • StreamMind 在同一 Qwen3.5-397B-A17B backbone 上，把 pooled query-to-answer latency 降低 66.2%

一個重要限制：StreamMind 在這次釋出裡只有 evaluation protocol docs，未附完整可直接重現的實作；AURA 亦只提供 client，server 仍要依賴官方 vLLM。換句話說，StreamArena 現階段更像研究團隊、代理系統開發者同多模態評測工作流會用到的基礎設施。想比較不同 streaming method、檢查長影片代理究竟卡在記憶、反應，還是工具調用，呢個項目比一般短片 benchmark 更接近部署前要面對的現實。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港大學, 香港科技大學, Agentic, 多模態模型, Qwen, Gemini, Video, 香港, Kimi

PerceptionBench：Moonshot AI 教你測試 MLLM 視覺盲點

Share to X

不少多模態模型答得似模似樣，但未必真係睇得準。PerceptionBench 把問題拆到最細，專門量度 MLLM 最基本的視覺感知能力。

kimi small

不少 Multimodal Large Language Models（MLLMs）表面上回答完整，但錯誤未必來自推理，往往早在「看圖」那一步已經出現。PerceptionBench 就是一個評測資料集兼 benchmark，專門把視覺感知拆成最細單元，檢查模型究竟係讀錯字、看漏關係，還是出現 perception-related hallucination（Hallu）。

它的價值，在於不再用一個總分掩蓋問題。團隊先分析 42 個現有 benchmarks 的失敗案例，再整理出一套錯誤分類，當中視覺感知分支包含十種 atomic perceptual capabilities，之後用這個框架建立 3,000 條經驗證題目，每題只測一種能力，答案亦刻意保持簡短而明確，盡量避免把推理或背景知識混入結果。

對做模型評估、資料標註或多模態產品調校的人來說，這個項目最有用的地方，是你可以更早定位問題源頭。它不是教你部署模型的工具，而是用來比較模型能力輪廓的尺；資料已放上 Hugging Face，程式碼亦公開，較適合拿來跑 benchmark、重現論文結果，或者把自家模型放入同一套題目做橫向比較。

  • 以 3,000 條 verified questions 測十種 atomic visual perception 能力
  • 題目刻意隔離單一能力，減少推理與知識干擾
  • 共評測 16 個 frontier MLLMs，使用統一 prompts
  • 沒有模型準確率超過 60%，Hallu 表現平均最弱
  • 相近總分之下，不同模型的能力分佈可以差很遠

所有題目都採用開放式短答案，再由 GPT-oss-120B 依參考答案判分，官方指它與人工審核在 300 個樣本上的一致率達 99.7%。這類設計未必等同真實產品場景，但很適合做能力層面的診斷；當你想知道模型到底「唔識答」還是「睇錯圖」，PerceptionBench 提供的資訊比一般綜合排行榜更有分析價值。

GitHub

Categories: 開源, 多模態模型, Dataset 數據集, Kimi

OpenWorker – Andrew Ng 開發桌面 AI 龍蝦

Share to X

OpenWorker 係一個開源嘅桌面 AI 同事，由 Andrew Ng 團隊開發，強調本地執行、帶自己嘅模型 API key，並且會產出真正嘅成品而唔止係聊天回覆。

How OpenWorker works

對好多打工仔嚟講，最大嘅困擾唔係 AI 唔夠聰明，而係佢只識得「答問題」而唔識得「做完件事」。OpenWorker 嘅切入點正正喺呢度：佢定位係一個會跑喺你電腦上面嘅 AI 同事，可以幫你整理 calendar、寫 follow-up email、甚至自動出一份 customer brief，最後畀你一份可以直接開嚟用嘅文件，唔係一串對話。

OpenWorker 由 Andrew Ng（吳恩達）相關團隊推出，引擎建基於佢哋自己開發嘅 Python 開源庫 aisuite，呢個庫提供統一嘅 chat-completions API 以及支援工具調用（tool calling）、MCP 等功能。簡單講，OpenWorker 唔係從零寫起嘅 wrapper，而係將 aisuite 包成一個真正面向桌面用戶嘅應用，並且喺原本 aisuite 倉庫入面開發咗一段時間之後，先搬出嚟獨立成 repo。

目前支援 macOS（Apple Silicon）以及 Windows 10/11，用家可以貼上自己嘅 API key 去用 OpenAI、Anthropic、Google Gemini、DeepSeek、Kimi、Qwen、Mistral 等模型，亦可以經 Ollama 完全本地跑開源模型。所有嘢都喺本機行，只有用家授權嘅 model call 或者連接工具先會接觸到網絡。對於注重私隱或者公司政策唔畀數據出 cloud 嘅人，呢個係一個幾實際嘅選擇。

OPENWORKER: The Free AI Desktop Agent That Isn't Locked to One Model

佢亦內建 25+ 個整合，包括 GitHub、Slack、Jira、Notion、Linear、HubSpot、Outlook、Gmail、Google Calendar 等，亦支援任何可以經 MCP（Model Context Protocol）接駁到嘅工具。最令筆者欣賞嘅係佢嘅審批機制：寫訊息、發送郵件、執行 shell 指令呢類「對外有影響」嘅動作，全部都要先經你確認先至會執行，唔會自己靜靜雞撳掣。

以下係幾個用家會比較關心嘅重點：

  • 定位係桌面 AI 同事，目標係交到「成品」而唔止係聊天回覆，例如 HTML brief、Markdown 報告、排好嘅 calendar 更新等。
  • 完全開源、MIT 授權，由 Andrew Ng 團隊開發，引擎建基於佢哋嘅 aisuite 開源庫。
  • 模型自選，支援多間主流 cloud provider，亦可以經 Ollama 完全本地執行開源模型。
  • 重視私隱，對話、token、API key 都儲喺本機 secret store，唔需要登入亦可以用。
  • MCP + 審批機制，所有對外動作（發訊息、執行指令）都會先問過你先做，減低「AI 自行撳掣」嘅風險。

如果你係一個人或者小型團隊，想搵一個可以幫你「跑手」而唔係淨係「傾偈」嘅 AI 工具，又唔想將公司敏感資料送去閉源服務，OpenWorker 算係一個值得試嘅選擇。佢而家仲喺 open beta，官方表示會自動更新、不斷執吓啲 bugs，畀用家提交 issue。適合想認真將 AI 融入日常工作流、對私隱同可控性有要求嘅人。

項目主頁 · GitHub

Categories: 開源, MCP, Qwen, Google, OpenAI, DeepSeek, Gemini, API, 工具, Mac, Ollama, Python, Anthropic, 蘋果, Kimi

Cura 1T 瞄準醫療代理工作流

Share to X

Cura 1T唔只想答醫療問題，而係朝住診療對話、臨床推理同 EHR 操作一條龍處理。對想評估醫療 Agentic 能力嘅團隊，呢個項目值得細看。

main comparison

醫療場景最難處理嘅，往往唔係單次問答，而係要連續對話、讀文字同影像、再連到 EHR 做操作。Cura 1T 就係朝住呢種 Agentic healthcare 用途打造嘅大型模型，重點不在通用聊天，而在病人諮詢、臨床推理同 FHIR-based record operations 呢三類高風險任務。

同類模型多數以通用能力再加醫療微調去應付需求，Cura 1T 則明顯押注 recursive self-improvement：由 training agent 規劃目標能力、訓練、沿 benchmark trajectories 找失誤，再調整 data mixture，而且每輪都有人類決定 keep-or-revert。呢個取向反映佢想解決嘅不只是知識覆蓋，而係醫療流程中跨回合、跨工具、跨模態嘅穩定度。

現階段最實際係經 OpenAI-compatible API 接入，model id 為 actava/cura-soar；公開資訊未見完整開放權重，較似面向企業試用與系統整合，而唔係本地自行訓練或離線推理。對醫療機構、健康科技團隊，或者要做 EHR、care management、行政自動化項目嘅開發者，呢種交付方式會較直接。

  • 以醫療模型定位，但核心賣點其實係 agentic workflows
  • 支援 text + vision，同時提供 256K context，適合長病歷與多模態判讀
  • 基於 Kimi-K2.6 後訓練而成，並非由零開始訓練
  • 基準測試在 6 個 healthcare benchmark panels 之中領先 5 項，但 MedXpertQA-Multimodal 仍落後 GPT-5.5

表現：HealthBench Hard 36.8、HealthBench Professional 66.2，亦在 AgentClinic 與 MedAgentBench 略勝 Claude Opus 4.8；相對 base model Kimi-K2.6 亦有明顯進步。要留意嘅限制係，分數來自 technical report 指定 protocol，而且 API 仍需排隊申請，現階段更適合做能力評估、流程驗證同企業整合規劃，未算係隨手可用嘅開源醫療模型。

項目主頁 · GitHub · Paper

Categories: 清華大學, Agentic, 多模態模型, API, Medical醫學, Dataset 數據集, Kimi