InferNews

MERIT：把音樂相似度拆成三條獨立線索

Share to X
MERIT architecture

現有的音樂相似度模型大多只輸出一個籠統的總分，把旋律、節奏、音色混在一起計算，使用者很難說明「為何這兩首歌像」。MERIT（Multi-Factor Disentangled Music Similarity）由新加坡科技與設計大學的 AMAAI 實驗室推出，以凍結的 MERT backbone 為基礎，再訓練三個各約 11 MB 的輕量投影頭（projection heads），分別負責旋律（S_mel）、節奏（S_rhy）、音色（S_tim）。一段鋼琴翻唱搖滾歌曲的音檔，會在旋律分數偏高、節奏和音色分數偏低，差異即時可見。

這個項目解決的核心問題是音樂檢索的可解釋性。傳統 CLAP、MuLan 或 MERT 這類自監督音訊模型把多種特徵壓縮到同一向量，餘弦相似度難以拆解；MERIT 改用條件式音訊生成與音源分離技術，自動產生 296K 組「單一變因」三元組訓練資料，免去人工標註。三個頭在 held-out 測試中都達到 ≥99.6% 的三元組準確率，並在零樣本真實音訊探測中各自主導對應的感知維度。

重點摘要：

  • 把相似度拆成旋律、節奏、音色三條獨立訊號
  • 採用凍結 MERT-v1-330M 主幹，僅訓練小型投影頭
  • 透過生成式管線產生 296K 因子控制三元組，無需人工標註
  • 每個頭約 11 MB，總計約 33 MB，方便部署
  • 預訓練權重與資料集已發布於 HuggingFace

合適的場景包括音樂串流平台的進階推薦、音樂學研究中的跨版本比較，以及需要解釋「為何推薦這首」的場景。對一般使用者而言，把 S_mel 較高的曲目組成「同一旋律」歌單，就能體驗到差異。

運作流程相當直接：下載三個 .pt 投影頭，以 Wav2Vec2FeatureExtractor 讀入音檔，從 MERT 指定的第 3、4、5、6、23 層抽取特徵，分別送入三個頭即可得到三組 embedding，再以餘弦相似度比較。模型與資料集皆已開源，有興趣的開發者可從 HuggingFace 取得 amaai-lab/merit 與對應資料集。

GitHub： https://github.com/AMAAI-Lab/MERIT

Paper： https://arxiv.org/pdf/2605.27346

Categories: NVIDIA, OpenClaw, Dataset 數據集

Agent Skill 的安全盲點：當三套掃描器互相矛盾時

Share to X

隨着 AI 代理（AI agents）愈來愈普及，一種稱為「代理技能」（agent skills）的新興軟件層亦隨之興起。技能可以包含指令、工具調用模式、可執行腳本等內容，屬於代理與外部工具之間的執行層，與傳統軟件包有明顯差異。技能即使不含惡意程式碼，仍可能因為授予過大權限、隱藏遠端控制路徑或不安全地儲存憑證而構成風險。

OpenClaw 基金會聯同 NVIDIA 發佈了名為 ClawHub Security Signals 的數據集，收錄了 67,453 個最新版本的公開 OpenClaw 技能。每筆紀錄包含已遮罩的 SKILL.md 內容、清理後的附帶檔案，以及三套掃描器的結果：VirusTotal、靜態啟發式分析，以及 NVIDIA 自行開發的 SkillSpector。研究團隊並非要估算惡意技能的普及率，而是聚焦於「掃描器之間的分歧」這個現象。

研究結果令人意外：三套掃描器極少對同一批技能發出警示。任何兩個掃描器的重疊率最高只有 10.4%，三者同時標記的技能僅佔 0.69%，而被單一掃描器標記的技能卻高達 81.9%。這種分歧並非隨機，而是呈現出明確的結構。SkillSpector 專門針對語意層面的代理風險，在 25,504 個可疑項目中有 75.3% 觸發警示，但在確認惡意的 206 個項目中只標記了 6.8%。相反地，在確認惡意的項目中，VirusTotal 標記了 72.8%，與附帶程式碼的惡意軟件證據吻合。

這項研究強調，AI 代理技能的安全審查需要多層次治理（layered governance），不能依賴單一掃描器作出封鎖或放行的決定。

以下是這項工作的重點摘要：

  • 規模龐大的安全數據集：收錄逾六萬個 OpenClaw 技能的最新版本，涵蓋三套不同掃描器的結果。
  • 聚焦於掃描器分歧：研究發現不同掃描器對同一批技能的判斷差異極大，重疊率偏低。
  • 不同掃描器各有所長：SkillSpector 擅長識別語意層面的代理風險，VirusTotal 則對附帶惡意程式碼的技能更敏感。
  • 支持分層治理理念：研究主張技能安全需要多層次、多工具的綜合判斷，而非單一指標。
  • 公開版本供社群使用：數據集以「銀標準」形式發佈，標籤來自自動判定而非人工標註，研究團隊歡迎社群在此基礎上開發更專門的技能安全分類模型。

這個項目最適合關注 AI 代理安全、軟件供應鏈防護及自動化安全掃描的研究人員與工程師。數據集已在 Hugging Face 上公開，研究團隊鼓勵社群進一步開發針對技能安全分類的模型。

Paper： https://arxiv.org/pdf/2606.01494

Categories: NVIDIA, OpenClaw, Dataset 數據集

DRDD：用兩階段拆解擴散模型，更省數據的圖像轉譯方案

Share to X
Main figure

圖像到圖像轉譯（Image-to-Image Translation, I2I）涵蓋去雨、去霧、低光增強、去噪、去模糊等多種任務，傳統做法往往需要為每個場景單獨訓練模型。HKU-HealthAI 提出的 Decoupled Residual Denoising Diffusion models（DRDD）嘗試用一套架構同時處理這些任務，並減少對大量配對數據的依賴。

DRDD 的核心做法是把擴散過程拆成兩個獨立階段：第一階段負責加入雜訊，達到所謂的「域調和」（domain harmonization）與流形抬升（manifold lifting）；第二階段則在固定雜訊下做決定性的殘差擴散，專注學習語意對應。這種解耦設計避免了傳統擴散模型在去噪過程中提早耗散域調和效果的問題，因此能在一個模型內統一處理多個修復任務。

由於第一階段的雜訊擴散只使用目標域的非配對圖像訓練，DRDD 在配對數據稀缺時仍能保持表現，這對醫療影像或特殊場景數據蒐集成本高的領域特別有用。團隊在 all-in-one-5 設定下測試，涵蓋 Rain100L、GoPro、Dehaze、CBSD68 與 LOL 等數據集，並使用 LPIPS 等指標評估。論文亦提供理論與實證分析，說明其設計相容於主流擴散模型架構。

這個項目適合從事圖像修復、影像增強或風格轉換的研究者與工程師，尤其關心多任務統一、數據效率的團隊。使用前需要 Linux 環境、NVIDIA GPU、Python 3.7 以上，以及 Conda。預訓練權重可從 Quark 或其他途徑取得，並依說明放入 ./pretrained_models 目錄。

重點摘要：
– 將擴散拆成「雜訊擴散」與「殘差擴散」兩階段，保留域調和效果。
– 支援去雨、去霧、低光、去噪、去模糊等多種 I2I 任務的統一訓練。
– 第一階段僅用非配對目標域數據，降低對配對樣本的依賴。
– 相容主流擴散模型，可作為插件式改良方向。
– 適合醫療影像、遙測或數據稀缺場景的研究團隊。

DRDD 已在 GitHub 公開代碼與數據集結構，鼓勵社群以現有擴散骨幹（如 DDPM 系列）進一步測試與延伸。

GitHub： https://github.com/HKU-HealthAI/DRDD

Paper： https://arxiv.org/pdf/2606.01048

Categories: 開源, 香港大學, 香港中文大學, 影像模型, 影像處理, 模型, 視覺模型, Dataset 數據集

OCC-RAG ：1.7B 小模型也能忠實回答問題

Share to X
occ full

在大型語言模型動輒數百億參數的時代，OCC-RAG（Optimal Cognitive Core for RAG）反其道而行，主打體型輕巧但專注於「忠實、有引用的問答」。這個項目針對的場景很明確：模型拿到一組來源文件後，必須根據內容作答、附上引用編號，若資料不足以回答就老實回應「Not enough information」。

OCC-RAG 雖然還在開發初期，但它的研究方向和概念具有高度價值。

這個項目解決了檢索增強生成（RAG）系統中常見的「幻覺」與「編造來源」問題。OCC-RAG 在 Qwen3 基礎模型上以超過三百萬筆合成多上下文、多跳問答資料進行中期訓練，模型會先輸出結構化推理流程（query analysis → source analysis → reasoning → status → answer），再給出最終答案，每一步都可追溯。

技術報告顯示，OCC-RAG-0.6B 與 OCC-RAG-1.7B 在 HotpotQA、MuSiQue、TAT-QA 等多跳推理基準上，可與體型大 2 至 6 倍的通用模型打成平手甚至更佳；在 ConFiQA 忠實度指標上，於所有受測規模（最高至 32B）中都取得最佳成績。特別的是，它不需要昂貴的「思考模式」推論就能提供類似 chain-of-thought 的透明度，對硬體資源有限的團隊相當友善。

現時 Hugging Face 上已開源 OCC-RAG-0.6B 與 OCC-RAG-1.7B 兩個版本，適合需要嚴格引用規範的企業搜尋、客服問答、研究助理等應用。

重點摘要：

  • 忠實作答：只根據提供的上下文回答，ConFiQA 忠實度在所有受測規模中領先。
  • 校準式拒答：資料不足時自動輸出 Not enough information，避免胡亂推測。
  • 可追溯推理：每個答案附帶結構化推理鏈，並以編號標明引用來源。
  • 輕量高效：0.6B 與 1.7B 兩款小模型，不需思考模式即可達到高透明度。
  • 基於 Qwen3：以 Qwen3-0.6B-Base 與 Qwen3-1.7B-Base 為基礎中期訓練而成。

GitHub： https://github.com/optimal-cognitive-core/OCC-RAG

Paper： https://arxiv.org/pdf/2606.00683

Categories: 開源, 模型

BrainCause：用因果測試重新看懂腦部視覺表徵

Share to X
Og image

BrainCause 是一個針對神經科學與電腦視覺領域開發的自動化框架，用來尋找人腦視覺概念表徵的研究項目。它處理的核心問題是：某個腦區對圖片反應很強，未必代表它真的在表徵該概念，因為反應也可能只是被相關的視覺線索或語意線索帶動。

這個項目會先根據查詢概念建立一組受控刺激資料，包括目標概念圖片、保留其他內容但移除目標概念的 counterfactual edits，以及帶有相關干擾元素的圖片。然後再配合 brain models 與 fMRI 驗證，檢查腦區反應是否會隨概念移除而下降，藉此做 targeted causal testing。

重點在於，它不是只用 activation 來定位腦區，而是加入 causality 驗證。頁面內容指出，若只看 activation，很多定位結果都可能是假陽性；BrainCause 則會回傳經驗證的候選表徵，並提出後續 fMRI 實驗，用來進一步確認或擴展發現。

  • 針對指定概念自動建立 causal dataset
  • 使用 positive images、semantic negatives、counterfactual negatives 作比較
  • 減少只靠 activation 帶來的 false positives
  • 可找回已知功能定位，也能提出新的候選表徵
  • 已在 predicted 與 measured fMRI data 上驗證，涵蓋數十個概念

如果你關心神經科學、電腦視覺，或想了解生成模型如何協助腦科學研究，這個項目很有參考價值。頁面亦提供 Paper、Data 與 Code 入口，方便進一步了解方法與結果。

項目： https://yuvalgol123.github.io/BrainCause/

Categories: 開源, Medical醫學, Dataset 數據集, 框架

PaddleOCR 把圖片和 PDF 變成 LLM 吃得到的結構化資料

Share to X
Star-history

處理 PDF 和圖片一直是企業導入 LLM 應用時最頭痛的關卡，傳統 OCR 工具只會吐出零散文字，遇到表格、公式或多語言混排就頻頻出錯。PaddleOCR 由百度 PaddlePaddle 團隊開源，目標是把雜亂的掃描檔和圖片整理成 LLM 友善的 JSON 或 Markdown，後續無論餵給 RAG 檢索還是 Agent 流程都更順暢。

這個項目以兩個核心模型撐起整套能力。PaddleOCR-VL-1.6 是一款 0.9B 參數的視覺語言模型，專注文件解析，在 OmniDocBench v1.6 取得 96.33% 分數，對古文、罕見字、印章及圖表也有顯著強化。PP-StructureV3 則補足了另一條路線，提供表格儲存格、文字等更細粒度的座標資訊，方便需要版面重建的場景。最新版 PP-OCRv5 支援 100 多種語言，準確度較前代提升約 13%，同時保持輕量部署特性，可在 CPU、GPU、NPU 等不同硬體運行。

目前的 LLM-RAG 開源生態中，Dify、RAGFlow、Cherry Studio 等知名項目都採用 PaddleOCR 作為文件解析層，社群也累積超過 6,000 個依賴它的下游項目。對需要批次處理合約、研究論文、政府公文或多語文件的人來說，這套工具兼具商用級準確度與邊緣裝置可用的效率，動手前只要準備好 Python 3.8 至 3.12 環境即可開始試跑。

重點摘要

  • PaddleOCR-VL-1.6 (0.9B) 在 OmniDocBench v1.6 達到 96.33%，輕量卻具競爭力。
  • PP-StructureV3 補足細粒度座標，適合需要表格與版面重建的應用。
  • PP-OCRv5 支援逾 100 種語言，準確度較前代提升約 13%，硬體需求低。
  • 已被 Dify、RAGFlow、Cherry Studio 等 LLM 應用項目整合採用。
  • GitHub 逾 7 萬顆星、6,000 多個依賴項目，社群驗證度高。

GitHub： https://github.com/PaddlePaddle/PaddleOCR

Paper： https://arxiv.org/pdf/2606.03264

Categories: 開源, 模型, 視覺模型, 中國, Dataset 數據集, 百度

Crafter：把科研圖表交給多智能體助手

Share to X
crafter architecture

做研究的人都遇過這種困擾：論文裡的圖表要花好幾個小時排版、微調細節，市面上的 AI 生圖工具又常常「整體不錯、局部出錯」，改一個元素就把整張圖搞砸。Crafter 正是針對這個痛點而來，它不是把底層生成模型換得更強，而是在外面包了一層多智能體（multi-agent）協作框架，專門處理「結構化、由離散語意元件組成」的科研圖表。

這個項目分為兩個互補系統。Crafter 負責生成，覆蓋學術圖、海報、資訊圖三種類型，並支援文字生圖、遮罩補完、關鍵元素組合、草圖優化等四種輸入條件，不需要更動架構就能切換。CraftEditor 則把生成的點陣圖轉成「座標精準、可後續編輯」的 SVG 格式，研究者終於可以像在 Illustrator 裡那樣挑出單一元件修改。

為了評估效果，團隊同步釋出 CraftBench——一個 279 筆樣本的基準集，每個樣本都附有人工繪製的參考圖，跨越三種圖表類型與四種輸入條件。在 PaperBanana-Bench 與 CraftBench 上，Crafter 都明顯優於單一生成器與既有的 agentic 基線。CraftEditor 轉出的 SVG 在可編輯性上也勝過所有對照組。

生成部分只要設定 OpenAI 相容端點（例如 OpenRouter）即可跑範例；想啟用 CraftEditor 還需要額外架設一個 SAM3 語意分割伺服器。

重點摘要

  • 解決科研圖表「局部錯誤難修、難以再編輯」的問題
  • 採用多智能體協作框架，不需更換底層模型即可跨類型、跨輸入條件生成
  • 內建 Crafter 生成與 CraftEditor 點陣轉 SVG 兩套流程
  • 釋出 CraftBench 評測集，含 279 筆人工標註樣本
  • 適合需要大量產出與修改學術插圖的研究者、團隊與會議海報設計者

GitHub： https://github.com/HaozheZhao/Crafter

Paper： https://arxiv.org/pdf/2605.30611

Categories: 開源, 中國, 北京大學, 清華大學, 框架, Dataset 數據集

Anime.js 4 網頁特效的萬用引擎

Share to X
Anime.js V4 logo animation

做網頁動效最麻煩嘅位，往往唔係寫出第一個 fade 或 rotate，而係當畫面同時牽涉 CSS transforms、SVG 路徑、滾動觸發同拖曳互動時，邏輯會好快分散。Anime.js 屬於 JavaScript 動畫庫，重點係用同一套 API 處理 CSS properties、SVG、DOM attributes 同 JavaScript Objects，令介面動畫、資料視覺化同品牌展示頁可以用較一致嘅方式編排。

相比只覆蓋單一動畫層的做法，Anime.js 4 的價值在於它唔止負責補間效果，仲連 timeline、stagger、Scroll Observer、SVG utilities 同 Draggable 都放入同一個工具箱。代價亦清楚：它比較適合本身已經用 JavaScript 控制互動節奏的前端項目，若果只需要極簡 hover 或過場，直接用 CSS 或 WAAPI 可能更輕。

Anime.js 通常會經 npm 納入前端項目，再按需要引入 animate、createTimeline、createDraggable 等模組；官方亦強調可按功能分開載入，方便控制 bundle size。由文件與首頁示例可見，最值得試的是把單一元素動畫、滾動同步、SVG 路徑跟隨與拖曳回彈放入同一頁，看看整體編排是否比你現有寫法更順手。

  • 同一套 API 覆蓋 CSS、SVG、DOM attributes 同 JavaScript Objects
  • 內建 Timeline、Stagger、Scroll Observer、Draggable，適合多步驟互動頁面
  • 支援 modular import，有助控制前端打包體積
  • 強項在複合型動效編排，不是追求最少抽象的微型工具

Anime.js 主打 fast、lightweight，同時保留足夠完整的動畫編排能力。對需要經常做行銷頁、產品展示、資料互動介面或設計系統微動效的團隊來說，Anime.js 吸引力不在單一特效，而在於它把原本容易四散的動畫控制集中成一條可維護的工作流。

項目主頁 · GitHub

Categories: 開源, API, 庫, 編程, UI/UX

從腦部訊號到影像問答：Brain-IT-VQA 框架解碼大腦視覺理解

Share to X
Weizmann Institute of Science

Brain-IT-VQA 是一套從 fMRI（功能性磁共振造影）腦部訊號出發，自動回答「圖片中看到什麼」這類問題的框架。研究團隊建基於 Brain Interaction Transformer（Brain-IT），把腦部活動轉換成語言條件表徵，再交由預訓練的視覺語言模型生成答案，全程毋須先把腦部訊號重建成影像。

這項工作解決了一個長期難題：過去從 fMRI 解讀視覺內容的研究，大多只能產生粗略描述，而且準確度有限；更少有模型被用來分析大腦內部如何處理視覺資訊。Brain-IT-VQA 在多項基準上明顯超越以往的 fMRI 影像描述與 VQA（Visual Question Answering，視覺問答）方法，同時提供拆解視覺理解層次的工具。

團隊同步發佈 NSD-VQA 數據集，以 Natural Scenes Dataset（NSD）為基礎，平均每張影像提供約 20 題，涵蓋 20 個受控問題類別。這些類別覆蓋物件辨識、空間關係、語意判斷等不同層次，方便研究者細緻評估模型在各種視覺與語意任務上的表現。

透過「解碼貢獻分析」，框架可揭示不同腦區對各類問題的貢獻分布，協助神經科學家理解大腦處理視覺資訊的空間分佈特徵。頁面亦設有互動示範，讓訪客在從未參與訓練的 NSD 測試影像上，瀏覽模型生成的描述與問答結果。

重點摘要

  • 直接從 fMRI 解碼語言：把腦部活動轉成語言條件表徵，由預訓練視覺語言模型生成描述與答案，毋須影像重建步驟。
  • 公開 NSD-VQA 數據集：每張影像平均 20 題、20 個受控類別，提供更細緻的 VQA 評估基準。
  • 顯著超越先前方法：在 fMRI 影像描述與視覺問答任務上，明顯優於過往同類模型。
  • 支援腦區貢獻分析：可拆解不同腦區在各類視覺問題中的參與程度，輔助神經科學研究。
  • 附設互動示範：容許瀏覽者在 NSD 測試影像上查看模型的預測輸出。

這個項目最適合從事腦部解碼、視覺語言模型、神經科學與認知計算的研究人員與研究生。對希望了解 AI 與人類視覺如何結合的工程師而言，NSD-VQA 與開源代碼亦提供了一個具挑戰性的新基準。

研究單位：
Weizmann Institute of Science （魏茨曼科學研究所）在以色列的雷霍沃特（Rehovot），大約在特拉維夫以南。

魏茨曼科學研究所一般被視為世界頂尖的基礎研究機構之一；在你這次查到的資料裡，它在萊頓排名中被列到全球前十，2021 年為第 8 名。

它的重點研究領域主要集中在 生物學/生物化學、化學、物理、數學與電腦科學，也有跨學科方向。

項目： https://mcosarinsky.github.io/brain-it-vqa/

Categories: Medical醫學, Dataset 數據集
Page 41 of 127
1 … 39 40 41 42 43 … 127