開源 – Page 43 – InferNews

4DThinker：讓影片理解動態空間的4D視覺腦

2026 年 5 月 11 日

4DThinker 是一個面向研究用途的視覺語言模型框架，重點不是單純描述影片內容，而是讓模型從單鏡頭影片理解物件如何移動、互相影響，以及場景隨時間怎樣變化。簡單講，它想解決「模型見到影片，能否真正理解空間變動」這件事。

它的實際用法較接近訓練與評估流程，而不是即裝即用的消費級工具。專案提供資料集、模型權重、訓練程式，以及前處理所需資源；若要重現效果，需準備影片資料、SAM3 checkpoint，並以 Qwen2.5-VL-3B-Instruct 作為基礎模型，部分資料生成流程亦會用到 OpenAI 相容 API。

這個專案最值得留意的創新，在於它不再只靠文字一步步「講出」推理過程，而是加入所謂 4D latent imagery，讓模型在隱藏空間中模擬場景演化。配合 DIFT 微調，以及 4DRL 強化學習，方向上是希望把動態視覺理解能力直接學進模型本身，而非額外串接複雜幾何模組。

重點摘要：
– 針對單鏡頭影片的動態空間推理
– 提供資料生成、訓練與評測相關組件
– 以 4D 潛在表徵處理時間與空間變化
– 支援調整 latent token 數量與損失權重
– 較適合研究團隊，而非一般用家直接部署

如果你做的是機械人感知、影片問答、場景理解，或者想提升模型對「之後會怎樣」的判斷，4DThinker 特別值得留意。至於一般內容摘要或靜態圖片分析，它未必是最直接的選擇，因為整個設計明顯是為動態推理而生。

Source: https://github.com/zhangquanchen/4DThinker

Categories: 開源, Agentic, 庫, 模型, 視覺模型, 中國, 清華大學

coreb：這個 code search 基準有咩特別？

2026 年 5 月 11 日

CoREB 係一個針對程式碼 embedding models 搜尋同 reranking 的評測基準，透過 LoRA 在混合重排序器語料庫上對Qwen3-Reranker-4B進行了微調。CoREB 分三種常見場景：用文字搵 code、用 code 搵相似 code，以及由 code 反推題目描述。一般人可以理解成：唔只測「搵唔搵到」，仲測「排位準唔準」。

實際使用上，你可以直接載入資料集，讀取 queries、qrels 同 code/text 語料，再用標準資訊檢索評分工具做評估；如果係模型開發者，亦可以接上兩階段流程，先做 embedding 檢索，再用 cross-encoder 重排。這個設計方便將現有搜尋模型快速放入同一把尺比較。

它最有價值的地方，係用三級相關性標註，將「真正答案」同「同題但錯嘅干擾項」分開，避免只係二元對錯。再加上問題切分唔重疊、涵蓋五種程式語言，令測試更貼近真實開發情境，而唔係只考記憶。

支援 Text-to-Code、Code-to-Code、Code-to-Text 三類任務
以三級相關性處理 hard negative，對排序更敏感
涵蓋 Python、C++、Java、Go、Ruby
訓練／測試分割避免題目重疊
適合比較檢索模型同 reranker 的整體效果

如果你做的是程式碼搜尋、AI coding assistant，或者想評估向量檢索加重排的完整流程，CoREB 會幾有參考價值。特別係想避免資料污染、又想睇模型喺唔同語言同任務之間的差異，呢個基準算係比較務實的一種選擇。

Source: https://github.com/hq-bench/coreb

Categories: 開源, Embedding, 模型, 編程, 中國

HumanNet：百萬小時影片庫，點樣幫AI更識人類動作

2026 年 5 月 11 日

HumanNet 是一個以「人類活動」為核心的大型影片資料庫，目標是幫研究團隊訓練模型，更準確理解動作、互動同身體運動。它收集接近百萬小時影片，重點不只是片量大，還包括第一身與第三身視角的配對，以及動作相關標註。

實際使用上，這個專案較適合做 AI 研究、資料集分析，或者作為影片理解模型的預訓練基礎，而不是一般用家即裝即用的應用程式。現階段公開資訊顯示，完整語料、整理流程同驗證程式碼仍在陸續釋出，較像研究預覽版本。

它最值得留意的創新，是把資料整理流程本身當成核心設計，包括以人為中心的篩選、視角分類、去重、品質控制同私隱審查。相比單純堆影片數量，HumanNet 更著重資料是否適合訓練模型理解細緻動作，這點對機械人學習同具身智能尤其重要。

根據項目提供的結果，在受控的 vision-language-action 後訓練設定下，用 HumanNet 內約 1,000 小時第一身影片作初始化，效果可追近甚至略勝較少量真實機械人資料，亦明顯縮窄與超大型機械人資料基線的差距。這代表當機械人實拍數據昂貴又難收集時，人類第一身影片可能是更可擴展的替代方案。

做什麼：提供大規模人類活動影片，用於動作理解、影片學習與具身 AI 預訓練。
點樣用：適合研究人員用來訓練、初始化或評估影片與動作模型。
主要特色：兼有第一身與第三身視角，並附說明文字、動作、手部與身體訊號。
最適合場景：機械人學習、活動辨識、從影片學習操作行為。
要注意：目前看來仍屬研究預覽，部分資料與流程尚未完全公開。

Source: https://github.com/DAGroup-PKU/HumanNet

Categories: 開源, 模型, 視覺模型, 中國, 北京大學

Flow-OPD：讓文生圖多工對齊更穩的關鍵一步

2026 年 5 月 11 日

Flow-OPD 是一個針對 Flow Matching 文生圖模型的後訓練框架，核心目標不是單純追高某一項分數，而是把 OCR、組合理解、問答與人類偏好等不同能力整合進同一個學生模型。從公開資訊來看，它建立在 SD-3.5-Medium 上，並以兩階段流程處理「先培養專長、再統一能力」這個多任務對齊難題。

實際使用上，這個專案目前較適合研究者或進階生成模型開發者參考其方法與權重，而不是一般使用者直接拿來當完整訓練工具鏈。README 顯示模型權重已釋出，但完整訓練程式仍在進行中，因此比較合理的使用方式，是先檢視論文與模型成果，再評估是否將其蒸餾思路移植到自己的 Flow Matching 訓練流程。

它最值得注意的創新，在於把原本稀疏的標量獎勵，改成由多個教師模型提供的軌跡級稠密向量場監督。配合 on-policy 的 SDE 採樣，學生模型能在自身生成軌跡上接受更細緻的指導；再加上 MAR 正則化，則是用來降低純 RL 對齊常見的美感退化問題，這點對文生圖品質維持特別重要。

從結果看，Flow-OPD 的價值在於它不只比 vanilla GRPO 更強，還試圖解決多任務訓練常見的「翹翹板效應」。公開數據顯示，該方法在 GenEval、OCR、DeQA 與 PickScore 上都有提升，平均表現優於基線，且在 OCR、DeQA 上甚至出現超越個別教師的現象；不過這些結論仍應以論文設定與基準環境為前提理解。

定位明確：專注於 Flow Matching 文生圖模型的多任務後訓練與對齊。
方法新意：以多教師稠密監督取代單一標量獎勵，降低任務間梯度干擾。
實務亮點：MAR 用來守住美感品質，避免只追指標造成生成退化。
適用場景：適合需要同時兼顧文字生成、構圖理解與偏好對齊的通用型文生圖系統。
使用前提：目前較偏研究型專案，若要重現訓練流程，可能仍需等待完整訓練程式公開。

Model download: https://huggingface.co/CostaliyA/Flow-OPD

Source: https://github.com/CostaliyA/Flow-OPD

Categories: 開源, 香港中文大學, 影像模型, 影像處理, 模型

MACE-Dance：把音樂變成舞蹈影片

2026 年 5 月 11 日

MACE-Dance 是一個面向音樂驅動舞蹈影片生成的研究型專案，核心目標是讓系統根據音樂內容，產生具有舞蹈動作與角色外觀一致性的影片。從名稱與簡介來看，它特別強調 motion 與 appearance 的分工建模，而不是把整個生成流程視為單一路徑處理。

這個專案最值得注意的地方，在於所謂 Motion-Appearance Cascaded Experts 的設計思路。簡單說，它像是把「先決定怎麼跳」與「再決定畫面怎麼呈現」拆成串接的專家模組，這種做法理論上有助於減少動作節奏與人物外觀彼此牽制的問題，也更貼近舞蹈影片生成常見的兩大難點。

實際使用上，這類儲存庫通常更適合已有生成式影音或人體動作研究背景的開發者與研究者。若你想評估模型表現，重點應放在輸入音樂後的動作對拍程度、角色連續性，以及生成影片是否維持合理的視覺一致性；若要延伸研究，則可觀察其模組拆分是否方便替換不同的音樂表徵或影像生成元件。

聚焦音樂到舞蹈影片的多模態生成任務
以動作與外觀分階段處理作為主要方法亮點
適合分析節奏對齊、角色一致性與影片連續性
較偏研究用途，不像一般即裝即用的消費型工具

就應用場景而言，它最適合用在舞蹈生成研究、虛擬人表演合成、音樂視覺化內容製作，以及多模態生成模型的比較實驗。若你正在找的是可快速產出商業級短影音的完整產品，這個專案目前看來更像方法驗證與學術探索平台；但若你的目標是理解音樂驅動角色影片生成的前沿方向，它具備相當明確的研究切入點。

Source: https://github.com/AMAP-ML/MACE-Dance

Categories: 開源, 影像模型, 影像處理, 模型, 視頻模型

DCI-Agent-Lite：把知識庫交給代理直接翻找，不用 embeddings

2026 年 5 月 10 日

DCI-Agent-Lite是一個面向代理式搜尋的輕量實作，核心概念是讓代理直接操作原始文件，而不是先經過語意檢索器或向量資料庫。對有本機資料、內部文件或持續變動語料的人來說，這個方向很實際，因為不必先建索引，也不用把文件送到託管式檢索服務。

實際使用上，它更像是一個能讀檔、查字串、逐步驗證線索的研究助手。代理會用終端工具在本地語料中搜尋、檢視上下文、交叉比對，再整理答案；若要跑預設的 OpenAI 路線，專案資訊有提到需要 OpenAI API KEY，並點名可搭配 GPT-5.4-nano。

這個專案最有意思的創新，不只是「不用 embeddings」，而是把檢索介面改成更高解析度的檔案互動。論文脈絡指出，代理能把多個簡單搜尋動作串接起來，處理精確詞彙限制、稀疏線索組合與局部上下文驗證，減少傳統 top-k 檢索過早過濾證據的問題。

從公開描述來看，它的定位很清楚：建立在精簡的代理框架與 bash 工具之上，系統結構小、可改造性高，但仍瞄準長流程研究任務。專案也宣稱在 13 個基準上優於多種檢索式基線，涵蓋知識密集問答、代理搜尋與 IR ranking，不過實際效果仍會受語料品質、工具配置與模型能力影響。

適合私有知識庫：文件可留在本地，不必依賴外部檢索服務
零索引啟動：不需預先建立向量庫或離線 embedding 流程
高解析度搜尋：可直接對原始檔做精準查找與上下文確認
可塑性高：工具鏈簡單，較容易理解、調整與擴充

如果你的場景是企業內部文件探索、研究資料整理、個人知識庫深查，DCI-Agent-Lite相當值得關注。相較傳統 RAG，它未必在所有大型靜態語料都占優，但在資料常更新、需要細部核對證據的任務上，這種直接互動式檢索顯得更貼近真正的研究工作流程。

Source: https://github.com/DCI-Agent/DCI-Agent-Lite

Categories: 開源, Agentic

HERMESV2：把3D理解與未來預測合而為一的自駕世界模型

2026 年 5 月 8 日

HERMES++是一個面向自動駕駛的統一世界模型，核心目標不是只做未來場景生成，而是同時處理3D場景理解與未來幾何預測。這點很關鍵，因為多數方法通常偏重其中一端，導致語意理解與物理演化之間仍有落差。

實際使用上，它比較適合拿來當研究型框架：先把多視角輸入整理成BEV表示，再讓模型在共享表示上同時回答當前場景理解任務，並推估未來幾何變化。若團隊正在做自駕感知、模擬預測或世界模型整合，這種設計能減少分散建模的成本。

這個專案最有意思的創新，在於把適合語意推理的資訊與幾何演化需求接起來。它透過BEV token承接多視角空間資訊，再加入LLM-enhanced world queries、Current-to-Future Link與Joint Geometric Optimization，讓目前場景語意能更自然地影響未來結構生成。

重點摘要如下：
– 以單一框架同時支援3D理解與未來點雲／幾何預測
– 使用BEV表示壓縮多視角輸入，保留較一致的空間結構
– 透過語言推理增強的world queries傳遞語意與世界知識
– 用幾何顯式與隱式約束提升未來場景結構一致性

若從應用場景來看，HERMES++最適合用在需要「理解現在、推演未來」的自駕研究，例如未來場景模擬、感知與預測聯合建模，或作為下游規劃系統的前端世界表徵。README與專案頁面顯示它在多個基準上有不錯表現，但若要評估實務部署價值，仍建議進一步確認推論成本、資料需求與特定任務設定。

如需特定模型，專案內容明確提到會結合大型語言模型（LLMs）進行語意知識轉移；不過實際採用的基礎模型細節，從目前提供資訊中不宜過度推定。整體而言，這不是入門型套件，而是一個相當有研究含量、試圖打通理解與生成邊界的自駕世界模型方案。

Source: https://github.com/H-EmbodVis/HERMESV2

Categories: 開源, 香港大學, 影像處理, 世界模型

CoE – Chain of Evidence 看得見證據鏈的 RAG

2026 年 5 月 8 日

CoE 是一個面向迭代式 RAG 的視覺歸因框架，重點不是只回答問題，而是把「答案怎麼來」具體標在文件截圖上。它接受問題與前 5 筆候選文件，接著排序出證據鏈、框出支撐區域，最後產生答案，讓多跳推理不再只停留在文件層級引用。

實際使用上，這個專案比較像研究型工具鏈：可先準備 Wiki-CoE 或 SlideVQA 資料，再依兩階段流程訓練，最後用評估與視覺化模組檢查框選結果。若只想快速體驗，儲存庫也提供已訓練檢查點；需特定模型時，專案明確是以 Qwen3-VL-8B-Instruct 為核心封裝。

它最有價值的地方，在於直接對文件畫面推理，而非先把 PDF、網頁或投影片硬轉成線性文字。這種做法能保留版面、表格、資訊圖與視覺關係，對投影片、複雜網頁或含圖表文件尤其重要，也回應了傳統文字式 RAG 難以精準驗證來源的位置問題。

重點摘要：
– 支援多跳證據排序，不只找單一片段
– 以邊界框標示像素級證據區域
– 採兩階段課程式訓練，先定位再推理
– 提供 Wiki-CoE 資料集與 8B 檢查點
– 評估涵蓋答案正確率與定位、證據鏈表現

若你的需求是法務、金融、研究助理或企業知識庫這類必須追溯依據的問答系統，CoE 的方向很有參考價值。相較一般只附引用來源的 RAG，它更像把驗證流程前移；不過目前整體形態仍偏研究與實驗環境，較適合拿來做方法評估、原型驗證與高可解釋性場景測試。

Source: https://github.com/PeiYangLiu/CoE

Categories: 開源, Agentic, 庫

paperclip：用任務管理思維駕馭 AI 團隊

2026 年 5 月 7 日

當團隊開始同時使用多個 AI 代理時，真正的瓶頸通常不是模型能力，而是協作失序。Paperclip 的定位很清楚：它不是再做一個代理本身，而是提供一個以 Node.js 伺服器與 React 介面組成的控制平面，讓使用者把不同來源的代理集中管理，並用公司、專案、目標與任務的層級來分派工作。若以一句話概括，它更像是「替 AI 團隊設計的營運系統」，而不是單純的自動化腳本集合。

實際使用上，這個專案適合已經有多個代理在運作的人，例如同時讓 Claude Code、Codex、Cursor 類型工具或 HTTP／CLI 代理各自負責開發、支援、行銷或例行工作。使用流程不是盯著一堆終端機，而是先定義公司目標與專案脈絡，再建立角色、指派任務、設定預算與批准機制，最後透過儀表板追蹤進度、成本與稽核紀錄。對想要讓代理 24 小時運作，但又不希望完全失控的團隊而言，這種「可放手、也可介入」的操作模式很實際。

Paperclip 最有意思的創新，在於它把企業治理概念直接帶進代理協作。README 提到的心跳排程、任務鎖定、持久狀態、預算硬限制、審批與回滾、以及多公司資料隔離，顯示它處理的是多代理系統中最麻煩的邊角問題，而不是只包一層漂亮 UI。尤其「每個任務都能追溯到上層目標」這件事，很適合避免代理只看見局部指令、卻看不見整體方向的常見缺陷；加上對話、工具呼叫與決策都有可追蹤紀錄，也讓後續檢討與合規更有依據。

可整合多種代理執行環境，重點在協調而非綁定單一工具
以組織圖、任務單、排程與預算管理多代理長時間運作
提供完整稽核軌跡，方便人工覆核、追責與成本回顧
支援單一部署管理多家公司，資料隔離是設計核心之一
適合代理數量已經很多、需要正式管理流程的進階使用者

若從應用場景來看，Paperclip 最適合三類需求。第一是小型自動化公司或個人創業者，希望把開發、內容、客服與營運工作交給不同代理分工；第二是 AI 原生團隊，需要把多個代理當成部門成員來協調，而不是各自獨立跑任務；第三是想做內部實驗平台的技術團隊，想測試代理編制、預算政策與治理流程的實際效果。相對地，如果你只有單一代理、任務量也不大，這套系統可能顯得過重，因為它的價值建立在「代理很多、工作持續、成本要控、流程要查」的前提上。

整體來看，Paperclip 評價不在於它幫你生出更強的模型，而在於它把代理工作從零散的個人工具，提升成可管理的組織流程。這種產品思路相當少見，也切中多代理實務的痛點：工作不重複、上下文不遺失、費用不暴衝、責任可追蹤。若你目前已經感受到多代理協作帶來的管理負擔，這個專案值得深入研究；但若仍停留在單一聊天視窗的使用階段，可能還不需要這麼完整的控制層。

Source: https://github.com/paperclipai/paperclip

Categories: 開源, Agentic, 庫, OpenClaw

PatRe：專利審查流程的評測專案

2026 年 5 月 7 日

PatRe 是一個聚焦專利審查流程的評測專案，核心在於把任務從單次分類或抽取，推進到更貼近實務的「審查意見生成」與「申請人答辯生成」。以目前公開資訊來看，這個儲存庫主要提供的是評估與生成流程，而不只是靜態資料展示。

實際使用上，使用者需要先準備測試集路徑與參考資料池，之後可選擇只生成結果、只做評估，或限制樣本數進行小規模測試。它也支援既有結果資料夾的評分，對研究者反覆比較不同模型或提示策略會更方便。

這個專案較有意思的地方，在於它把專利審查視為多階段、互動式的文字推理工作，而不是單純預測標籤。README 也提到資料對齊流程會結合 BM25 從 reference pool 擷取相關內容，讓評測不只看模型寫得像不像，還更接近依據檢索材料進行論述的情境。

重點摘要如下：
– 任務設計完整：涵蓋 Office Action 與 rebuttal，不只單向生成。
– 評測流程彈性：可分開執行生成與評估，也能限制樣本或輪次。
– 資料格式務實：支援格式化 JSON 陣列，並保留舊版 JSONL 載入能力。
– 檢索導向：透過 reference pool 與 BM25 對齊，模擬實際審查參照依據。

若你是做法律科技、專利 NLP，或想評估大型語言模型在高約束推理場景的表現，PatRe 很值得關注。特別適合拿來比較模型在審查方與申請方兩種角色中的落差；不過目前公開說明也顯示，資料集與完整展示仍在逐步釋出，實際覆蓋範圍建議以官方後續更新為準。

Source: https://github.com/AIforIP/PatRe

Categories: 開源, Agentic, 軟件

Page 43 of 67

« Previous 1 … 41 42 43 44 45 … 67 Next »