InferNews

LlamaIndex legal-kb：用代理工具重新定義法律文件檢索

Share to X
Og image

legal-kb 是 LlamaIndex 在 GitHub 上發佈的開源參考應用，定位為法律文件知識庫，並非函式庫。它採用 LlamaIndex Index v2（LlamaParse Platform）作為底層索引引擎，示範一種稱為 Retrieval Harness 的代理式檢索模式，讓 AI 代理以工具呼叫方式查詢文件。

與傳統單次嵌入搜尋不同，這個項目讓代理在每次提問時，能像工程師操作檔案系統那樣，自行組合多種檢索方式。系統提供四個工具：retrieve 執行混合語意搜尋並可選擇重新排序；findFiles 依檔名或子字串搜尋文件；readFile 讀取指定檔案的原始內容；grepFile 用正則表達式在檔案內搜尋特定模式。四個工具都對應 Index v2 的檢索 API。

運作流程是用戶登入後建立項目，上傳文件會自動在背景解析並建立 LlamaCloud Index v2，每個項目對應一個託管索引。聊天代理在對話中即時查詢該索引，由代理決定呼叫哪些工具、依照什麼順序執行，逐步收斂到答案。

由於工具設計貼近通用檔案操作，開發者可以將 Retrieval Harness 接入自己的代理，處理大量且持續更新的文件集合。法律研究、合規審查、文件審計等工作流會較受惠。

重點摘要：
– 開源參考應用，示範 Retrieval Harness 代理檢索模式
– 四個工具：retrieve（混合語意搜尋）、findFiles（檔名搜尋）、readFile（讀取檔案）、grepFile（正則搜尋）
– 每個項目自動對應 LlamaCloud Index v2 託管索引
– 文件上傳後於背景自動解析與索引
– 工具通用，可接入自訂代理處理大型動態文件庫

項目主頁

Categories: 開源, Agentic, API, Embedding, 庫

騰訊 Hy3 295B 參數 MoE 開源新模型

Share to X
Og image

Hy3 是由騰訊混元（Tencent Hy）團隊開發的大型語言模型，屬於 Mixture-of-Experts（MoE）混合專家架構，總參數量達 295B，每次推理僅啟用 21B 活躍參數，並額外配備 3.8B 嘅 Multi-Token Prediction（MTP）層參數。此模型基於 Hy3 Preview 進行後訓練擴展，從 50 多個產品團隊收集意見後，以更高品質數據及更大規模強化學習（RL）完成優化。頁面未明確標示 Hy3 係基於邊個外部基礎模型（base model）進行微調，但模型採用原生 MoE 設計，整體架構並非由其他既有模型衍生。

Hy3 共有 80 層非 MTP 主體層加 1 層 MTP 層，採用 GQA 注意力機制（64 個查詢頭、8 個 KV 頭，head dim 128），隱藏維度為 4096，中間層維度 13312，上下文長度支援 256K token，詞表大小為 120832。MoE 部分配置 192 個專家，每次推理啟用 top-8 專家，目前僅提供 BF16 精度版本。

Hy3 官方推薦使用 vLLM 及 SGLang 兩種高效推論框架，頁面亦提供針對兩者嘅部署指南及 finetuning 流程。由於模型體積龐大，即使只有 21B 活躍參數，完整 BF16 權重對消費級 GPU 而言仍然極具挑戰性，需要多張高階加速器才能承載。

Tencent Hy3 (Fully Tested) + Fully Free API: BEATS GLM-5.2?

值得留意嘅係，Hy3 配備 MTP 層參數，可配合 speculative decoding 等加速技術提升 token 生成效率，呢類進階功能適合追求低延遲嘅應用場景。

  • 模型類型：295B 參數 MoE 語言模型，每次啟用 21B 參數
  • 上下文長度：256K token，詞表 120832
  • 精度支援：目前僅提供 BF16 版本，未見 GGUF 或 AWQ 等量化檔案
  • 部署框架：官方推薦 vLLM 與 SGLang
  • 核心強項：Agent 能力、推理表現，以及 MTP speculative decoding 加速潛力

項目主頁

Categories: 開源, 騰訊, 模型

TasteGap：量度人類與 LLM 的 Research Taste

Share to X
Repository image for ziyuuc/TasteGap

TasteGap 是一個研究評測工具與研究原型，核心工作是比較人類研究者與 Large Language Models（LLMs）生成研究構思之間的差距。它並非處理單篇提案好唔好，而是同一批文獻背景下，人類與模型會傾向提出邊類動機、邊類方法，從而量度所謂 research taste。

現有做法多數用 novelty、feasibility 或專家偏好去評分單個 idea，作者認為呢種固定範式只能判斷「像不像好主意」，但未必見到分佈偏差。TasteGap 改用 shared literature context：先從高質論文反推一組可能啟發該論文的 related works，再要求 LLM 從相同材料生成新 idea，之後用 two-axis research-taste taxonomy，分別標註 motivation 同 method，對比 human ideas 與 LLM ideas 的整體分佈。

GitHub 儲存庫目前提供 evaluation code，而唔係完整訓練框架。安裝理解上相當直接：準備 Python 依賴、設定 config.json 內的 generation 與 labeling 模型、填入 OpenAI 或兼容 API 端點，再用 JSONL 輸入跑 generate_ideas.py 同 label_research_taste.py；要重現完整資料，則需另外下載 Hugging Face 上的 IdeaSeed。輸入記錄包含 paper title、URL、domain、related works，以及人類參考 proposal 的 motivation 同 method，代表這個項目設計重點是可重跑比較，而唔係單次展示結果。

作者提出的主要判斷幾清楚：不同 LLM 生成的 idea sets 都出現一致 distributional gap。LLM ideas 較集中在 bridge-like opportunities 同 synthesis methods，人類論文參考分佈就覆蓋更廣，表示模型可以提出合理點子，但研究取向仍然較窄，亦有系統性偏移。

  • 不是一般 brainstorming 工具，而是用來量度 ideation 分佈差異的評測項目
  • 保留 human ideation 與 LLM ideation 在相同文獻脈絡下的可比較性
  • 研究口味以 motivation 與 method 兩條軸線標註，分析角度比單純打分更細
  • GitHub 內容偏向生成與標註流程，完整資料需配合 IdeaSeed dataset
  • 適合做 AI for science、LLM ideation、科研流程研究的團隊作內部基準

TasteGap 沒有綁定相關模型，只要求在 generation 與 labeling 填入可用模型，並支援 OpenAI-compatible endpoint。這種設計方便團隊橫向比較不同 LLM，但現階段儲存庫未提供完整效能表或基準腳本整理頁，因此不算是交付即用型產品。

GitHub · Paper

Categories: 開源, Gemini, OpenAI, API, 工具, Python, 模型, Anthropic, Dataset 數據集

VLA-Corrector 補救機械人動作失誤

Share to X
VLA-Corrector logo

VLA-Corrector 是一個面向 Vision-Language-Action（VLA）政策的輕量推理框架。它用來處理由 action chunking 帶來的開環盲點：環境已經變了，機械人卻仍照住排隊中的舊動作繼續做。

它的做法不是改寫整個 VLA 模型，而是把 backbone 凍結，再外掛一個 latent dynamics corrector。系統先用 Latent-space Vision Monitor（LVM）監察預測中的視覺特徵變化，當觀察到的畫面持續偏離預測，就會截斷過時動作，並透過 Online Gradient Guidance（OGG）重新規劃下一步。

這種取向與每一步都重算一次動作的 closed-loop 方法不同，重點是保留長 action horizon 的效率，同時在偏差累積時才介入。代價是它依賴 latent mismatch 偵測是否可靠，較像在效率與反應速度之間取平衡，而不是追求全程最敏捷控制。

  • 項目定位：屬於機械人控制推理框架，針對 action-chunked VLA policies 的修正與重規劃。
  • 部署理解：現有資訊顯示它應接在既有 VLA policy 後面運作，較像推理期增強模組，不是獨立基礎模型。
  • 適合場景：接觸密集 manipulation、抽屜對位、抓放物件這類容易受干擾的任務較能受益。
  • 核心組件：Latent-space Vision Monitor（LVM）負責偵測偏差，Online Gradient Guidance（OGG）負責觸發後的修正重規劃。

公開資料提到 real-robot demonstrations，例如抽屜對位與把積木放入不同碗中，並展示人在執行途中施加干擾後的恢復能力。不過 README 片段未列出完整數字指標、安裝步驟或支援哪些 VLA backbone，因此較合理的理解是：這是一個研究原型，已清楚展示方法與效果，但整合到不同機械人堆疊前，仍需自行確認相容性與評測流程。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 多模態模型, 模型, 視覺模型, Robotic, VLA

Supra-Router-51M：AI 嘅智能分流

Share to X
Og image

Supra-Router-51M 係一個基於 SupraLabs/Supra-1.5-50M-Base-exp 基礎模型微調而成嘅小型語言模型（SLM），定位係多模型生態系統嘅邊緣路由閘道。佢嘅主要用途係分析用戶輸入嘅提示詞，判斷該請求適合由本地小型模型處理，定係需要轉交雲端大型模型，從而優化整體運算資源分配。

模型採用 Multi-Task Sequence Generation（多任務序列生成）嘅方法，唔係單純做二元分類。佢會先輸出一連串結構化資訊，包括語義領域（Domain）、複雜度評分（Complexity 1-5）、數學需求（Math）、程式碼需求（Code），最後先輸出路由決定（Route）。呢種設計令模型喺做最終判斷前，先建立內部特徵激活圖，避免細模型容易出現嘅權重崩塌問題。

訓練方面使用咗 SupraLabs/Prompt-Routing-Dataset 數據集（992 筆樣本），訓練 5 個 Epoch，但喺 Epoch 3（eval_loss 為 0.1342）已達到峰值後就回退保存，避免後段過度擬合。支援序列長度達 3840 tokens，使用 bfloat16 精度，喺 CPU/GPU 都能做到次毫秒級推論速度。推論時必須用 greedy decoding（do_sample=False）以確保決策穩定性。

使用時需要將用戶查詢包裝喺特定格式（Task: [Prompt] Analysis:）入面，模型會輸出 pipe-separated 嘅結構化字串，包含完整嘅提示詞遙測資訊。配合 FastAPI 等閘道框架就可以部署成生產環境嘅自動分流系統。

由於模型只有 51.7M 參數，運行門檻極低，適合邊緣裝置同需要即時決策嘅場景，但佢嘅路由準繩度仍然受制於訓練數據集規模較細呢個限制。

重點摘要：
– 基於 SupraLabs/Supra-1.5-50M-Base-exp 微調，僅 51.7M 參數
– 採用多任務序列生成架構，先分析提示詞特徵再決定路由
– 訓練數據集 992 筆，3840 tokens 序列長度，次毫秒級推論
– 支援 FastAPI 閘道部署，需使用 greedy decoding 確保穩定
– 適合邊緣裝置資源調度，限制係訓練數據規模較小

項目主頁

Categories: 開源, LLaMa, 模型, Dataset 數據集, 框架

LiveEdit：串流影片編輯走向即時化

Share to X
Image 1

LiveEdit 是一個 diffusion-based streaming video editing 系統，屬於影片編輯模型與方法項目。它的核心任務是根據來源影片加上文字指令，逐段完成 causal chunk-by-chunk editing，並盡量保留背景與沒有修改的區域。

這個項目不是追求離線影片慢慢算到最靚，而是針對接近即時的串流編輯。它建基於 Wan2.1 和 Self-Forcing codebase，並用 three-stage distillation，把雙向編輯 teacher 的能力轉移到串流 student，再配合 AR-oriented Mask Cache 減少重複運算，換來較低延遲。

部署與測試資訊算是完整，提供 inference scripts、training code、checkpoint instructions，也講明建議在 Linux 配合 NVIDIA GPUs 執行；單 GPU 可做 inference，多 GPU torchrun 主要用於訓練。輸入方式是準備一個 JSON，填入 source video 路徑和 instruction，然後配合已釋出的權重與 Wan2.1 base model 進行推理。

有一個相當關鍵的參考值：項目頁列出 12.66 FPS，並表示透過 4-step distilled diffusion generation 達成 real-time streaming inference。這個成績對互動式影片編輯很重要，不過公開資訊未見更完整的硬件條件、顯存需求或不同解析度下的比較，因此判斷效能時仍要保留一點。

  • 重點不是一般文字生片，而是保留原片內容的串流影片編輯
  • 主要技術包括 three-stage distillation、Causal DiT、AR-oriented Mask Cache
  • 已公開 inference 與 training 程式碼，也提供 Hugging Face checkpoint 指引
  • 已知較適合 Linux、NVIDIA GPU 環境，研究團隊或影像生成工程師較易受益
  • 相關模型與基礎包括 Wan2.1-T2V-1.3B、bidirectional editing teacher、streaming student

整體來看，LiveEdit 的價值在於把 streaming video editing 做得更接近可互動系統，而不只是展示級效果。它較適合研究即時影片編輯、互動內容製作、直播視覺處理或需要低延遲生成的團隊；一般用家若想直接在圖形介面一鍵開用，現有資料未提供管理後台整合、免手動設定流程，仍然比較像面向研究與開發者的項目。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, NVIDIA, Video, Linux, 模型, 視覺模型, 視頻模型, 蘋果, 框架

Google A2UI 想讓 AI Agent 直接講出介面

Share to X
Gallery of A2UI components

A2UI 是一個開源框架／協定格式項目，核心是讓 AI agent 用宣告式 JSON 產生可更新的互動介面。它要解決的問題很直接：agent 不只回文字，還可以安全地把表單、卡片、按鈕等 UI 交畀前端或原生客戶端渲染。

這個項目的取向，和直接讓 LLM 輸出 HTML、JavaScript，或者在前端執行 agent 生成程式碼很不同。A2UI 把介面描述同實際元件庫分開，client 只會渲染已預先信任的元件 catalog，安全性較高，但代價是自由度受 catalog 和 renderer 能力限制，並非想畫甚麼介面都可以即時做到。

現有資料顯示，A2UI 仍屬 early stage public preview，目前生產版本為 v0.9.1，v1.0 specification 則是 release candidate。部署與理解方式上，它較像一個要接入現有產品的基礎層：agent 端輸出 A2UI JSON，client 端用對應 renderer 轉成 Flutter、Angular、Lit、Web 或其他原生 UI；官方網站有 Quickstart、Client Setup、Agent Development 同 renderer 文件，但這份資料未列出完整安裝流程，亦看不到一鍵接入 OpenClaw、OpenCode、Codex、Hermes Agent、Copilot、Pi 的管理介面整合資訊。

它的優勢，在於增量更新和跨框架可攜性。README 提到 UI 會以扁平元件清單加 ID 關聯表示，這種結構對 LLM 較友善，也方便串流更新；同一份 A2UI payload 理論上可以映射到不同客戶端。相比綁死某一個前端框架的做法，這更適合多端產品、內部工具平台，或者需要跨信任邊界把 agent 能力交到用戶手上的團隊。

重點可概括為：
– 不是模型，而是讓 agent「講 UI」的協定與函式庫
– 核心賣點是安全渲染，避免直接執行 LLM 生成程式碼
– 支援增量更新，較適合串流式互動介面
– 可對接多種前端技術，但前提是要先有 renderer 和元件 catalog
– 文件已見版本演進與示範場景，公開資料未提供明確性能跑分

性能與現有內容較著重設計理念、版本演進與示範，而不是基準測試數字，所以不宜把它理解成追求速度排行榜的項目。較可能受益的是正在做 agent 產品的前端團隊、平台工程團隊，以及需要把資料收集、任務委派、跨端 UI 呈現整合起來的企業應用；相關技術脈絡則包括 AI agents、MCP、Flutter、Angular、Lit、React、SwiftUI，以及 A2A extension。

項目主頁 · GitHub

Categories: 開源, Google, Agentic, MCP, OpenClaw, 框架

oMLX：把 Mac 變成本地 LLM 控制台

Share to X
oMLX

oMLX 是一個針對 Apple Silicon 的本地 LLM 推理工具，也是帶有圖形介面與 CLI 的伺服器管理項目。它主要解決的不是「能不能跑模型」，而是怎樣在 Mac 上較穩定地管理多個模型、保留 KV cache，並減少重複計算帶來的等待時間。

這個項目的取向很明確：用選單列介面處理常見操作，再配合終端機與 Apple Shortcuts 控制同一個服務。安裝路線亦相當直接，macOS 用戶可透過 .dmg 安裝，另有 Homebrew 方式；日志位置、背景服務與 CLI shim 都已交代，對需要長時間開著本地模型的人較友善。

Finally, The CORRECT Way to Run Local AI on a Mac

它和一般本地 LLM server 的差異，在於分層 KV cache 設計。oMLX 把常用內容留在 RAM 的 hot tier，不夠位時再轉去 SSD 的 cold tier，並以 safetensors 格式保存；即使伺服器重啟，遇到相同前綴內容仍可重用快取，這對長對話、編程輔助和工具調用尤其有價值。

只需點擊一下，即可直接從管理面板設定 OpenClaw、OpenCode、Codex、Hermes Agent、Copilot 和 Pi。無需手動編輯配置。

  • 支援 hot tier（RAM）與 cold tier（SSD）分層快取
  • 可自動以 LRU 方式卸載較少使用的模型
  • 管理介面可手動 load／unload 模型
  • 提供選單列操作、CLI 與 Apple Shortcuts 整合
  • 適合需要長上下文與多模型切換的 Mac 工作流程

現有資訊提到 continuous batching、context limits 與基準測試頁面，但 README 片段未列出具體數字，所以性能判斷宜保持審慎。可確定的是，它較適合在本地做持續開發、配合 Claude Code 一類工具，並集中管理「常駐小模型＋按需切換大模型」的團隊或個人環境；相關模型方面，內容明確提到 everyday models、heavier models，以及可選的 GLM-5.2、MiniMax M3 原生 custom kernels 支援。

GitHub

Categories: 開源, Agentic, Mac, 模型, 蘋果, 框架

MRPO：醫療多模態推理訓練新路線

Share to X
alt text

MRPO 是一個用於醫療多模態推理的強化學習框架（reinforcement learning framework）。它要解決的問題不是單純答對與否，而是醫療 VQA 過程中推理鏈一早出錯，之後一路連鎖失誤，令最後答案偏離。

現有 post-training 做法多數偏向 outcome-centric，主要看 final answer correctness 或 sequence-level preferences。作者認為這種範式的問題是 sparse credit assignment，模型知道答錯，卻未必知道究竟由哪一步開始失準；MRPO 因而改寫 GRPO-style advantages，結合 answer-level reward 與 step-wise process rewards，並在最終答案錯誤時，對較早出現的 invalid steps 給予更大懲罰。

這個設計的取向很明確：它不是只罰錯答案，而是重新分配學習訊號，優先修正最早發生的推理錯誤，避免 failure cascades 擴大。README 提到，MRPO 在三個 multimodal LLM backbones 上都優於 standard GRPO 與另一個近期 RL baseline；在 Qwen3-VL-8B-Instruct 上，更以只用 13K training samples 超過較大的醫療 MLLMs，例如 HuatuoGPT-Vision-34B，分數高出 2.79。

  • 核心方法：以 answer-level reward 加 step-wise process rewards 重整 GRPO-style advantages
  • 主要差異：重點放在 first failure，而不是只看最後有冇答中
  • 已公布內容：完整 reinforcement learning recipe、code、datasets 同 infrastructure
  • 可重現方式：項目提供環境腳本、資料下載與前處理流程，訓練資料包含 image、problem、solution 欄位
  • 相關模型：Qwen3-VL-8B-Instruct、HuatuoGPT-Vision-34B，以及 README 提及的另外兩個 multimodal LLM backbones

量化結果最值得留意的是推理質素分析。MRPO 將 early-stage reasoning failures 由 64.0% 降到 13.0%，反映它不只是把答案分數推高，而是令中途推理較少一開始就偏離；這對醫療影像問答尤其重要，因為錯誤往往不是出在最後一句，而是前面觀察與判斷已經失焦。

這個項目較適合研究醫療 AI、醫療影像問答、multimodal reasoning post-training 的團隊參考，也適合想比較 RL 訓練配方差異的人閱讀與重現。它現階段更接近研究原型與訓練方法展示，不是即裝即用的臨床產品；重點價值在於，它把「模型哪一步開始諗錯」正式納入訓練訊號，為醫療 MLLMs 提供一條比只看最終答案更細緻的優化方向。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, DeepSeek, OpenAI, Image, Medical醫學, 多模態模型, 模型, 模型訓練, 框架

WorldDirector 14B：可控影片世界模型點樣做長時記憶

Share to X
Repository image for pPetrichor/WorldDirector

WorldDirector 是一個影片世界模型框架，屬於研究原型兼開源推理項目。它的核心任務，是讓系統在生成長片段影片時，仍能記住動態物件的身份、位置變化與鏡頭運動，減少角色或物件一離開畫面就「變樣」或失去連續性的情況。

它的做法不是直接把所有事情交畀單一生成模型處理，而是先用 Large Language Model（LLM）規劃 3D 物件軌跡與相機路線，再把規劃投影成 2D 控制訊號交畀視覺生成模組。呢種拆分令項目的取向很清晰：先保住語意層面的動作因果，再處理畫面生成，因此比起只靠像素連續性的世界模型，更重視可控性、物件恆常性同長時段一致性。

目前已公開的是完整 inference code 同 WorldDirector-14B 權重，同時亦交代依賴 Torch 2.4.0、FlashAttention，以及 Hugging Face 下載模型的流程。換句話說，現階段較適合已有 GPU 環境、懂得整理 JSON 規劃輸入的人測試；它不是裝完即用的消費級工具，而較接近可重現論文結果的研究型項目。

項目展示的例子集中在人物、車輛、鏡頭切換與長時間事件編排，重點是物件暫時離開視野後再返回，外觀仍能維持穩定。公開資訊提到它支援 persistent dynamic object memory 同 unrestricted viewpoint exploration，但未見提供完整量化基準細節，因此現階段較適合把它理解為一個方向鮮明、控制力強的世界模型方案，而不是已全面驗證的通用產品。

  • 類型定位：影片世界模型框架，主打可控生成與長時記憶
  • 主要差異：把運動規劃同視覺生成拆開，先處理 3D 語意軌跡
  • 較適合情境：研究團隊、影片生成工作流、需要鏡頭與角色一致性的實驗
  • 部署理解：需先配置依賴、下載 WorldDirector-14B，並準備符合格式的 JSON 計劃輸入
  • 相關模型：WorldDirector-14B；流程中亦依賴 Large Language Model（LLM）參與動作與鏡頭規劃

整體來看，WorldDirector 最有價值的地方，在於它把「世界模擬」由單純畫面續寫，推進到可描述、可規劃、可回放的控制流程。對想研究影片 world model、角色一致性與可操控鏡頭生成的人來說，呢個項目值得留意；對只想快速出片的人，現有門檻仍然偏高。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, Google, NVIDIA, 3D, 世界模型, 蘋果
Page 16 of 67
1 … 14 15 16 17 18 … 67