EBG 紀錄長流程 AI 代理的決策

2026 年 10 月 10 日 Share to X Facebook Copy link

代理做得越多，監察越難。EBG 將分散在訊息、程式及工具結果中的證據，整理成可核查的行為關係圖。

長流程 AI 代理執行軟件工程工作時，使用者往往難以判斷哪些決定會影響結果。Evidence-Grounded Behavior Graph（EBG）是一套 training-free 監察方法，將來源連結證據整理成行為、範圍與關係，協助監察者追查代理做過甚麼，以及相關證據藏在哪裏。

EBG 不只記錄操作次序，而是以 task-oriented views 把要求、觀察到的行為和可能後果連起來，讓人集中核實具影響力的決定。這比逐段翻查訊息、程式碼、工具輸出及中間產物更適合長流程工作，但它仍需要可靠的來源證據和監察模型作判斷，並不會自動保證結論正確。

項目同時提供 AgentMonBench，涵蓋 SpecGAP、SilentSwap 和 FeedbackTrace 三個子集，各有 100 個例子；主要實驗使用 FeedbackTrace Long 的 100 個樣本。基準從兩個方向測試代理監察能力：要求與行為是否一致，以及能否找出需要使用者核實的重大自主決定；網站亦展示八個模型的結果，但儲存庫沒有在摘要中列出完整分數。

• Python 3.11 或以上可執行 EBG，FeedbackTrace 建構需要 Python 3.12，SilentSwap 另需 Docker。
• scripts.demo 可離線建立合成圖，不需憑證或基準資料，測試結果會儲存至 outputs/demo/。
• 公開資料包括完整評估輸入、Gold annotations 和樣本清單；預測及 judging 則需自行提供 endpoint、模型 ID 和憑證。

對研究AI 安全監察及軟件工程團隊來說，EBG 的把「代理做了甚麼」轉化成可追溯的證據結構。它目前仍是 under review at ICLR 2027 的研究項目，較適合作為可重現的研究基礎及監察流程原型，而非即插即用的生產系統。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, API, 軟件, 工具, Python, 庫, 安全, 中國, Dataset 數據集

---

SuperNav 讓多模態模型指揮機械狗導航

2026 年 10 月 10 日 Share to X Facebook Copy link

由多模態模型處理找物件、按次序到訪及高層次指令，SuperNav 把導航變成可觀察、可評估的代理工作流。

當指令由「找出籃球」延伸至「先找打印機，再找垃圾桶」，SuperNav 以 Agentic Navigation System 的形式處理場景理解、路線行動與任務進度。項目實際解決的是機械人面對不同場景和非固定指令時，難以只靠預設導航流程完成工作的問題。

系統由預訓練多模態模型 (multimodal model) 作決策，再透過工具、task-progress tracking 和 context management 將決定轉成移動行動，不需要為導航專門微調模型。Codex、OpenCode 或 Kimi 都可作為代理執行端，任務、工具與 Skills 則透過實驗設定組合，彈性高於寫死單一路線，但結果仍會受模型判斷及工具能力影響。

作者提供 agent runtime、導航工具、Skills、實驗配方及評估工具，支援 Habitat-GS 和 AI2-THOR。測試時可先在模擬環境執行單物件、多物件和 demand-driven navigation，再查看 RGB 觀察、軌跡、tool calls、提示詞、工具結果及原生記錄；儲存庫目前沒有真實機械人驅動程式，Unitree Go2 的示範主要來自研究項目展示。

研究結果指出，SuperNav 在單物件、多物件及需求導向導航的成功率高於所比較的基線，並展示 Unitree Go2 實體部署。可留意的限制是，資料只交代高於評估基線，未提供足夠細節讓讀者單靠儲存庫重現所有真實機械人測試。

• 適合場景： 室內找物件、依次到訪多個目標，以及較高層次的整理要求
• 可觀察性： 即時查看 RGB 影像、軌跡和工具呼叫，完成後再檢查記錄
• 模型關係： 多模態模型負責決策，SuperNav 負責工具協調、進度追蹤與導航執行
• 測試範圍： Habitat-GS、AI2-THOR，並有 Unitree Go2 示範

研究團隊、具身 AI 開發者和需要比較導航代理的人，會較容易從這個開源項目受益；一般使用者則要先準備相應模型服務、模擬環境和實驗設定，不能把儲存庫直接當成已包裝完成的機械人應用。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 提示詞, 工具, 庫, Kimi, Skill 技能

---

UniWAM 把理解、預測與機械人動作合而為一

2026 年 10 月 9 日 Share to X Facebook Copy link

UniWAM 以 8B 參數模型整合語意理解、視覺預測和動作生成，瞄準機械人操作中理解與執行脫節的問題。

面對需要理解指令、預測環境變化再控制機械人的任務，UniWAM 將三個步驟放進同一個 8B-parameter 模型，屬於結合世界模型與 Vision-Language-Action（VLA）的開源研究項目。它以 Mixture-of-Transformers（MoT）連接 physical reasoner、world generator 和 action predictor，讓三者透過 joint multimodal attention 交換資訊。

模型不只依賴機械人示範，預訓練亦混合 human egocentric data、robot data 及 visual question answering（VQA）資料，並把低層動作轉成自然語言，改善視覺語言能力與實體操作之間的銜接。Post-training 再加入 future visual noise augmentation，配合 history-conditioned flow matching，以較少 denoising steps 生成動作。

• 整合範圍： 同時處理 physical reasoning、視覺生成與動作預測
• 訓練訊號： 結合機械人、第一身人類視角及 VQA 資料
• 效率設計： 用動作歷史初始化生成流程，減少 denoising steps
• 硬件成本： RoboTwin 2.0 post-training 曾以 8 張 NVIDIA H100 GPU 執行 10 小時

GitHub 儲存庫提供 models/、train/ 和 utils/ 等模型與訓練程式，並附有 RoboTwin 2.0、LIBERO 及 LIBERO-plus 的資料處理和評估工具。Python 3.10、CUDA 兼容的 PyTorch 環境較適合測試，使用者可先以模擬器資料和配置檔驗證訓練或推理流程。

項目首頁宣稱 UniWAM 在 in-distribution、robustness、generalization 及 instruction following 等多項評估取得 SOTA，但儲存庫提供的資訊未列出完整分數和比較表。Bridge、DROID、Fractal 以及 real-world inference 明確不在今次發布範圍內，因此它較適合研究團隊測試統一式機械人模型，而不是即時接駁真實機械人的現成方案。

項目主頁 · GitHub · 項目

Categories: 開源, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, VLA, Robotic, 香港, 工具, Python, 庫, Dataset 數據集

---

VIEScore2 讓影像評分不再只剩一個分數

2026 年 10 月 9 日 Share to X Facebook Copy link

VIEScore2 同時評估影像質素、語意一致性與缺陷位置，將難以解讀的分數轉成可追蹤的修改方向。

評估 AI 生成或編輯影像時，單一分數往往只能告訴你好不好，卻說不出問題在哪裏。VIEScore2 屬於影像評估模型，處理生成圖、編輯圖、提示詞及可選的條件影像，並在一次模型運算中輸出質素、語意一致性和缺陷位置。

Qwen3-VL-8B 經微調後，以自回歸方式同時預測 perceptual-quality（PQ）、semantic-consistency（SC）及 16×16 defect grid；artifact 和 misalign 兩個通道可分開標示視覺瑕疵與語意錯位。參數免訓練的 parser 再把網格結果穩定轉成文字解釋，避免說明內容與定位結果互相矛盾。

相比只輸出總分的評估器，VIEScore2 提供較具操作性的空間線索；相比通用 VLM，模型則專注於影像評分和缺陷定位，代價是網格以 16×16 單元表達，細節精度有限。訓練資料把 ImagenWorld、RichHF-18K、PAL4VST、COCO 的遮罩或熱圖，以及 EvalMuse-40K 的分數資料統一成同一格式，再以 SFT 和 GRPO 配合 cell-level Dice、分數準確度及格式有效性獎勵訓練。

GitHub 儲存庫提供評估協議、資料 manifests、外部測試集轉換器，以及 run_eval.py；可使用本地 checkpoint，亦支援 OpenAI、Gemini 和 Anthropic API backend。主要套件包括 AbHuman、AGIQA-3K、EvalMuse、PAL4VST 等評估集，適合研究影像生成模型、建立自動質量檢查流程，或分析編輯結果的錯誤位置。

• 評分更完整：同時輸出 PQ、SC、缺陷網格及文字解釋。
• 結果較接近人評：主要測試集 overall-score SRCC 為 0.601，最佳 VLM baseline 為 0.491。
• 定位能力具競爭力：6 個定位基準中有 3 個取得最高 grid IoU，5 個進入前三。
• 限制清晰：網格定位仍屬區域級提示，並需要按儲存庫協議整理資料與輸入格式。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 模型訓練, Qwen, NVIDIA, OpenAI, Gemini, API, Image, 提示詞, 庫, Anthropic

---

GRACE 以少八倍 Token 加速影片生成

2026 年 10 月 9 日 Share to X Facebook Copy link

GRACE 壓縮預訓練影片自編碼器，讓原有 DiT 用更少 latent tokens 生成影片，同時維持接近原模型的質素。

影片生成最難取捨的地方，是壓低 latent tokens 後往往連細節和生成質素一併犧牲。GRACE 以開源模型項目的形式處理這個問題：壓縮預訓練 video autoencoder，讓原本已訓練好的 DiT 在不重新訓練的情況下，從更短的 latent 表示生成影片。

它同時壓縮空間和時間軸，比例分別為 16× 和 8×。模型保留一個 frozen base latent，維持 DiT 熟悉的表示空間，再用 learned residual latent 補回高壓縮率造成的細節；訓練時更在 frozen DiT 的 feature space 對齊壓縮結果，避免只追求 reconstruction quality，卻令生成質素下降。

推理階段採用 asymmetric denoising，base 會比 residual 提前固定 δ=0.15 去噪，讓 residual 在內容穩定後補充細節。這套做法適合研究影片生成、影片模型加速，以及需要沿用既有 DiT 權重而不想從頭訓練的團隊。

• latent tokens 減少 8×，VBench 分數接近未壓縮模型
• 480×832×81 輸入的延遲降低 11.1×
• 736×1280×81 輸入的延遲降低 15.5×
• 需要按儲存庫提供的環境重現，樣本內容可一致，但不同環境不保證 byte-level 完全相同

安裝及測試時，應先依照項目提供的權重和依賴設定重現結果；提醒部分代理會阻擋指定 PyTorch wheel 來源，檢查 reproduction 時不應額外安裝 FlashAttention，因為 SDPA 已經使用 flash kernel。GRACE 的價值在於以較低推理成本延續既有 DiT 能力，但是否適合生產環境，仍要按硬件、影片尺寸和模型管線重新量度延遲與畫質。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Python, 庫

---

nanoMuse：跨裝置、會先徵求同意的開源個人代理

2026 年 10 月 9 日 Share to X Facebook Copy link

nanoMuse 將手機、電腦與網頁連成同一個個人代理，能代辦事情，也會在刪除、傳送或付款前停下來確認。

你可以在手機交代工作，讓 nanoMuse 轉到電腦執行，完成確認時再把要求送回手上的裝置。它屬於開源個人代理項目，處理的是跨裝置協作、持續執行與高風險操作控管。nanoMuse 是獨立的社區項目，與 Meta Platforms, Inc. 無關

手機 App、桌面 App、網頁控制台和串連各裝置的 relay 放在同一個 GitHub 儲存庫，支援 Android、iPhone、iPad、macOS、Windows、Linux 和網頁。Shell、瀏覽器、MCP servers、skills，以及可透過畫面操作手機 App 和電腦視窗的 Hands，全部經 Sentinel 轉接；刪除、傳送或付款前會要求批准，代理本身不會直接執行工具。

• Markdown 檔案可讀寫，用來描述代理身份、記憶和喚醒時機
• App 關閉後仍可繼續工作，裝置共用同一個帳戶和對話
• 可使用社群 relay 的免費模型額度，亦可改用自己的 key
• relay 能在自家伺服器運行，減少資料離開住所的需要

和 Muse、OpenMinis 的比較：nanoMuse 明確沿用 Meta Muse 式的個人代理方向，但把手機、桌面、網頁、relay 和安全批准機制一併開源。Android、Windows、macOS 和 Linux 有下載版本，iPhone、iPad 則透過 TestFlight beta。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 框架, 工具, Mac, Linux, 庫, 安全, Meta, 免費試用, 中國, 蘋果, Skill 技能

---

AdvSim2Real 讓網頁爬蟲代理學懂抵抗提示注入

2026 年 10 月 9 日 Share to X Facebook Copy link

網頁爬蟲代理不能完全忽略頁面內容，AdvSim2Real 改用自我對抗訓練，令代理在保留操作能力之餘更能抵禦惡意指令。

當網頁內文同時包含任務資料和惡意指令，要代理完全忽略非常重要。AdvSim2Real 屬於網頁代理安全訓練項目，透過動態產生任務和提示注入，處理代理被頁面內容帶偏的問題，並把能力提升帶到真實 Chromium 瀏覽器。

項目在凍結的 WebWorld-14B 中共同訓練任務課程、注入對手和網頁代理。課程專挑代理約有一半機會完成的任務，對手只有在注入令成功變成失敗時才獲得回報；每條操作軌跡再由凍結的 Qwen3.8-27B 評審。執行代理採用 Qwen3.5-4B，訓練後既提升正常任務能力，也減少對攻擊的敏感度。

元件	論文配置／作用
Executor	Qwen3.5-4B；執行網頁任務
Curriculum	產生符合 Agent 當前能力嘅訓練任務
Adversary	產生令 Agent 偏離使用者目標嘅網頁注入內容
World model	WebWorld-14B；模擬每次動作後嘅下一個網頁狀態
Judge	Qwen3.8-27B；判斷任務是否完成

150 項測試任務中，正常完成率由 74.89%升至 81.33%；面對三個訓練所得對手時，完成率由 48.07%升至 57.48%。對未參與訓練的 Kimi-K3 對手，完成率相對基礎代理提升 33.6%；在不呼叫世界模型的真實 Chromium 測試中，嚴格成功率則由 25.56%升至 44.44%。

• 訓練方式：任務、攻擊和執行代理同步演化
• 核心限制：結果高度依賴 WebWorld-14B 模擬質素及 LLM 評審準確度
• 泛化能力：能抵抗未參與訓練的 Kimi-K3 對手
• 驗證範圍：涵蓋 150 項網頁任務及真實 Chromium 測試

儲存庫提供程式碼、benchmark、訓練 checkpoint 和結果，較適合研究網頁代理安全、Computer-use agents 及強化學習的團隊重現。使用者不能把它當成即裝即用的瀏覽器防護工具；要重現訓練或比較結果，仍需按項目提供的模擬器、模型 checkpoint 和評審流程建立測試環境。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 世界模型, 模型訓練, Qwen, Google, 工具, 庫, 安全, Dataset 數據集, Kimi, 強化學習

---

ArtCraft 以 Rust 重做七款 Adobe 創作工具

2026 年 10 月 9 日 Share to X Facebook Copy link

ArtCraft 把影像、影片、PDF、排版等工作整合到七款原生工具，檔案留在本機，亦方便接入自動化流程。

由影像編輯、向量繪圖到影片、PDF、動態圖像和頁面排版，ArtCraft 正以 Pure Rust 打造七款原生、開源及免費的創作應用，處理創作者需要在不同工具之間切換，以及雲端往返檔案的工作流程問題。項目涵蓋 PhotoCraft、VectorCraft、FilmCraft、LightCraft、PdfCraft、EffectCraft 和 DesignCraft。

這套工具的差異不只在於功能範圍，而在於每款應用都直接編譯成 macOS、Windows 和 Linux 桌面程式，不依賴 Electron 或 web views。檔案在本機處理，介面、工具和快捷鍵則沿用專業創作軟件較熟悉的操作方式；PhotoCraft、VectorCraft、LightCraft、PdfCraft、EffectCraft 和 DesignCraft 亦可透過 WebAssembly 在瀏覽器執行。

目前 PhotoCraft 和 PdfCraft 屬於 Early alpha，其餘多數工具仍在 In development，不能視為已完成的商業級套裝。不同應用的安裝程式已涵蓋多個平台。

項目亦預留了自動化和 AI agents 的接入方式，可透過 CLI、JSON control channel 或 MCP server 操作應用，適合需要批量處理素材、建立創作流程，或希望自行檢視和修改程式碼的使用者。

• 七款工具涵蓋影像、向量、影片、攝影、PDF、VFX 和排版
• 以 Rust 從頭開發，採用原生桌面程式架構
• 開源程式碼放在 GitHub，並使用 permissive licenses
• 檔案留在本機，部分應用同時支援瀏覽器和 WebAssembly
• 多數工具仍在早期開發階段，成熟度各有不同

項目主頁

Categories: 開源, Agentic, AI productions, MCP, 視頻模型, Video, Image, 影像模型, 教學, 軟件, 工具, Content Creator, Discord, Mac, Linux, 庫

---

HuatuoGPT-3 以單階段強化學習調整醫療語言模型

2026 年 10 月 9 日 Share to X Facebook Copy link

醫療模型通常要先經專門監督微調，再進行強化學習；HuatuoGPT-3 嘗試省去前一步，直接以 OnePO 適應醫療任務。

想把語言模型調整到醫療問答，HuatuoGPT-3 嘗試減少一個訓練階段：它是以 One-stage Policy Optimization（OnePO）訓練的醫療大型語言模型系列，目標是在不先做領域監督微調（SFT）的情況下，透過單階段強化學習適應醫療任務。

OnePO 會先借助教師模型的回答提供指引，再按模型學習進度調整訓練方式。Adaptive Objective Evolution 協助模型學習原本較少選出的教師答案 token；當模型自己的回答所得 reward 已追上或超越教師，Teacher Retirement 便停止教師指引。這做法省去預先進行醫療 SFT 的要求，但訓練仍依賴教師回答、reward 設計和任務資料的質素。

模型系列包括 HuatuoGPT-3-9B 和 HuatuoGPT-3-27B，分別以 Qwen3.5-9B 和 Qwen3.8-27B 為基底；另有以 Qwen3-8B 為基底的 HuatuoGPT-3-Grader-8B。HealthBench Professional 分數方面，9B 版為 68.3，27B 版為 71.4；倉庫沒有列出 Grader 的同項分數，因此不能據此比較評分器表現。

• 20,338 項 OnePO-Medical-20K 醫療強化學習任務，涵蓋選擇題和開放式回答。
• 選擇題以答案是否完全吻合驗證，開放式回答則按多項臨床準則評分。
• 提供模型、訓練程式碼、資料集及 rubric grader，適合研究醫療模型訓練的團隊檢視或重現流程。

模型可按 Qwen3.5 的方式使用，並透過 vLLM 或 SGLang 部署；訓練則需先按文件準備 GPU 環境。對醫療服務團隊而言，這些模型可作研究與評估起點，但倉庫列出的基準分數本身不足以證明模型適合臨床決策，仍需按目標用途進行安全性、準確度及臨床評估。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, Medical醫學, 庫, 安全

---

CIA-minimal-repro：與思維鏈一致性改進模型訓練

2026 年 10 月 8 日 Share to X Facebook Copy link

CIA 將模型是否真正使用關鍵資訊，與 CoT 是否說出相關內容分開量度，再用 RS-B 和 DPO-A 改善兩者的一致性。

當模型答對問題，卻未必真正用到提示中的關鍵資訊，CIA 以可驗證的方式拆開這個差異。這個 GitHub 項目屬於模型訓練及評估程式碼，處理模型內部資訊使用（B_INT）與 Chain of Thought（B_CoT）表述是否一致的問題，並以 macro-F1 定義 CIA 分數。

RS-B 和 DPO-A 使用同一批資料起步：基礎模型為每個提示取樣 16 個回答，再按內部使用資訊、CoT 表述及答案正確性標記。RS-B 保留 B_INT 與 B_CoT 一致的回答進行 SFT，即使答案未必正確；DPO-A 則按正確性加一致性排序，將每題排名最高及最低的回答配對作 DPO，取捨更偏向同時追求正確和忠實表述。

評估涵蓋 TwoHop、Hint 和 Mult 三項任務。TwoHop 以線性 probe 讀取隱藏狀態，Hint 使用 Qwen2.5-32B-Instruct 判斷 CoT 是否承認提示，Mult 則以 causal corruption test 檢查答案會否跟隨被修改的中間乘積；這些方法比單看最終答案更能暴露模型是否真正依賴關鍵步驟。

• 可重現範圍：提供 RS-B、DPO-A、訓練流程及三項任務的評估入口。
• 限制：儲存庫只有程式碼，不包含資料、模型權重、probe 權重或實驗結果。
• 硬件要求：預設以 2 張 GPU 配合 Accelerate 和 DeepSpeed ZeRO-3，原始實驗使用 80 GB A100、H100 及 H200。
• 檢查方式：TwoHop 每 15 步儲存 checkpoint 並選驗證集峰值，Hint 和 Mult 則只保留最終模型。

研究人員可用它重跑訓練及檢查指標定義，已有 Hugging Face Open R1 訓練環境的團隊亦較容易接入；但缺少資料與權重，不能直接下載後重現結果。項目更適合作為研究管線的精簡骨架，而非開箱即用的完整模型。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, DeepSeek, 框架, 庫, 深度學習

---