InferNews - A.I. 應用

KnowAct-GUIClaw 跨平台 GUI 代理

2026 年 7 月 17 日

要代理跨桌面、Android、iOS 同 HarmonyOS 幫你做事，最易失手的位通常唔係單一步驟，而係多個 App 之間點樣接續執行。KnowAct-GUIClaw屬於 Agentic 自動化框架／工具，核心處理的是長流程 GUI automation：由理解意圖、揀路徑、執行操作，到把經驗寫回記憶與技能庫，令之後的任務唔使每次由零開始。

同類 GUI agent 常見做法，是把畫面理解同動作決策綁成單次 observe-reason-act 迴圈；作者認為這種固定範式一遇上跨 App、跨系統流程，就容易缺少任務分解、歷史經驗同可重用技能。KnowAct-GUIClaw改用 Know–Route–Act–Reflect，前面先整理證據與路由，後面再把軌跡蒸餾成 memory 同 skills，取向明顯偏向「愈用愈熟手」而唔係單次回答最聰明。

部署上有兩條路：一條是完整 host，配合 nanobot webui、gateway 同 agent 去跑；另一條是獨立 guiclaw 工具，讓其他 host、腳本或終端直接調用。GUI automation 會改變裝置狀態，驗證任務應先用 dry-run，同時用測試裝置或測試帳號，這點對企業內部流程、自動測試、數碼助理場景尤其重要。

支援 desktop、Android、iOS、HarmonyOS，重點係跨平台一致流程
以 memory store 同 skill store 補強長流程任務，而唔只靠即場推理
在 MobileWorld benchmark 取得 64.1%，頁面稱超過多個 open agent frameworks 及部分 closed agents
對不同底模有泛化效果：Kimi-2.6 提升 8.5%，Qwen3.5-35B-A3B 提升 16.2%

受惠最大的，會是要處理重複 GUI 流程的團隊，例如行動裝置測試、跨 App 任務編排、個人助理型代理開發。不過它的價值未必只在榜單，而係把 GUI agent 從「會操作畫面」推向「會累積經驗再操作畫面」。

項目主頁 · GitHub · Paper

Categories: 開源, Agentic, Dataset 數據集, Skill 技能, 工具

Ring-Zero 1T 參數零樣本強化學習

2026 年 7 月 17 日

當模型愈做愈大，真正困難唔只係算力，而係點樣令佢喺冇人工示範推理鏈嘅情況下，仍然學到清晰、有效又可延伸嘅思考方式。Ring-Zero 屬於大型語言模型推理訓練研究，重點放喺將 zero RL 擴展到 1T 參數，觀察推理能力會唔會隨規模自然湧現。

呢個項目要處理嘅問題幾具體：以 Reinforcement Learning with Verifiable Rewards（RLVR）直接訓練 base model，雖然可以避開昂貴嘅人工 chain-of-thought（CoT）資料，但簡單放大規模會帶來可讀性差、token 冗餘，同埋推理深度唔夠靈活。Ring-Zero 針對呢幾個卡位，加入 clipped importance sampling、training-inference ratio correction 同 mixed-precision control，目標係令訓練流程更穩定，輸出亦更精煉。

同常見依賴監督式推理示範或者較細模型做 zero RL 嘅做法相比，Ring-Zero 想證明一件事：規模本身會改變模型學推理嘅方式。研究者觀察到訓練大致會經歷「discovery」再到「sharpening」兩個階段，而且模型會自發出現 anthropomorphism、structured formatting、self-verification、parallel reasoning 同 context anxiety 等行為，顯示部分人手設計技巧未必再係必要。

把 zero RL 擴展到 1T 參數，核心焦點係大規模推理湧現
唔用人工標註 CoT，改用 RLVR 從 trial-and-error 中學習
除咗最終答案，仲額外檢查 comprehensibility、reproducibility、efficiency
在七個數學 benchmark 上，Ring-2.5-1T-Zero 表現具競爭力

對研究 LLM 推理、模型訓練同 scaling law 嘅讀者，呢個項目最有參考價值。佢唔單止關心分數高低，仲嘗試回答大模型點樣學會更短、更有結構、亦更容易重現嘅 CoT；呢一點對之後做 AGI、模型訓練同推理優化都幾關鍵。

Youtube · Paper

Categories: 安全, AGI, Dataset 數據集, 中國, 模型訓練, 清華大學

MonkeyOCRv2 文件通用 OCR 底座

2026 年 7 月 17 日

文件 AI 最麻煩的地方，在於文字辨識、版面解析、文件理解、公式辨識，甚至竄改檢測，很多時都要拆成幾個模型串起來。MonkeyOCRv2 把自己放在視覺文字基礎模型的位置，核心不是只追單一 OCR 指標，而是想用同一個 encoder 同時覆蓋多語言文件 parsing、understanding、text recognition、formula recognition 以至 scene text detection。

它採取的路線很明確：不像部分做法會按任務各自訓練小模型，MonkeyOCRv2 強調 fine-grained text modeling、cross-task representation learning 同 cross-lingual generalization，等於先把「文字作為視覺內容」這件事學得更深，再把能力分流到不同文件任務。這種取向的好處，是同一套底座較適合研究團隊或產品團隊整合工作流；代價則是現有資訊仍以模型發布為主，完整效能對比與部署細節還要結合論文與 checkpoint 再判斷。

現階段最值得留意的，是項目已不只放出單一模型名稱，而是分成幾條較清晰的能力線。 MonkeyOCRv2 vision encoder，以及面向 multilingual document parsing 的 MonkeyOCRv2-Parsing、面向 efficient document understanding 的 MonkeyOCRv2-Und，並提供 Hugging Face 與 ModelScope checkpoint，代表測試方式大致會圍繞下載權重後，按任務接入 parsing、recognition 或 understanding 流程，而不是單純打開一個聊天介面就完成。

涵蓋 OCR、文件理解、公式辨識、竄改檢測、重疊文字分割等多類任務
提供 MonkeyOCRv2-S、MonkeyOCRv2-B、MonkeyOCRv2-AS，不同 backbone 對應不同場景
S、B 版本偏向 Recognition / Parsing / Understanding，AS 版本偏向 Detection / Segmentation
已公開 Demo、Hugging Face 集合與 MonkeyDocv2 數據集線索，方便交叉驗證

從現有公開資訊看，這個項目較適合做 Document AI、智能審核、票據與表單處理，也適合想比較 dots.mocr、PaddleOCR-VL、Qwen3-VL 這類路線差異的人。它未必是最輕量的選擇，但「一個編碼器橫跨多任務與多語言」這個方向，對需要長期維護文件工作流的項目有相當吸引力。

GitHub · Paper

Categories: 開源, Dataset 數據集, Medical醫學, OpenAI, Qwen, 多模態模型, 影像處理, 框架, 模型

RINO 用圖像編輯統一視覺任務

2026 年 7 月 16 日

RINO unifies vision under a single RGB interface: one frozen image editor, driven by a task-specific prompt, handles est

與其為每個視覺任務各自接駁 head、decoder 或 adapter，RINO 選擇更激進的路線：全部改寫成 RGB In, RGB Out。它屬於一個以 PyTorch 實作的研究型評測與實驗項目，核心問題是檢查單一凍結式 image editor，能否同時處理視覺理解與條件生成，而毋須為深度、segmentation、pose 之類任務另建模組。

這個定位帶來的吸引力很直接：流程統一、介面統一、後端也能互換。項目目前接上三個開源 image-edit 模型作為黑盒後端，包括 Qwen-Image-Edit、FireRed-Image-Edit 與 LongCat-Image-Edit；任務目錄結構一致，每個 task 都有獨立 evaluate 程式與 output 結果，方便逐項跑 benchmark，比起各任務各寫一套推理邏輯，整理與比較都省事得多。

但它的取捨同樣明顯。RINO 並沒有訓練新模型，也不做 fine-tuning，而是堅持用 released weights 直接測 zero-shot 表現；好處是比較乾淨，較能反映 image editor 本身的泛化能力，限制則是上限會被原生編輯模型綁住，對結構化輸出是否穩定、是否容易受 prompt 與渲染方式影響，仍要按任務逐個看。

重點不是追求單一任務最佳成績，而是測試「同一個 RGB 介面」能否橫跨多類視覺工作
三個後端可互換：Qwen-Image-Edit、FireRed-Image-Edit、LongCat-Image-Edit
採用 copied official metric code 評分，數字理論上較容易與既有文獻對齊
部署理解不複雜：安裝依賴後，按 task 準備 dataset，再選 BACKEND 與對應 MODEL 便可執行評測

較適合留意這個項目的，會是想研究 unified vision 介面、比較不同 image editor 泛化力，或者想把多個 benchmark 收攏到同一工作流的團隊。現有資訊未列出完整成績表，但它已清楚交代評測方法、資料夾規格與模型來源；作為研究驗證平台，價值在於提出一套可重覆比較的做法，而不是即刻取代每類任務的專用模型。

項目主頁 · GitHub

Categories: 開源, Qwen, Image, Python, 多模態模型, 影像處理, 模型, 模型訓練, Dataset 數據集

AMID 把醫學影像建模流程交畀代理協作

2026 年 7 月 15 日

醫學影像建模最麻煩的位，往往唔係只係揀網絡，而係每個任務都有唔同資料形態、指標、切分規則同提交要求。AMID把呢個痛點拉到枱面：它屬於一個 autonomous multi-agent framework，目標唔係產生一段建議文字，而係交出可訓練、可推理、可驗證、可提交的完整模型產物。

現有通用 MLE agent 往往沿用比較粗略的搜尋與試錯範式，先提方案、再寫碼、再靠結果反覆修補；作者認為放到醫學影像場景，呢種做法容易忽略資料條件、驗證協議同提交格式。AMID改用 Data-Conditioned Method Planning，先按任務資料與可運行資源整理出可執行的 method lanes，再用 Verification-Guided Two-Stage Optimization 由早期廣泛探索，轉去後期集中追蹤有潛力路線，同時持續檢查 metric computation、validation protocol 同 prediction artifacts。

呢種取向的差異，在於它把「做得出分數」同「流程可核對」放埋一齊處理。對醫療 AI 團隊、挑戰賽參賽者，或者要同時管理 2D 影像、3D volumes、segmentation masks、class labels 等異質資料的人，AMID的吸引力在於減少人手串接流程的時間；代價是它目前仍以技術報告與任務解法報告為主，README亦寫明 source code 尚未釋出，暫時未到可以直接部署測試的階段。

效能方面，AMID用 ReX-MLE 的 20 個 medical imaging challenge tasks 做基準，比較對象包括一般用途 MLE systems，同時拿 human-designed challenge solutions 作參照。作者指出它整體表現優於被評測的通用系統，部分任務接近或追平人手設計方案；現階段較適合把它理解成一套清晰的方法論與工作流藍圖，而唔係即裝即跑的開源工具。

核心定位係 autonomous multi-agent framework，處理醫學影像模型開發與驗證交付
主要方法包括 Data-Conditioned Method Planning 同 Verification-Guided Two-Stage Optimization
輸出唔止模型建議，仲包括 training code、inference code、weights、prediction files 同 audit trail
基準測試來自 ReX-MLE 的 20 個任務，整體表現優於通用 MLE systems
目前已公開 technical report 同 20 份 solution reports，source code 尚未發布

相關模型與系統脈絡方面，AMID直接對比的是 general-purpose MLE systems，同時以 human-designed challenge solutions 作為高水位參考。它未有把重點放在單一 backbone 或某個固定醫學影像模型，而是把多代理規劃、優化與驗證流程包成可重複的方法，呢點比單次調參工具更值得留意。

GitHub · Paper

Categories: 開源, 香港, 香港中文大學, 微軟, Agentic, Image, 3D, Medical醫學, 多模態模型, 影像處理, 模型訓練, 框架, Dataset 數據集

MuScriptor 把多樂器轉譜拉近可用水位

2026 年 7 月 15 日

聽住一段完整歌曲，直接整理出可編輯的 MIDI，本來最易卡住嘅位係多樂器同時出現之後，音色、失真同重疊頻段會令轉譜結果迅速走樣。MuScriptor 針對嘅正正係呢種情況：它屬於開源音樂轉譜模型，目標係將真實世界嘅多樂器錄音轉成符號化樂譜，而唔係只喺單一樂器或合成資料上做得好睇。

舊一代 Automatic Music Transcription 往往依賴大量 synthetic training data，代表性做法如 MT3，喺合成測試集成績可以唔錯，但一落到真實混音音樂就容易失準。MuScriptor 嘗試修正呢個範式，先分析 synthetic data pre-training 嘅作用，再結合真實音訊 fine-tuning，同時加入 reinforcement learning 做 post-training，重點唔係追求實驗室式乾淨訊號，而係提升跨曲風、多樂器錄音嘅泛化能力。

對一般創作者、編曲人、音樂研究者同需要把歌曲快速轉成 MIDI 工作流嘅團隊來講，呢個項目吸引力幾直接。它提供 web UI 同 CLI 兩種方式，本地可先用 uvx muscriptor serve 背後嘅介面理解效果，亦可以用命令列批次處理；首次執行前要有 HuggingFace 帳戶並接受模型授權，權重會下載後快取，本地網頁服務預設只開喺 127.0.0.1，改成 --host 0.0.0.0 就可以喺區域網路存取。

已公開 small、medium、large 三個模型，分別為 103M、307M、1.4B 參數
small 較適合 CPU-only 環境，medium 係預設速度與準確度平衡，large 追求更高準確率但更重
模型架構採用 transformer decoder only
支援 instrument presence conditioning，用來控制轉譜時聚焦邊類樂器
播放功能唔係單純示意，而係透過完整 SoundFont synthesizer SpessaSynth 回播

限制亦寫得算坦白：權重受 CC BY-NC 4.0 約束；Intel Mac 要留意 PyTorch 同 Python 版本配搭。現有資料指出它訓練用到 170k 首歌，涵蓋 classical music 到 heavy metal，定位上明顯比只靠小量真實資料、再用大批合成音訊補足嘅方法更著重真實混音可用性。對需要高質多樂器 AMT 嘅人，MuScriptor 目前最值得留意嘅，係它唔再只展示「可以轉譜」，而係開始處理「轉出嚟能否進入後續編曲或分析」呢個關鍵差距。

項目主頁 · GitHub · 模型

Categories: 開源, Mac, Python, 模型, 音樂, Dataset 數據集

reasoning-blind-spots：找出 AI 推理盲點的測試集

2026 年 7 月 15 日

最值得留意的矛盾，是題目對人類不算難，卻會令前沿模型露出推理短板；blind-spots-bench 屬於基準測試與資料集項目，用來檢查 AI 在抽象、文字及多模態推理題上的失誤位置。

很多模型評測偏向看總分或通用能力，這個項目把焦點放在「盲點」：模型可能懂得生成流暢答案，卻在追蹤規則、連鎖映射或跨模態線索時走錯一步。資料集已放在 Hugging Face，格式包括 parquet，規模少於 1K，較適合做針對性壓測，而不是當成大規模訓練資料。

定位清楚：針對 frontier AI models 的 reasoning capabilities 做壓力測試。
工作流完整：以 Inspect AI 作為 evaluation framework，並提供 scripts 重現評測。
可檢查答案：grader.py 負責 Scorer/Grader/Verifier logic，solver.py 處理 Solver/Generator logic。
覆蓋形式：資料包含 Image 與 Text，題型可分為 Text-only 與 Multi-to-text。

安裝與部署層面，這不像一般應用工具按幾個掣便完成任務；較合理的理解是把它接入評測流程，透過 conf/ 的 Hydra 設定、scripts/ 的重現腳本，以及 notebooks/ 的分析視覺化，對模型輸出做批量測試與比較。

結果表列出 mean@4、pass@4、out-tks 與 cost ($/100) 等指標，並可見 GLM-4.7、GLM-5、GLM-5.1、GLM-5.2 等相關模型。它較適合模型研發團隊、評測工程師、AI 產品團隊用來補足一般 benchmark 看不到的錯誤模式；若只想找聊天機械人的日常排行榜，這個項目的粒度會顯得更偏研究與診斷。

項目主頁 · GitHub · Paper

Categories: 開源, OpenAI, Image, 多模態模型, 框架, Dataset 數據集

SpectraReward：用 MLLM 反讀圖片做文生圖獎勵

2026 年 7 月 15 日

文生圖訓練最麻煩的一環，往往不是生成本身，而是怎樣穩定判斷圖片有冇跟足提示詞。SpectraReward 屬於影像生成 reinforcement learning 的獎勵方法，處理的正是這個問題：它不靠人工偏好標註，也不用再微調 reward model，而是借用預訓練 Multimodal Large Language Models（MLLMs）本身已有的圖文對齊能力，直接替生成結果打分。

核心做法很直觀：先讓 MLLM 看生成出來的圖片，再檢查它能否把原本的 prompt「讀返出嚟」。SpectraReward 用一次 image-conditioned、teacher-forced forward pass，計算 prompt 的平均 log-likelihood，數值越高，代表圖片越能還原文字意圖。相比常見做法要模型直接評分、回答拆解後的驗證問題，這個方法少了額外訓練步驟，也減少了設計評分流程的負擔。

項目亦提出 Self-SpectraReward，對 BAGEL 這類 unified multimodal models（UMMs）尤其有意思。做法是讓同一個模型的 understanding branch，為 generation branch 產生的樣本評分，形成 self-reward。這種安排的重點不在模型愈大愈好，而在 reward 與 policy 是否真正對齊；資料指出，這種內部對齊效果有時可追平，甚至超過更大型的外部 MLLMs。

不需要 preference labels，也不需要 reward-model fine-tuning
只用一次 MLLM forward pass，就可計出 training-free reward
把「圖片能否還原 prompt」變成可量化的獎勵訊號
Self-SpectraReward 適合 BAGEL 類 unified multimodal models（UMMs）

從結果描述來看，reward 提升時，複雜場景生成質素也同步改善，表示這個訊號不只理論上合理，亦能推動可見的畫面進步。對正在做 text-to-image generation、影像模型強化學習，或想減少外部獎勵模型依賴的讀者來說，SpectraReward 提供了一種更省步驟、但仍保留語義判斷能力的路線。文中提到的模型包括 MLLMs，以及 BAGEL 這類 unified multimodal models。

項目主頁 · GitHub

Categories: 香港, 香港大學, 字節跳動, Image, txt2img, 多模態模型, 影像模型, 模型訓練, 北京大學

[技術文章] Xiaomi-Robotics-U0 小米用世界模型打通機械人

2026 年 7 月 15 日

當世界模型式的影像與影片生成能力要落到機械人場景，難題唔止係出圖或出片，而係同一個場景喺多個視角下都要合理，物件幾何要一致，仲要符合唔同 robot embodiment 嘅操作限制。

Xiaomi-Robotics-U0 屬於 world foundation model 路線，針對的正是這類 embodied synthesis 工作：一邊保留大型 image and video generation model 已學到的視覺知識，一邊補上機械人資料需要的可控性與一致性。

常見做法通常係用有限的機械人資料去微調 foundation model，但作者認為呢種範式容易犧牲大規模預訓練帶來的泛化能力。Xiaomi-Robotics-U0 改用 unified embodied synthesis 設計，把 text-to-image generation、image editing、embodied scene generation、embodied transfer 同 embodied video generation 放入同一個 38-billion-parameter multimodal autoregressive model 聯合優化，將 embodied generation 視為 foundation image and video generation 的延伸，而唔係另一條割裂的任務線。

呢個項目最有用的地方，在於它不只生成好看的資料，而是生成可拿來支援機械人學習的資料。文中提到它首次支援跨多種 robot embodiments 的高品質 multi-view scene generation，亦加入 structured、controllable embodied transfer，做細緻編輯時仍可保留 multi-view consistency 同 interaction dynamics，對要做模擬資料擴增、場景改寫、操作軌跡配套生成的工作流幫助較大。

聯合處理多種任務，減少每個場景各自做模型適配的割裂流程
核心差異在於保住 pre-trained world foundation model 的泛化，同時加入 embodied constraints
支援 multi-view scene generation 與 embodied transfer，重點放在幾何一致性與互動連貫性
生成結果可作為 scalable data engine，服務後續 policy training

效能上，Xiaomi-Robotics-U0 在 single-step 與 sequential generation 任務都做到 state-of-the-art，human evaluations 中於 embodied scene generation 同 transfer 超過 GPT-Image-2.0，embodied video generation 在 World Arena 排名第一。更實際的指標來自真實操作任務：它把 π 0.5 \pi_{0.5} 在 out-of-distribution 情況下的 success rate 由 36.9% 提升到 63.2%，說明這類 world model 不只是內容生成工具，亦開始成為 embodied intelligence 的資料引擎。

文中亦提到完整流程涵蓋 dataset curation、unified annotation pipeline、single-step training、sequential training，以及配合 FlashAR 與 vLLM Integration 的 inference 設計。整體訊息很清楚：作者想證明 foundation world models 可以同時扮演 embodied world models 與合成資料基建，讓機械人訓練不再只依賴昂貴而稀缺的真人示範。

Paper

Categories: Video, Image, 軟件, txt2img, 多模態模型, 影像模型, 模型, 模型訓練, 視頻模型, Robotic, 世界模型, Dataset 數據集, 小米-Xiaomi

Latent-Identity Tuning 人像身份細緻微調

2026 年 7 月 15 日

想修改鼻形、加鬍鬚或雀斑，同時又保留同一個人的辨識度，對 text-to-image (T2I) 個人化生成來說一直很難。Latent-Identity Tuning in Text-to-Image Personalization Models 聚焦在這個卡位：不只是改一張圖，而是調整某個人的身份表示，之後可在不同場景中生成同一個經過微調的人。

做法上，輸入人像會先經由預訓練 personalization encoder 轉成一組 identity tokens。研究發現，不同 token 會偏向捕捉眼、鼻、口、頭髮等不同區域或語義特徵，因此可以在這個 identity space 入面尋找有意思的方向，例如鬍鬚、捲髮或其他面部屬性，再沿着方向調整。

直接微調 identity tokens，而不是只在單張圖片上修圖
可做局部、細緻，而且語義較一致的人臉改動
修改後的身份可配合不同 prompts 生成新圖
透過 attention maps 觀察 token 與臉部區域的關係
使用定性與定量實驗檢查局部編輯及跨圖身份一致性

和常見 image editing 相比，這個方法的差異在於它處理的是「身份的潛在表示」。換言之，改動不是鎖死在原圖姿勢、背景或光線，而是把編輯後的身份交給 T2I 模型，在新場景、新描述下仍盡量維持同一個人。

這類方法會較適合需要穩定角色形象的創作者、視覺設計工作流，以及研究人像個人化生成的人。限制上，資料未交代可直接使用的產品化介面或完整模型名單；引用模型方面，內容只提到預訓練 personalization encoder 與 text-to-image model，未列明具體基礎模型名稱。

項目主頁 · Paper

Categories: Image, txt2img, 數字人, 框架

Page 1 of 115

1 2 3 … 115 Next »