InferNews

TVEdit：文字與點拖軌跡合一的圖片編輯項目

TV-Edit Gradio demo

TVEdit 是一個圖像編輯項目，目標是解決「只靠文字講意思，或者只靠拖點講位置」都不夠準的問題。以往文字指令較易表達語意，但難控制空間；點拖軌跡可以指位置，卻容易令語意變得含糊，所以作者把兩者合併成 Text-Vision Co-Instructed Image Editing。

這項目的做法是用一個文本與視覺指令配對資料集來訓練，資料超過 23K 筆，來源與動態影片有關。再配合 TV-Edit 框架，把拖曳或點選等視覺指令轉成更有語意的控制表示，然後接到預訓練編輯骨幹上，例如 Qwen-Image-Edit。

它能同時處理「想改成什麼」與「要改到哪裡」，而不是只偏重其中一邊。作者另外建立了 TV-Edit-Bench，專門看語意忠實度、空間對齊同畫面一致性，這比一般只看最終效果的做法更能反映模型有沒有真正聽懂指令。

先載入 Qwen-Image-Edit，再配 TV-Edit 權重，之後在 Gradio 介面上上傳圖片、畫出軌跡、輸入文字指令，再調 CFG 同步數生成結果。若有加速 LoRA，步數可以大幅減少，適合想快速試驗互動式編輯的人。

  • 結合文字語意與點拖軌跡，令空間控制更細
  • 用 23K+ 配對資料補足跨模態指令訓練
  • TV-Edit-Bench 同時看語意、位置、畫面一致性
  • 目前已提供推理程式、模型權重同網頁示範
  • 適合做互動式圖片編輯、研究評測或模型整合

GitHub： https://github.com/PolyU-VCLab/TVEdit

Paper： https://arxiv.org/pdf/2606.16767

Categories: 開源, 阿里巴巴, Qwen, 香港理工大學, Agentic, MCP, Image, RAG, 影像模型, 影像處理, 模型, 模型訓練, 視覺模型, 框架

BadWorld：如何解決癱瘓視覺世界模型的未來推演

Chart

視覺世界模型（Visual World Models, VWMs）能從一張起始圖片，根據使用者動作序列合成出互動式的未來影片。現有做法多數沿用文字生成圖像或文字生成影片的對抗攻擊範式，但這類方法通常假設有固定的參考輸出或可取得的未來幀標籤。BadWorld 的作者指出，攻擊 VWMs 面對兩道根本限制：攻擊者根本拿不到真實的未來影片當作監督訊號，也無法預測使用者接下來會輸入什麼動作，因此傳統攻擊範式無法直接套用。

為此，團隊提出 BadWorld 框架，屬於一種安全研究工具，專門用來壓力測試自回歸式世界模型的時序穩健性。它繞過「需要未來監督」這道牆，採用自監督的速度擾動攻擊（self-supervised velocity attack），直接破壞模型早期的去噪動力學；同時，為了讓攻擊在未知動作下仍然有效，設計了軌跡自適應雙層優化（trajectory-adaptive bi-level optimization），主動挖掘困難的動作序列以鍛造「對動作無感」的擾動。

從測試結果來看，視覺上幾乎無法分辨的對抗圖片，能可靠觸發後續推演的災難性退化，出現去噪不完全、結構崩塌、控制訊號前後不一致等現象。這些發現對準備把世界模型應用於自動駕駛、機器人等安全關鍵場景的開發者是一記警鐘，同時也提供了一種可操作的隱私保護機制。

如果想自行驗證，可以針對 Matrix-Game-2.0 與 Astra 兩款開源世界模型測試。Matrix-Game-2.0 需約 32GB 顯示記憶體，Astra 則需 80GB，環境需要搭配 FlashAttention 與 NVIDIA Apex 等加速庫，並從 Hugging Face 下載預訓練權重。

  • 屬於安全研究工具，針對視覺世界模型做對抗壓力測試。
  • 突破傳統攻擊需「未來監督」的限制，採自監督速度擾動。
  • 透過軌跡自適應雙層優化，鍛造對未知動作仍有效的擾動。
  • 已在 Matrix-Game-2.0 與 Astra 上展示結構性崩潰。
  • 對自駕、機器人、遊戲模擬等安全關鍵部署具警示意義。

GitHub： https://github.com/LinghuiiShen/BadWorld

Paper： https://arxiv.org/pdf/2606.16519

Categories: 開源, 香港, 香港理工大學, NVIDIA, Video, Image, 工具, 安全, 庫, 模型, 模型訓練, 深度學習, 世界模型, 框架, 清華大學

GGT-100K：用十萬對真實影像 拓寬圖像修復的泛化邊界

GGT-100K logo

過去訓練圖像修復模型時，開發者往往受限於合成數據與真實場景之間的差距；模型在實驗室數據集表現亮眼，遇到街拍、手機夜拍等真實退化影像就大打折扣。GGT-100K 正是為了解決這個落差而生，由香港理工大學 OPPO 研究院共同推出，主打從 MFM（Multimodal Foundation Models）直接生成十萬對 LQ-HQ 配對資料，覆蓋更貼近日常的真實退化類型。

這個項目的核心想法是「讓高品質影像本身充當 Ground Truth（GT）」，再利用 MFM 推演對應的低品質版本，省去繁瑣的人工蒐集與標註。GGT-100K 並附帶 baseline 訓練程式碼與 checkpoint，研究者只需在自有的修復模型上加掛 LoRA 或重新微調，就能測試跨域泛化效果；對工程團隊而言，等於取得一條快速驗證真實世界表現的捷徑。

GGT-100K 重點摘要

  • 提供十萬對從 MFM 生成的 LQ-HQ 影像配對，涵蓋多元真實退化情境。
  • 內建 baseline 訓練與推論程式碼，支援主流修復模型微調。
  • 透過 Generative GT 策略，免除傳統人工蒐集配對的高昂成本。
  • 數據集可從 Hugging Face 或百度雲下載，附完整 Construction Process 說明。
  • 實驗結果顯示，模型在跨域真實退化測試中的泛化能力有明顯提升。

至於性能表現，作者在多個 SOTA（State-of-the-Art）MFM 上進行了修復評估，結果顯示加入 GGT-100K 訓練後，模型對未見過的真實退化樣本有更佳的適應力；具體的數值比較已收錄在 Experimental Results 區段與論文 arXiv 2605.31039 之中。如果你是從事影像修復、攝影 App 開發，或是想評估自家模型在真實世界表現的團隊，這份開源資源值得花時間一試。

GitHub： https://github.com/PolyU-VCLab/GGT-100K

項目： https://polyu-vclab.github.io/GGT-100K/

Categories: 開源, 香港理工大學, 影像處理, 模型, 模型訓練, 視覺模型, Dataset 數據集

SCOPE：複雜圖片生成，點樣更少走樣？

Repository image for nopnor/SCOPE

SCOPE 係一個面向複雜圖片生成嘅研究型框架，核心做法唔係單靠一次過輸入長提示詞，而係先將要求拆成可追蹤嘅「語義承諾」，例如人物、物件、關係、限制同未確定資訊。之後每個步驟都圍繞同一份結構化規格運作，減少中途遺漏要求嘅情況。

實際使用上，呢個專案比較似一套流程引擎，而唔係即開即用嘅圖片 App。使用者需要準備 Python 3.10+、設定運行環境，並按需要接駁圖片生成、驗證同搜尋等後端服務；如果想跑完整代理式工作流程，亦需要 Codex CLI。

佢最值得留意嘅創新，在於將「生成失敗咗邊一項」具體化。SCOPE 唔係見結果唔理想就整張圖重來，而係透過驗證同修補階段，集中處理未解決或違反咗嘅承諾，令後續動作更有方向，對多角色、多約束、知識密集型提示尤其重要。

  • 以結構化規格保存提示要求，而唔係只靠一段文字
  • 將檢索、推理、生成、驗證、修補串成可追蹤流程
  • 適合研究同評測複雜圖片生成效果
  • 內含配置範例、CLI 工具同 Gen-Arena 評估相關實用程式

如果你係研究人員、工程團隊，或者正測試高要求圖像任務，SCOPE 會比一般單步生成流程更有分析價值。相反，若你只係想快速出圖，呢個專案門檻會較高，因為它重點係流程控制、可驗證性同評估，而唔係簡化操作介面。

整體來講，SCOPE 展示咗一個幾清晰嘅方向：當提示變得愈來愈複雜，單靠模型「自己理解」未必足夠，最好有一套能夠持續記錄、檢查同修正要求嘅機制。以官方資料所見，佢亦配合 Gen-Arena 呢類基準做評估，令成效唔只停留喺示範圖片層面。

Source: https://github.com/nopnor/SCOPE

Categories: 開源, 香港理工大學, Gemini, 影像處理, 提示詞, 框架

醫療 SAM3 省卻重新標註

Medical‑SAM3 目標是做一個類似 SAM/Segmentation Foundation 的醫療版，但是真正「通用」到多器官、多疾病、多成像模態（CT、MRI、超音波等），並且支持多種互動式 prompt。

動機在於現有醫療分割模型普遍是單任務 / 單器官 / 單模態，泛化到新醫院、新機器或新部位時效果差，需要大量重新標註。Medical‑SAM3 想以大規模預訓練 + prompt-conditioning 來解決這個問題。因此在新的檢查方式或少數族群資料面前能跨機構使用。

Medical‑SAM3 基於多個公開醫療影像資料集進行大規模預訓練與評估，涵蓋多器官、多模態和多中心資料，以求提升 domain shift 下的泛化能力。

Screenshot
Categories: 開源, 香港理工大學, Medical醫學

WorldWarp 非同步視訊擴散影像模型

為了建立幾何基礎，WorldWarp 維護了一個透過高斯擴散（3DGS）建構的線上三維幾何緩存。透過將歷史內容明確地扭曲到新的視圖中，該快取充當結構支架，確保每個新幀都遵循先前的幾何形狀。然而，靜態扭曲不可避免地會因遮蔽而留下空洞和偽影。

WorldWarp 使用專為「填充和修正」目標設計的時空擴散（ST-Diff）模型來解決這個問題。

WorldWarp 的核心創新在於空間變化的噪音調度：空白區域接收完整的噪音以觸發生成，而扭曲區域接收部分噪音以實現精細化。透過在每個步驟動態更新 3D 緩存，WorldWarp 能夠保持視訊片段之間的一致性。因此，它透過確保 3D 邏輯引導結構，而擴散邏輯完善紋理，從而實現了最先進的保真度。

Categories: 開源, 香港理工大學, 影像模型, 影像處理