InferNews

CrossTimeEdit-release：用衛星變化還原歷史街景，補回城市記憶

2026 年 10 月 13 日 Share to X Copy link

CrossTimeEdit 把歷史街景生成改成有證據約束的影像編輯，利用新舊街景與衛星變化重建城市過去面貌。

街景資料未必記錄到城市每次改建，CrossTimeEdit 便把近期街景、不同時期的衛星影像和跨視角資訊結合，推算較早期的街道外觀。這個項目屬於視覺生成模型及跨視角資料集，實際處理的是在保留未改變背景的同時，重建建築、道路或其他城市元素的歷史變化。

核心資料集 VIGOR-his 收錄來自三大洲 11 個城市的 43,653 組位置級四元組，配對早期與近期街景、衛星影像，並加入變化分類、衛星變化描述及局部編輯指令。模型以近期街景固定視角和場景內容，再把不同時期的衛星差異當成變化證據，較單純依賴文字提示的生成方式更適合處理具地理關聯的重建工作。

CrossTimeEdit 以 FLUX.2 [Klein] 4B 為起點，先進行 Supervised Fine-Tuning (SFT)，再以 Online Reinforcement Learning (RL) 優化。訓練獎勵同時考慮 Instruction Alignment (IA)、Background Preservation (BP) 及 Quality and Physical Plausibility (QP)，並透過 Flow-GRPO 與 GDPO 在不同獎勵維度之間作平衡，減少只追求畫面逼真而破壞場景一致性的取捨。

• VIGOR-his 提供約十年跨度的跨視角城市資料
• 模型同時保留未變背景及重建指定變化
• 評估涵蓋指令符合度、背景保留和物理合理性
• 整體三項編輯指標較預訓練基線提升 17.12%
• 相比跨視角生成模型，在場景一致性、視覺真實感及感知質素上更佳

城市歷史研究、地理資訊分析、舊城改建記錄和地圖內容補全都可能受益於這套方法，但生成結果仍屬推算，不能取代真實歷史影像。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Stable Diffusion, Image, 庫, LoRA, 強化學習

---

VIS-Ground 讓互動影片真正記住前文與要求

2026 年 10 月 13 日 Share to X Copy link

觀眾暫停影片後提出要求，VIS-Ground 會把來源、已播內容與指令整理成可驗證的生成約束。

觀眾要求「用船運藥，而且不要弄濕」時，系統不能只理解一句新指令，還要記得橋已斷、目的地是祖母家，以及故事原本交代的背景。VIS-Ground 屬於互動影片生成研究框架，處理的正是來源資料、影片前段與觀眾介入之間容易互相牴觸的依賴關係。

它先以 Structured Context Abstraction 對齊 grounding source、已渲染的 video prefix 和 viewer request，再以 Generation Constraints Induction 抽取對下一段影片真正有關的條件，最後經過 plan、verify、revise、render 循環，檢查成片是否同時符合劇情連貫、知識來源和觀眾要求。這比單純把新提示詞交給影片生成器更重視前文約束，但代價是流程更複雜，也需要額外驗證。

• 以可執行 constraint model 連接文字來源、影片內容與互動指令
• VIS-Bench 包含 250 個 sources、1,004 個 viewer interventions 和 2,008 個 instances
• 評估涵蓋 source faithfulness、story continuity、interaction fulfillment 及 joint score
• 在 Omni-1.1-Flash、Veo 3.1 和 MiniMax-H3 三個 video backbones 均取得最高 composite score

Composite score 為 Omni-1.1-Flash 84.2、Veo 3.1 84.6、MiniMax-H3 78.8，較各自最強 baseline 高 12.3、15.3 和 3.4 分；提升主要集中在 story continuity。這些結果反映方法能跨越不同影片生成 backbone 工作，但資料只涵蓋 1,004 個互動介入，未足以代表所有敘事類型。

適合研究互動敘事、可控影片生成和多模態代理的團隊，用來測試「觀眾改變故事後，生成結果能否守住既有事實與新限制」。GitHub 目前只列出代碼、VIS-Bench 資料和評估腳本預告在 2026 年 12 月 15 日前釋出，因此暫時缺乏可按步驟安裝及本地測試的完整資訊。

項目主頁 · GitHub

Categories: 開源, AI productions, 多模態模型, Video, 提示詞, 框架, Dataset 數據集, MiniMax

---

T3lescope 把多視角影像變成高質 3D 場景

2026 年 10 月 13 日 Share to X Copy link

由單一物件到城市級戶外場景，T3lescope 嘗試以生成模型兼顧整體幾何、細節，以及玻璃和鏡面表面重建。

面對影像稀疏、表面反光或透明等情況，T3lescope 仍嘗試由已標定相機姿態的多視角影像重建高保真 3D scene mesh。它屬於生成式 3D 重建模型，處理的是大型場景難以同時維持覆蓋範圍與局部細節的問題。

模型以 mesh flow models 直接生成高解析度網格，並在推理階段採用 coarse-to-fine cascade：先用較粗層級建立全局布局，再於更細的 spatial cells 內擾動、去噪和補回幾何細節。各層共用同一個 fixed-resolution generator，訓練時以不同尺度的 cells 學習，因此層級數量、cell 尺度和位置都可於推理時調整。

這做法減少把大型場景切成多個獨立重建區域後出現的接縫和全局不一致風險，也不需要逐個場景進行 per-scene optimization。代價是重建品質仍取決於輸入影像數量、視角覆蓋和模型推理配置，而 README 未提供硬件要求、速度或完整操作流程。

T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

• 支援由單一物件、室內環境延伸至戶外和城市級場景
• 可在推理階段選擇 cascade 層級與網格細緻程度
• 針對稀疏觀測、細小結構、glossy 及 transparent surfaces 提供生成式補全
• 在室內、戶外及城市場景測試中勝過 feed-forward 和生成式基線，並達到或超越部分 per-scene optimization 方法

適合需要多視角影像轉 3D 資產的視覺研究、數碼孖生、機械人感知和場景製作團隊，較容易受惠於這種跨尺度重建能力。不過 GitHub 項目目前只標示 Code is coming soon，尚未提供可安裝程式碼；現階段可參考 arXiv、項目網站和示範影片理解結果，未能按儲存庫直接測試。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Image, 3D, 庫

---

tabulaflow：自然語言查數據(text2SQL)

2026 年 10 月 13 日 Share to X Copy link

TabulaFlow 讓使用者用自然語言分析、轉換和視覺化多種數據，並可由圖表追查背後的資料表與查詢。它適合需要跨資料來源探索數據、又要保留分析脈絡的團隊。

想查詢資料庫、整理檔案或探索 Hugging Face 數據集時，使用者可以用自然語言描述分析目標，再由 TabulaFlow 這個開源 Python 數據代理程式處理查詢和圖表。它支援 SQL 和圖形資料庫、檔案、Wikidata 及網頁，適合研究、數據分析和需要把數據功能整合進應用程式的團隊。

與以檔案和 Shell 為核心的編程代理不同，TabulaFlow 把表格當作主要工作單位。代理程式負責產生查詢和視覺化規格，系統則處理資料解析和圖表呈現，減少模型直接拼接資料值或 HTML 的需要；核心數據工作亦可在關閉 Shell 和檔案存取時運作。它仍能編寫程式、執行 Shell 指令和瀏覽網頁，但這些能力不是數據工作的必要條件。

每張視覺化結果都能查看所用的資料表，而資料表亦保留產生它的查詢，方便核對結果來源和重現分析。這對需要審視數據處理過程的團隊有幫助；不過，查詢是否符合使用者原意，仍會受問題描述和模型判斷影響，追蹤來源不等於保證結果正確。

項目提供互動式消歧、資料庫對話、研究資料庫建立及圖形數據查詢等示範。研究者亦可用配套工具進行 text-to-query 實驗；ARCS 是用來評估 SQL 問題歧義處理的基準，不是 TabulaFlow 本身的效能分數。文件列出安裝方式為透過 uv 安裝並設定模型供應商金鑰，支援哪些模型則需查閱其模型文件；提供的資料未列出完整操作流程或各資料來源的設定細節。

• 支援資料庫、檔案、Hugging Face datasets、Wikidata 和網頁等來源。
• 以查詢和視覺化規格驅動分析，資料解析及圖表呈現交由系統處理。
• 圖表、資料表與來源查詢之間保留可追溯關係。
• 適合數據分析、研究及建立數據應用程式；結果仍需按資料和查詢目的核實。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 工具, Python, 庫, 編程, Dataset 數據集

---

Motion2MixamoRig：把真人動作搬入 Mixamo 角色的開源工具

2026 年 10 月 13 日 Share to X Copy link

Motion2MixamoRig 將單人影片或照片姿勢轉成 Mixamo 角色動作，直接輸出可供 Blender、Unity 使用的 3D 檔案。

把單人動作影片或一張姿勢照片套到 Mixamo 角色上，Motion2MixamoRig 便可輸出預覽影片及帶蒙皮的 .glb 角色檔，減少遊戲開發者重新製作基礎動作的工序。它屬於 3D 動作轉移工具，處理的是真人影像與已綁定骨架角色之間的動作銜接問題。

流程以 SMPL-X、GVHMR 等模型先從影像估計人體動作，再將結果映射到 Adobe Mixamo rig；模型不負責生成全新動作，而是把影片或照片中的姿勢重建後套用到指定角色。輸出可放入 Blender 或 Unity，仍要留意單人畫面、遮擋、鏡頭角度及原角色骨架會影響結果。

模型權重首次執行時約需下載 5 GB；原始資料沒有提供正式性能基準或準確率數字。項目目前仍屬 experimental，0.1.0 提供 command-line pipeline，亦附有 Blender 4.2+ Extension，並在外部 Python 環境執行同一套流程。

• 支援影片動作及單張照片姿勢
• 輸出預覽影片與 .glb 檔案
• 兼容 Blender、Unity 工作流程
• 需要單人素材及外部模型權重

遊戲原型、角色動畫測試及需要快速重用真人動作的團隊較適合採用。ffmpeg 並非流程必需，但缺少它會令輸出影片沒有聲音，並可能無法在瀏覽器播放；對需要穩定製作級動畫的人員而言，仍要自行檢查骨架映射、腳部滑動和遮擋造成的誤差。

GitHub

Categories: 開源, AI productions, 數字人, 模型, Video, Image, Audio, 工具, 3D, Python, 庫, 動畫

---

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日 Share to X Copy link

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

• 速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
• 模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
• 評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
• 適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

---

GroundingPI 以 4B 視覺基礎模型連接感知與機械控制

2026 年 10 月 13 日 Share to X Copy link

GroundingPI 把視覺定位轉成可供機械系統使用的點和框，主打複雜場景下的精準感知與控制效率。

要讓自動駕駛或機械人準確知道「要處理哪件物件、位置在哪裏」，單靠一般視覺語言模型仍可能在雜亂畫面和細小物件上失準。GroundingPI 屬於視覺 grounding foundation model，以 4B 參數模型處理定位問題，輸出可供後續控制使用的視覺結構。

模型以 visual primitives 為核心，將點和框表示成 shared vocabulary 中的 quantized coordinates，再配合 vision-language model、tokenizer、processor 和 custom model code。這種做法針對 VLA（vision-language-action）及 WAM（world-action models）常見的感知瓶頸，並讓 perceptual foundation 可以轉移到 autonomous driving 和 robotic manipulation。

• 定位方式：同時支援點與框，適合指定目標及描述空間位置。
• 模型規模：4B 參數，目標是在能力與運算成本之間取得平衡。
• 評測結果：涵蓋 34 個 grounding benchmarks、11 種感知能力，對比 44 個基準模型平均達 73.68%，高於 GPT-6 Astra 的 71.54%。
• 轉移價值：在 ID 和 OOD 評估，以及 action-data efficiency 方面，展示對自動駕駛和機械人操作的幫助。

對研究團隊而言，GroundingPI 不只是單次定位模型，亦可作為 System-1 foundation-model 的感知層，補足未必擅長精準 grounding 的通用視覺模型。項目提供 Hugging Face 模型及 Demo，並列出 vLLM、Transformers backend、OpenAI-compatible API 和 JSONL batch annotation 工作流；不過提供的儲存庫資料未交代完整硬件需求，部署前仍需按文件確認環境。

研究重點同時放在 pretraining scale 和 data composition 如何影響 grounding 及轉移效果。需要即時視覺定位、閉環控制或希望減少 action data 的自動駕駛、機械人及 embodied AI 團隊，會較容易從這個模型的感知能力受益；純文字或一般影像分類工作則未必能直接發揮其價值。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 清華大學, 模型, 視覺模型, 多模態模型, 模型訓練, API, Image, VLA, World-Action Model, Robotic, 香港, 庫, Tokenize

---

YuE2 Studio 由樂譜到成曲：讓 AI 音樂可編輯重做

2026 年 10 月 13 日 Share to X Copy link

YuE2 Studio 先把風格與歌詞寫成可修改樂譜，再生成完整人聲歌曲，讓 AI 作曲不再只剩一個音訊檔。

由風格描述和歌詞開始，YuE2 Studio 會先產生旋律與和弦樂譜，再演唱成最長約 10 分鐘的完整歌曲。這個項目屬於本地執行的 AI 音樂製作軟件，處理的是生成歌曲後難以修改編曲、旋律和聲部的問題。

YuE2 由 M-A-P 開發，先以 ABC notation 記錄 composition，再輸出歌曲；使用者可以閱讀及編輯樂譜，之後以相同 composition 重新渲染不同聲音。它不是只提供一次性音訊生成，而是把 score 帶回製作流程，較適合需要反覆改歌詞、旋律或配器的創作者。

項目建基於 yue2.cpp，一個原生 C++/CUDA port；桌面介面則採用 Rust、React 和 Tauri，執行路徑不需要 Python、Node.js 或 launcher。Windows 提供安裝程式及 portable folder，支援離線運行；NVIDIA 顯示卡需要至少 6 GB VRAM，AMD 和 Intel 透過 Vulkan 的支援仍屬 experimental。

• 先寫樂譜再生成演唱，保留 composition 的修改空間
• 支援歌曲、stems、MIDI、lyric sheets、scores 和 videos 的檔案管理
• 內置十段 equalizer，並提供 Winamp 頻率配置預設
• 可在本地 GPU 執行，毋須依賴線上音樂服務

它較適合有歌詞、曲式或編曲要求的獨立音樂人、內容創作者，以及需要離線處理素材的團隊。硬件限制亦相當直接：NVIDIA 6 GB VRAM 是較穩妥的起點，非 NVIDIA 顯示卡則要接受 Vulkan 路徑仍可能不完整。

GitHub

Categories: 開源, NVIDIA, Audio, 軟件, 工具, Content Creator, Mac, Python, 音樂, 廣東話

---

ExpActivator：讓 GUI 代理學懂何時啟用個人經驗

2026 年 10 月 13 日 Share to X Copy link

ExpActivator 不再把所有相關歷史硬塞進每一步，而是按畫面、時間與情境判斷哪些經驗真正適用。

當個人 GUI 代理執行多步任務時，相關歷史未必適合每一個畫面；ExpActivator 把這個取捨轉化成經驗啟用問題。它屬於免訓練的個人 GUI 代理框架，處理歷史操作何時應該介入當前決策，以及何時應該保持沉默。

逐步啟用會把新畫面放入凍結 GUI backbone 的 latent space，尋找相近的歷史狀態，再把對應動作交給 policy 作參考，代理可以採用、修改或拒絕。任務級啟用則只會在時間和情境都支持時提出重複意圖，否則選擇 abstain；相比把整段檢索歷史附加到 context，歷史不再被視為每一步都有效。

PersonalAlign 評估涵蓋 775 個個人化執行 episodes、7,915 個 actions，以及 215 個正面和 100 個負面 proactive suggestion states，測試 Qwen3-VL-8B、MAI-UI-8B、Qwen3.5-9B 和 GUI-Owl-1.5-8B。以 Qwen3-VL-8B 為例，ExpActivator 的開首步驟成功率為 70.06%，後續步驟為 26.67%，高於無歷史的 28.26%和 18.43%；研究頁亦報告平均軌跡步驟成功率提升約 28%，proactive suggestion 的 MCC 約為最強基線的 2.3 倍。

適合研究個人化 GUI 代理、重複工作流程和主動建議的團隊測試。項目不會訓練模型或預測參數，PersonalAlign 提供安裝及執行流程，但需另取 PersonalAlign 的 Fingertip20k；記憶應採用每位使用者按時間排列的前 80%，避免與執行測試 episodes 重疊。

• 按畫面逐步啟用歷史動作，而非只按任務檢索
• 按時間與情境判斷是否提出主動建議
• 凍結 backbone，無需重新訓練模型
• 同時測試個人化執行與 proactive suggestion
• 依賴外部 Fingertip20k 歷史資料及多個 GUI backbone

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, 模型訓練, Qwen, 框架, 庫, UI/UX

---

Work2Skill 把人手 GUI 操作變成可重用 Agent 技能

2026 年 10 月 13 日 Share to X Copy link

Work2Skill 將人手操作錄成多模態證據，再整理成 Computer-use agents 可重用的工作技能。

面對陌生桌面軟件，單靠任務描述往往不足以交代按鈕位置、操作次序及完成後應有的狀態。Work2Skill 屬於 GUI 操作記錄、數據集與 Agentic skill induction 項目，處理的是如何把人手示範轉成可供 Computer-use agents 重用的程序指引，而不是另一個獨立基礎模型。

WorkRecorder 將螢幕影片、關鍵影格、滑鼠鍵盤事件及可用的無障礙資訊放在同一條時間線，讓每個動作同時保留畫面背景和介面狀態。WorkDemo-350 收錄 350 個桌面示範、約 8.48 小時錄製內容，包括 64 個 MyPCBench 任務及選出的 286 個 OSWorld 任務；AgenticSkillInduction 則提供基於 NexAU 的技能歸納範例，將流程整理成可執行時參考的技能。

它和只保存點擊座標或純文字步驟的做法不同，保留了操作前後的多模態證據，較適合處理介面改變、控制項含義不明或需要驗證結果的工作。不過，項目目前仍有清晰限制：macOS 錄製器及 Linux X11 AT-SPI 服務已提供，跨平台現場驗收仍待完成；下游評估整合亦尚未完成。

網站列出的結果以 0 至 100 分的 MyPCBench 平均分計算，四個執行模型在加入技能後最高提升 10.54 分。對需要累積桌面工作流程、研究 Computer-use agents，或希望以共同示範數據比較技能歸納方法的團隊，這套資源較有參考價值；資料集與錄製資料放在 Hugging Face，完整錄製及技能流程則要按各子目錄指南處理，原始資料未提供單一即用安裝流程。

• 核心價值： 把人手 GUI 經驗連同畫面、輸入及介面證據保存。
• 資料規模： 350 個示範，涵蓋 MyPCBench 與 OSWorld 任務。
• 技術組成： WorkRecorder、WorkDemo-350 及 NexAU 技能歸納範例。
• 主要取捨： 證據更完整，但跨平台驗收和評估整合仍未完成。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, Video, 軟件, Mac, Linux, 中國, Dataset 數據集, Skill 技能

---