T3lescope 把多視角影像變成高質 3D 場景

2026 年 10 月 13 日 Share to X Facebook Copy link

由單一物件到城市級戶外場景，T3lescope 嘗試以生成模型兼顧整體幾何、細節，以及玻璃和鏡面表面重建。

面對影像稀疏、表面反光或透明等情況，T3lescope 仍嘗試由已標定相機姿態的多視角影像重建高保真 3D scene mesh。它屬於生成式 3D 重建模型，處理的是大型場景難以同時維持覆蓋範圍與局部細節的問題。

模型以 mesh flow models 直接生成高解析度網格，並在推理階段採用 coarse-to-fine cascade：先用較粗層級建立全局布局，再於更細的 spatial cells 內擾動、去噪和補回幾何細節。各層共用同一個 fixed-resolution generator，訓練時以不同尺度的 cells 學習，因此層級數量、cell 尺度和位置都可於推理時調整。

這做法減少把大型場景切成多個獨立重建區域後出現的接縫和全局不一致風險，也不需要逐個場景進行 per-scene optimization。代價是重建品質仍取決於輸入影像數量、視角覆蓋和模型推理配置，而 README 未提供硬件要求、速度或完整操作流程。

T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

• 支援由單一物件、室內環境延伸至戶外和城市級場景
• 可在推理階段選擇 cascade 層級與網格細緻程度
• 針對稀疏觀測、細小結構、glossy 及 transparent surfaces 提供生成式補全
• 在室內、戶外及城市場景測試中勝過 feed-forward 和生成式基線，並達到或超越部分 per-scene optimization 方法

適合需要多視角影像轉 3D 資產的視覺研究、數碼孖生、機械人感知和場景製作團隊，較容易受惠於這種跨尺度重建能力。不過 GitHub 項目目前只標示 Code is coming soon，尚未提供可安裝程式碼；現階段可參考 arXiv、項目網站和示範影片理解結果，未能按儲存庫直接測試。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Image, 3D, 庫

---

tabulaflow：自然語言查數據(text2SQL)

2026 年 10 月 13 日 Share to X Facebook Copy link

TabulaFlow 讓使用者用自然語言分析、轉換和視覺化多種數據，並可由圖表追查背後的資料表與查詢。它適合需要跨資料來源探索數據、又要保留分析脈絡的團隊。

想查詢資料庫、整理檔案或探索 Hugging Face 數據集時，使用者可以用自然語言描述分析目標，再由 TabulaFlow 這個開源 Python 數據代理程式處理查詢和圖表。它支援 SQL 和圖形資料庫、檔案、Wikidata 及網頁，適合研究、數據分析和需要把數據功能整合進應用程式的團隊。

與以檔案和 Shell 為核心的編程代理不同，TabulaFlow 把表格當作主要工作單位。代理程式負責產生查詢和視覺化規格，系統則處理資料解析和圖表呈現，減少模型直接拼接資料值或 HTML 的需要；核心數據工作亦可在關閉 Shell 和檔案存取時運作。它仍能編寫程式、執行 Shell 指令和瀏覽網頁，但這些能力不是數據工作的必要條件。

每張視覺化結果都能查看所用的資料表，而資料表亦保留產生它的查詢，方便核對結果來源和重現分析。這對需要審視數據處理過程的團隊有幫助；不過，查詢是否符合使用者原意，仍會受問題描述和模型判斷影響，追蹤來源不等於保證結果正確。

項目提供互動式消歧、資料庫對話、研究資料庫建立及圖形數據查詢等示範。研究者亦可用配套工具進行 text-to-query 實驗；ARCS 是用來評估 SQL 問題歧義處理的基準，不是 TabulaFlow 本身的效能分數。文件列出安裝方式為透過 uv 安裝並設定模型供應商金鑰，支援哪些模型則需查閱其模型文件；提供的資料未列出完整操作流程或各資料來源的設定細節。

• 支援資料庫、檔案、Hugging Face datasets、Wikidata 和網頁等來源。
• 以查詢和視覺化規格驅動分析，資料解析及圖表呈現交由系統處理。
• 圖表、資料表與來源查詢之間保留可追溯關係。
• 適合數據分析、研究及建立數據應用程式；結果仍需按資料和查詢目的核實。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 工具, Python, 庫, 編程, Dataset 數據集

---

Motion2MixamoRig：把真人動作搬入 Mixamo 角色的開源工具

2026 年 10 月 13 日 Share to X Facebook Copy link

Motion2MixamoRig 將單人影片或照片姿勢轉成 Mixamo 角色動作，直接輸出可供 Blender、Unity 使用的 3D 檔案。

把單人動作影片或一張姿勢照片套到 Mixamo 角色上，Motion2MixamoRig 便可輸出預覽影片及帶蒙皮的 .glb 角色檔，減少遊戲開發者重新製作基礎動作的工序。它屬於 3D 動作轉移工具，處理的是真人影像與已綁定骨架角色之間的動作銜接問題。

流程以 SMPL-X、GVHMR 等模型先從影像估計人體動作，再將結果映射到 Adobe Mixamo rig；模型不負責生成全新動作，而是把影片或照片中的姿勢重建後套用到指定角色。輸出可放入 Blender 或 Unity，仍要留意單人畫面、遮擋、鏡頭角度及原角色骨架會影響結果。

模型權重首次執行時約需下載 5 GB；原始資料沒有提供正式性能基準或準確率數字。項目目前仍屬 experimental，0.1.0 提供 command-line pipeline，亦附有 Blender 4.2+ Extension，並在外部 Python 環境執行同一套流程。

• 支援影片動作及單張照片姿勢
• 輸出預覽影片與 .glb 檔案
• 兼容 Blender、Unity 工作流程
• 需要單人素材及外部模型權重

遊戲原型、角色動畫測試及需要快速重用真人動作的團隊較適合採用。ffmpeg 並非流程必需，但缺少它會令輸出影片沒有聲音，並可能無法在瀏覽器播放；對需要穩定製作級動畫的人員而言，仍要自行檢查骨架映射、腳部滑動和遮擋造成的誤差。

GitHub

Categories: 開源, AI productions, 數字人, 模型, Video, Image, Audio, 工具, 3D, Python, 庫, 動畫

---

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日 Share to X Facebook Copy link

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

• 速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
• 模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
• 評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
• 適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

---

GroundingPI 以 4B 視覺基礎模型連接感知與機械控制

2026 年 10 月 13 日 Share to X Facebook Copy link

GroundingPI 把視覺定位轉成可供機械系統使用的點和框，主打複雜場景下的精準感知與控制效率。

要讓自動駕駛或機械人準確知道「要處理哪件物件、位置在哪裏」，單靠一般視覺語言模型仍可能在雜亂畫面和細小物件上失準。GroundingPI 屬於視覺 grounding foundation model，以 4B 參數模型處理定位問題，輸出可供後續控制使用的視覺結構。

模型以 visual primitives 為核心，將點和框表示成 shared vocabulary 中的 quantized coordinates，再配合 vision-language model、tokenizer、processor 和 custom model code。這種做法針對 VLA（vision-language-action）及 WAM（world-action models）常見的感知瓶頸，並讓 perceptual foundation 可以轉移到 autonomous driving 和 robotic manipulation。

• 定位方式：同時支援點與框，適合指定目標及描述空間位置。
• 模型規模：4B 參數，目標是在能力與運算成本之間取得平衡。
• 評測結果：涵蓋 34 個 grounding benchmarks、11 種感知能力，對比 44 個基準模型平均達 73.68%，高於 GPT-6 Astra 的 71.54%。
• 轉移價值：在 ID 和 OOD 評估，以及 action-data efficiency 方面，展示對自動駕駛和機械人操作的幫助。

對研究團隊而言，GroundingPI 不只是單次定位模型，亦可作為 System-1 foundation-model 的感知層，補足未必擅長精準 grounding 的通用視覺模型。項目提供 Hugging Face 模型及 Demo，並列出 vLLM、Transformers backend、OpenAI-compatible API 和 JSONL batch annotation 工作流；不過提供的儲存庫資料未交代完整硬件需求，部署前仍需按文件確認環境。

研究重點同時放在 pretraining scale 和 data composition 如何影響 grounding 及轉移效果。需要即時視覺定位、閉環控制或希望減少 action data 的自動駕駛、機械人及 embodied AI 團隊，會較容易從這個模型的感知能力受益；純文字或一般影像分類工作則未必能直接發揮其價值。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 清華大學, 模型, 視覺模型, 多模態模型, 模型訓練, API, Image, VLA, World-Action Model, Robotic, 香港, 庫, Tokenize

---

ExpActivator：讓 GUI 代理學懂何時啟用個人經驗

2026 年 10 月 13 日 Share to X Facebook Copy link

ExpActivator 不再把所有相關歷史硬塞進每一步，而是按畫面、時間與情境判斷哪些經驗真正適用。

當個人 GUI 代理執行多步任務時，相關歷史未必適合每一個畫面；ExpActivator 把這個取捨轉化成經驗啟用問題。它屬於免訓練的個人 GUI 代理框架，處理歷史操作何時應該介入當前決策，以及何時應該保持沉默。

逐步啟用會把新畫面放入凍結 GUI backbone 的 latent space，尋找相近的歷史狀態，再把對應動作交給 policy 作參考，代理可以採用、修改或拒絕。任務級啟用則只會在時間和情境都支持時提出重複意圖，否則選擇 abstain；相比把整段檢索歷史附加到 context，歷史不再被視為每一步都有效。

PersonalAlign 評估涵蓋 775 個個人化執行 episodes、7,915 個 actions，以及 215 個正面和 100 個負面 proactive suggestion states，測試 Qwen3-VL-8B、MAI-UI-8B、Qwen3.5-9B 和 GUI-Owl-1.5-8B。以 Qwen3-VL-8B 為例，ExpActivator 的開首步驟成功率為 70.06%，後續步驟為 26.67%，高於無歷史的 28.26%和 18.43%；研究頁亦報告平均軌跡步驟成功率提升約 28%，proactive suggestion 的 MCC 約為最強基線的 2.3 倍。

適合研究個人化 GUI 代理、重複工作流程和主動建議的團隊測試。項目不會訓練模型或預測參數，PersonalAlign 提供安裝及執行流程，但需另取 PersonalAlign 的 Fingertip20k；記憶應採用每位使用者按時間排列的前 80%，避免與執行測試 episodes 重疊。

• 按畫面逐步啟用歷史動作，而非只按任務檢索
• 按時間與情境判斷是否提出主動建議
• 凍結 backbone，無需重新訓練模型
• 同時測試個人化執行與 proactive suggestion
• 依賴外部 Fingertip20k 歷史資料及多個 GUI backbone

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, 模型訓練, Qwen, 框架, 庫, UI/UX

---

Work2Skill 把人手 GUI 操作變成可重用 Agent 技能

2026 年 10 月 13 日 Share to X Facebook Copy link

Work2Skill 將人手操作錄成多模態證據，再整理成 Computer-use agents 可重用的工作技能。

面對陌生桌面軟件，單靠任務描述往往不足以交代按鈕位置、操作次序及完成後應有的狀態。Work2Skill 屬於 GUI 操作記錄、數據集與 Agentic skill induction 項目，處理的是如何把人手示範轉成可供 Computer-use agents 重用的程序指引，而不是另一個獨立基礎模型。

WorkRecorder 將螢幕影片、關鍵影格、滑鼠鍵盤事件及可用的無障礙資訊放在同一條時間線，讓每個動作同時保留畫面背景和介面狀態。WorkDemo-350 收錄 350 個桌面示範、約 8.48 小時錄製內容，包括 64 個 MyPCBench 任務及選出的 286 個 OSWorld 任務；AgenticSkillInduction 則提供基於 NexAU 的技能歸納範例，將流程整理成可執行時參考的技能。

它和只保存點擊座標或純文字步驟的做法不同，保留了操作前後的多模態證據，較適合處理介面改變、控制項含義不明或需要驗證結果的工作。不過，項目目前仍有清晰限制：macOS 錄製器及 Linux X11 AT-SPI 服務已提供，跨平台現場驗收仍待完成；下游評估整合亦尚未完成。

網站列出的結果以 0 至 100 分的 MyPCBench 平均分計算，四個執行模型在加入技能後最高提升 10.54 分。對需要累積桌面工作流程、研究 Computer-use agents，或希望以共同示範數據比較技能歸納方法的團隊，這套資源較有參考價值；資料集與錄製資料放在 Hugging Face，完整錄製及技能流程則要按各子目錄指南處理，原始資料未提供單一即用安裝流程。

• 核心價值： 把人手 GUI 經驗連同畫面、輸入及介面證據保存。
• 資料規模： 350 個示範，涵蓋 MyPCBench 與 OSWorld 任務。
• 技術組成： WorkRecorder、WorkDemo-350 及 NexAU 技能歸納範例。
• 主要取捨： 證據更完整，但跨平台驗收和評估整合仍未完成。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, Video, 軟件, Mac, Linux, 中國, Dataset 數據集, Skill 技能

---

SoftwareGym 讓電腦代理在真實桌面中反覆修正

2026 年 10 月 13 日 Share to X Facebook Copy link

SoftwareGym 把可執行軟件變成訓練環境，讓 Computer-use agents 在真實 GUI 操作中接受測試與修正。

要測試 ChatAPP、PicEditor 等軟件操作能力，單靠靜態截圖不足以反映代理能否完成任務。SoftwareGym 屬於環境合成管線，會生成具備介面及可執行功能的應用程式，再交由 Computer-use agents (CUAs) 在真實 GUI 中操作和驗證，處理訓練環境難以大量製作且欠缺互動性的問題。

流程由 FunctionDesigner 撰寫需求，StyleDesigner、SubStyleDesigner 產生 Avalonia .axaml 介面藍圖，IconDesigner 系列工具建立 SVG 圖示；Coder 再以 .NET 8 和 Avalonia 11 實作，DevCoder 按測試結果修補。各階段透過 Codex CLI 執行，EvalTaskGenerateAgent 負責建立 GUI 測試案例，GPT-5.4-style computer-use agent 或 Seed 則在 OSWorld 的 Ubuntu Docker 虛擬機內操作生成軟件。

• 以 OSWorld 相同的 Docker、Ubuntu 桌面環境對齊後續評估條件
• 透過 screenshots 與 PyAutoGUI actions 驗證真實操作流程
• v1 至 v3 每輪把 summary.json 和審查結果交回 Coder／DevCoder 修正
• runner-events.jsonl、GUIEval 分數及 cost summary.json 用於追蹤進度、品質和 token 使用量

這種做法把「生成應用程式」與「代理能否操作」放入同一個閉環，適合研究 Computer-use agents、GUI agent、軟件生成及 OSWorld 評估的團隊。README 提供輸出路徑、代理設定和執行紀錄格式；使用者仍需自行確認 Docker、OSWorld VM、Codex CLI 及相關模型環境是否已備妥。

GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, OpenAI, 軟件, 工具, Linux

---

CASE 讓 8B 模型主動尋找長期病歷證據

2026 年 10 月 13 日 Share to X Facebook Copy link

CASE 訓練視覺語言模型自行翻查跨時段 MRI 與臨床資料，將醫療問答由讀答案推進至主動取證。

面對需要比較多次就診、器官變化與 MRI 切片的臨床問題，CASE 讓模型先決定應該查哪次訪視、哪個器官及哪種工具，再整理證據作答。這個項目屬於醫療多模態模型與 Agentic learning 實作，處理的是長期臨床推理中「證據未預先整理」的難題。

核心模型採用 Qwen3-VL-8B-Instruct，透過兩階段訓練建立工具使用能力：先以 RSFT 學習經篩選的教師軌跡，再以 Agentic RL 和 GRPO 讓模型根據自身操作結果修正策略。RLAIF rubric judge 負責評分，OPSD 則利用 privileged self-distillation，改善由證據走向結論的推理，而不硬性規定工具次序。

同一個 checkpoint 會按三種臨床角色工作：Anatomist 處理器官分割和體積變化，Radiologist 比較跨訪視 MRI，Consultant 則綜合影像、體積、MedGemma 報告和 skill memory。工具預算由 4 至 12 次不等，反映不同任務在查證深度與成本之間的取捨。

• 以 UK Biobank 4,739 名參與者建立 50,401 條縱向臨床問題
• 訓練資料包含 147,434 條 frontier-model 互動軌跡
• 在匹配條件下，Qwen3-VL-8B agent 的答案準確率較 GPT-5.4 高逾 16%，較 Claude Opus 4.8 高逾 10%
• 適合研究醫療 agent、MRI 分析及跨訪視證據整合的團隊

項目提供 Docker 環境，但執行預設需要 8 張 GPU、運行時可用的 gcc、另行下載 Qwen3-VL-8B-Instruct 權重，以及供 RL rubric judge 使用的 OpenAI-compatible API key。資料須透過 UK Biobank Showcase 或已獲批的 UKB-RAP 申請取得；適合作為研究型項目測試，未宜直接視為可即時投入臨床的產品。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 多模態模型, 模型訓練, Qwen, API, Image, 工具, Medical醫學, Dataset 數據集, Skill 技能, 強化學習

---

InstantFusion 讓不同影像模型接力生成

2026 年 10 月 13 日 Share to X Facebook Copy link

InstantFusion 把不同 diffusion models 接到共同 latent space，令模型可以中途交接、加速生成，亦能混合不同偏好。

當一張圖的生成工作需要在 Qwen-Image、FLUX.1 或 SD3 之間切換，InstantFusion 讓去噪軌跡可以在中途交接。這個開源研究項目屬於影像模型工具，處理的是不同 diffusion models latent space 不相容，難以直接接續生成的問題。

核心是 Latent Alignment Encoder（LAE）：模型專屬的 encoder 和 decoder 先把各自 latent 映射到 shared latent space，再以重建、cross-reconstruction、latent alignment 及 denoising-velocity alignment loss 保留圖像資訊和去噪動態。模型本身維持 frozen，LAE 負責建立彼此之間的轉換接口。

完成對齊後，生成軌跡可以交由另一個模型繼續處理，帶來三種用途：
– 不同步數預算的模型接力，嘗試縮短生成時間
– 結合針對不同偏好優化的模型
– 在 shared latent space 進行 cross-model OPD，以模型 A 的 velocity field v 蒸餾模型 B

LAE 重建測試涵蓋 Qwen-Image、FLUX.1 和 SD3，並以 100 張圖片計算 mean SSIM；介面驗證亦顯示，單次 latent round trip 能保留較高 fidelity，但反覆轉換會累積 reconstruction error。這意味着模型接力有實用價值，但不適合無限制地來回切換。

儲存庫包括 LAE training、OPD training 和 LAE-based model handoff inference，適合研究 heterogeneous image generators、模型融合或生成加速的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 上海人工智慧實驗室, 模型, 模型訓練, Qwen, Stable Diffusion, Image, 影像模型, 香港, 工具, 庫

---