3dcodeverse 讓 AI 以程式碼建立可驗證 3D 世界

2026 年 10 月 16 日 Share to X Facebook Copy link

3DCodeVerse 將可執行程式、空間檢查與視覺評審接成工作流，讓 AI 產生的 3D 內容不止能看，亦能修改和驗證。

由幾百行 Blender Python、Three.js 或 GLSL 生成互動場景，內容仍可編輯和檢查，正是 3DCodeVerse 的實用定位。它屬於面向 coding agents 的 3D 研究生態系，處理文字要求轉化為可執行 3D 程式的問題，而不是只輸出一張渲染圖。

核心資料集 3DCodeVerse-2M 收錄約 2.03M 個 code-condition pairs，來自 269,597 個可執行程式，涵蓋 bpy、CadQuery、OpenSCAD、Three.js、URDF、GLSL、OpenGL 七種語言或 runtime，並分為物件、可動物件、場景及圖形渲染四條軌道。每個項目附有程式、所需資產、指令描述、視覺描述、建構步驟和驗證記錄，較適合訓練及測試，而非只作展示素材。

3DCodeVerse Harness 以多智能體和 DAG 結構規劃 3D 項目，再交由空間工具、MCP 服務及確定性檢查驗證連接、介面合約、關節掃描和畫面指標；VLM 評審則用二元缺陷清單及程式上限評分。讀者可先在項目網站瀏覽器執行示例，再從 Hugging Face 取得資料集；自行運行則要準備相應的 Blender、Three.js、OpenGL 等 runtime，不能只靠單一推理套件完成。

開放模型部分提供 Qwen 的 LoRA、DPO 微調配方，並列出 27B 模型在 3DCodeBench 的執行率由 51.9% 提升至 92.9%；項目亦列出相對同一 Claude Opus 5.5 backbone 的 90% 人類偏好結果。這些數字反映訓練資料和驗證流程的價值，但仍應留意評測設定、成本及不同 runtime 對結果的影響。

• 可生成可修改的程式化 3D 物件、場景和渲染效果
• 以 DAG Harness 串連規劃、執行、空間檢查和視覺評審
• 2.03M code-condition pairs 支援模型訓練與基準測試
• Qwen 微調配方兼顧執行成功率和偏好評審

對研究 3D 生成、coding agents、程式化建模或模型微調的團隊，這個項目提供由資料集、工具鏈到模型配方的完整起點。限制在於工作流程依賴多個 3D runtime，評審仍可能受視覺品質和規則覆蓋範圍影響。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 視覺模型, 模型訓練, Qwen, Google, 工具, 3D, Python, 編程, 安全, Anthropic, Dataset 數據集, LoRA

---

LSCBench 揭示 AI 編程代理安全盲點

2026 年 10 月 16 日 Share to X Facebook Copy link

LSCBench 以不提安全的真實漏洞重建任務測試編程代理，結果顯示能正常運作與同時安全的程式碼仍有明顯距離。

當編程代理只收到功能規格、完全沒有被提醒要處理安全問題時，能否自行避開已知漏洞？Last Secure Code Benchmark（LSCBench）正是用來回答這個問題的開源基準測試項目：它從真實項目移除曾經包含漏洞的程式碼，再要求代理按規格重建，最後以功能測試及重現原有攻擊的安全測試共同評分。

LSCBench 共設 450 個任務，涵蓋 150 個漏洞情境，包括 115 個 Common Vulnerabilities and Exposures（CVE）案例及 35 個專家編寫的 Java 應用程式，支援 C、C++、Go、Java、JavaScript、PHP 和 Python。每個情境分成 function、file 及 repo 三種粒度，分別測試代理修補最小函式、相關檔案，以及較完整程式庫的能力。

六個模型在 450 個任務中大多能產生可運作程式碼，但同時通過功能和安全測試的比例最高只有 25.1%。Claude Fable 5 配合 Claude Code 取得最高 Func∧Sec 比例，GPT-5.6-Sol 的安全測試通過率則以 25.8% 稍高；Kimi-K3 雖然功能通過率達 91.3%，兩項測試同時通過的比例只有 16.4%，反映功能完成度與安全性並非同一件事。

• 測試焦點：編程代理沒有收到安全提示，必須自行辨認風險。
• 評分方式：功能測試確認程式可運作，安全測試重播原有攻擊。
• 資料範圍：450 個任務、150 個漏洞情境、7 種程式語言。
• 粒度差異：同一情境會在 function、file、repo 三個層次出現。

LSCBench 屬於面向 Computer-use agents（CUAs）及 coding agents 的安全基準測試，實際解決的是「生成的程式碼能否在沒有安全提示下仍然避免已知漏洞」這個評估缺口。對模型開發團隊、安全工程師及採用 AI 輔助編程的團隊而言，項目提供了比單看功能通過率更接近真實風險的檢查方式；不過，測試結果只涵蓋指定漏洞與攻擊重現流程，不能取代完整 code review、模糊測試及正式安全審計。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, Qwen, OpenAI, DeepSeek, Python, 庫, 編程, 安全, Anthropic, Dataset 數據集, Kimi

---

AesCode 以圖像生成資訊網頁

2026 年 10 月 15 日 Share to X Facebook Copy link

生成式 AI 做海報或儀表板時，常要在視覺美感與文字、數據正確之間取捨。AesCode 把圖片生成器當作設計參考，再輸出可編輯、可驗證的 HTML 與 CSS。

想用 AI 製作簡報、海報、儀表板或網頁，往往不只要內容齊全，版面層次和配色也要合適。AesCode 是一個視覺程式碼生成模型，透過圖片生成器提供美感參考，再把結果寫成可編輯、可驗證的 HTML 與 CSS；文字和數據仍以使用者提示為準，避免把參考圖中的錯誤內容照搬進成品。

AesCode 不把參考圖片當成正確答案，而是訓練模型分開處理內容要求與視覺線索。它先用設計圖表示文字、圖表、表格和版面區域之間的關係，再以多項可程式化檢查評估執行結果、文字、邊界、圖表數據、版面及留白；視覺評分則採用與設計圖連結的評分規準，並把不同評分渠道分開處理。

簡單講，就係「用 AI 將內容變成有設計感、而且可以修改嘅 HTML/CSS」：你提供文字要求，可以再加一張參考圖片，佢就生成資訊圖、簡報頁、海報或者儀表板，而唔係只生成一張平面圖片。

訓練從既有的 8B 和 32B 模型出發，並非從零訓練；項目提供 AesCode-8B 與 AesCode-32B 模型。首頁列出 3,000 個冷啟動監督微調示範和約 7,408 個強化學習提示，並提醒提示數量不等於完整強化學習生成次數。使用者可透過公開模型測試生成結果，再按需要修改 HTML 與 CSS；複雜插圖和照片則保留為語義佔位區，圖表交由 ECharts 處理，未涵蓋的視覺素材可在後續流程交給圖片生成器或人工補上。

測試結果顯示，移除推理階段的參考圖片後，AesCode-8B Visual 分數只下降 1.0 分，基礎模型則下降 19.6 分；即使政策模型推理時看不到參考圖，採用參考圖評分訓練後，僅依提示生成的 Visual 分數仍由 25.17 升至 69.71。AesCode-32B 在 GDB/lica、SlidesBench 和 Design2Code 的 14 項指標均高於 Qwen3-VL-32B 基礎模型，提升較多的項目集中在設計相關指標；這些結果支持設計能力能遷移至其他基準，但不代表每種版面都能一次生成妥當。

• 參考圖片提供版面與風格線索，不作為文字和數據的事實來源。
• 設計圖把元素及其對齊、包含和排列關係納入評估。
• HTML 與 CSS 保留編輯空間，適合需要後續人工調整的設計工作。
• 複雜插圖採用佔位區，圖表使用 ECharts，生成範圍因此有所限制。

需要大量製作資訊圖像、簡報或儀表板的設計與內容團隊，可以把 AesCode 納入生成及後期修改流程；熟悉 HTML、CSS 的開發者亦較容易檢查版面並修正細節。它的優勢在於把視覺指引轉化為可修改的程式碼，而非交付一張難以局部調整的平面圖；若成品需要精細插畫或照片，仍要安排額外素材生成或人工處理。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, Qwen, 微軟, Image, Dataset 數據集, UI/UX, 強化學習

---

Urbex 讓城市級 3D 定位改用主動搜尋

2026 年 10 月 15 日 Share to X Facebook Copy link

Urbex 讓視覺語言代理在城市級 3D 場景自行搜尋證據，毋須預先建立物件候選框，定位能力與效率取捨更值得檢視。

面對城市級 3D 場景，逐一比較預先產生的物件候選框容易拖慢搜尋，也會受候選品質限制。Urbex 屬於開源的 Agentic 視覺模型項目，將 3D grounding 改成主動空間搜尋，讓 vision-language agent 按需要查詢地標、縮放區域、切換斜視角，再提交目標 bounding box。

它不是只靠一次影像判斷，而是在互動式 multi-view environment 逐步收集證據。Reinforcement learning 同時訓練定位和搜尋決策，模型會學習應該檢查哪裏、何時縮窄範圍，以及幾時足以作答；這免除對 precomputed instance proposals 和 ground-truth boxes 的依賴，但每次搜尋仍要承受多步操作成本。

CityRefer 測試中，Urbex 的 ND Hit@1、Hit@3、Hit@5 為 25.8、39.2、42.3，NO 對應為 23.9、36.9、40.7，搜尋時間約 3.2 秒。相較 CityAnchor 的 32.1 秒，速度明顯較快；模型亦在 STPLS3D-Refer 取得 zero-shot 結果，反映跨場景泛化潛力，但不能直接等同於所有城市環境都同樣穩定。

• 支援 CityRefer 訓練及單查詢互動式 3D 推理
• 提供 Hugging Face 的 Urbex-4B 模型和 Urbex-Data 數據集
• 可透過 Colab notebook 試用預測視圖
• 安裝需要 Linux、Python 3.11、CUDA 12.8 及 C++ 編譯器

研究城市建模、3D 視覺定位或多模態代理的團隊，較適合用它測試 candidate-free grounding；想快速驗證概念的人則可先用 Colab。完整訓練需要 CUDA 12.8、Megatron Core、Transformer Engine 和 FlashAttention，硬件及環境門檻明顯高於單純推理，因此本地部署前應先確認 GPU、編譯工具和數據下載流程。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Image, 工具, 3D, Linux, Python, Dataset 數據集, 強化學習

---

VideoJev 加速影片理解，問答推理快逾百倍

2026 年 10 月 15 日 Share to X Facebook Copy link

VideoJev 把時間定位與選擇題影片問答放進同一個評分介面，減少生成式回答的延遲。

處理長片段、重複提問或需要找出事件時間的工作時，VideoJev 不必逐字生成答案，而是直接比較候選時間區間和答案選項。這個項目屬於影片理解模型，實際處理 temporal grounding 與 multiple-choice video QA，並將兩項任務放進同一個決策介面。

它以共享影片計算配合 Cached inference 和 Joint inference：前者保留已處理的視覺資訊，方便後續查詢；後者讓多條問題在一次 forward pass 中完成。相較依靠 autoregressive decoding 的 video multimodal large language models，直接候選評分較適合大量、結構清晰的判斷，但不負責自由生成長篇答案。

• VideoJev-4B 建基於 Qwen3.5-4B，VideoJev-35B-A3B 建基於 Qwen3.6-35B-A3B
• 兩個模型均提供 BF16、Safetensors 權重及 Hugging Face checkpoint
• 三個 temporal grounding benchmark 的 mIoU，較各自 backbone 分別提升 6.7 和 10.8 分
• 四個影片問答 benchmark 在 Thinking mode 維持相近表現，推理速度提升超過 100 倍

研究結果亦量得 temporal grounding 約 2.8 至 3.1 倍加速，顯示它較適合影片搜尋、內容索引、監控片段定位，以及需要連續提出多條問題的視覺代理工作流。試用可按儲存庫提供的環境設定，透過 Transformers 的 AutoModel、AutoProcessor 載入 Hugging Face 權重，再以示範影片測試；不過儲存庫資料未交代硬件門檻，BF16 模型的記憶體需求仍需按部署環境自行確認。

項目主頁 · GitHub · 模型

Categories: 開源, 南京大學, AI productions, 模型, 多模態模型, Qwen, Video, 庫, Dataset 數據集

---

WOVEN：把視覺世界模型放入多模態 LLM 的新訓練範式

2026 年 10 月 14 日 Share to X Facebook Copy link

WOVEN 提出視覺轉換推理（visual transition reasoning）框架，用約 2,000 條受控樣本就能讓多模態 LLM 在 22 個外部基準上進步最多 27.3 個百分點。

Multimodal LLMs 在空間推理、具身操作、物理常識、時間理解等多個範疇長期被當作獨立問題處理。WOVEN 把這些差距收斂到同一個原語：視覺轉換推理（visual transition reasoning），也就是在狀態—動作—新狀態 (s, a, s′) 中，根據已觀察部分推斷未觀察部分。這個框架既是訓練素材，也是一個評測基準。

WOVEN 內含 36,076 條四選題，覆蓋 20 種場景、5 種動作、8 種推理類型，並用影片生成模型嘅 rollout 構建。研究團隊在 Qwen2.5-VL-3B-Instruct 上以監督微調（SFT）加上 GRPO 訓練，11 個約 2,000 條嘅受控子集分別針對一類動作同推理家族，最終令 26 個外部基準中嘅 22 個出現提升，幅度最高達 27.3 個百分點，呢個幅度令人意外。

WOVEN 嘅分類包含前向動力學、逆向動力學、反事實移除、反事實替換、結果預測、線索預測、時間排序同時間相鄰性八種，並設計咗單因子受控變化、反事實 rollout、錯誤類型誘餌同三類測試集以排除偏差。研究者亦喺不同模型規模同模型家族上做咗複現。WOVEN 將視覺世界建模定義為可重用嘅原語，並非單一任務嘅效果集合。對做視覺推理、具身智能同多模態基準建設嘅團隊，呢套資料同訓練食譜提供咗一個統一切入點。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Qwen, Video, 框架

---

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日 Share to X Facebook Copy link

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

• 速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
• 模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
• 評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
• 適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

---

ExpActivator：讓 GUI 代理學懂何時啟用個人經驗

2026 年 10 月 13 日 Share to X Facebook Copy link

ExpActivator 不再把所有相關歷史硬塞進每一步，而是按畫面、時間與情境判斷哪些經驗真正適用。

當個人 GUI 代理執行多步任務時，相關歷史未必適合每一個畫面；ExpActivator 把這個取捨轉化成經驗啟用問題。它屬於免訓練的個人 GUI 代理框架，處理歷史操作何時應該介入當前決策，以及何時應該保持沉默。

逐步啟用會把新畫面放入凍結 GUI backbone 的 latent space，尋找相近的歷史狀態，再把對應動作交給 policy 作參考，代理可以採用、修改或拒絕。任務級啟用則只會在時間和情境都支持時提出重複意圖，否則選擇 abstain；相比把整段檢索歷史附加到 context，歷史不再被視為每一步都有效。

PersonalAlign 評估涵蓋 775 個個人化執行 episodes、7,915 個 actions，以及 215 個正面和 100 個負面 proactive suggestion states，測試 Qwen3-VL-8B、MAI-UI-8B、Qwen3.5-9B 和 GUI-Owl-1.5-8B。以 Qwen3-VL-8B 為例，ExpActivator 的開首步驟成功率為 70.06%，後續步驟為 26.67%，高於無歷史的 28.26%和 18.43%；研究頁亦報告平均軌跡步驟成功率提升約 28%，proactive suggestion 的 MCC 約為最強基線的 2.3 倍。

適合研究個人化 GUI 代理、重複工作流程和主動建議的團隊測試。項目不會訓練模型或預測參數，PersonalAlign 提供安裝及執行流程，但需另取 PersonalAlign 的 Fingertip20k；記憶應採用每位使用者按時間排列的前 80%，避免與執行測試 episodes 重疊。

• 按畫面逐步啟用歷史動作，而非只按任務檢索
• 按時間與情境判斷是否提出主動建議
• 凍結 backbone，無需重新訓練模型
• 同時測試個人化執行與 proactive suggestion
• 依賴外部 Fingertip20k 歷史資料及多個 GUI backbone

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, 模型訓練, Qwen, 框架, 庫, UI/UX

---

Video-RSI：不改模型權重，讓影片代理自行進化

2026 年 10 月 13 日 Share to X Facebook Copy link

Video-RSI 透過改寫提示詞、工具、記憶與執行邏輯，提升影片理解代理的準確度及取樣效率。

影片理解代理遇到答錯問題時，未必需要重新訓練模型。Video-RSI 是一個開源框架，讓代理重新檢視影片，補充視覺、字幕及 OCR 證據，再把失敗原因轉化為可重用的程式修改；模型權重則保持不變。

項目由 Solver 和 Editor 配合：Solver 執行影片問答，Editor 調查失敗案例，並演化 prompts、tools、memory 及 execution logic。相比只調整模型參數，這種做法把改善集中在可執行 harness，較適合需要快速反覆修正工作流程的研究團隊。

• 透過額外視覺、transcript 及 OCR 證據分析錯誤
• 以 accuracy 和 visual-frame cost 共同篩選修訂版本
• 提供 Initial harness、final harness、inference 及 evolution framework
• 預設支援 DeepSeek-V4-Pro 和 Qwen3.6-Plus 等 OpenAI-compatible service 模型

評測會在私有 Gate set 以答案準確度及視覺影格處理成本配對選擇版本。項目資料所述結果指向更佳的 accuracy–efficiency trade-off：演化後 harness 在維持競爭力準確度的同時，處理較少影格，但未有公開具體分數或基準逐項差距。

要測試項目，需要 Linux、Python 3.12、兼容 API 服務，以及本地 RapidOCR 3.9.2 PP-OCRv6 small detection and recognition models；影片輸入採 JSONL，包含問題、選項、片長及絕對路徑，也可載入 faster-whisper large-v3 產生的 transcript。需要留意，允許 provider calls 會使用付費模型 API，因此成本控制和本地 OCR 準備是部署前的重要取捨。

項目主頁 · GitHub

Categories: 開源, 模型訓練, Qwen, DeepSeek, API, Video, 提示詞, 框架, 工具, Linux, Python

---

CASE 讓 8B 模型主動尋找長期病歷證據

2026 年 10 月 13 日 Share to X Facebook Copy link

CASE 訓練視覺語言模型自行翻查跨時段 MRI 與臨床資料，將醫療問答由讀答案推進至主動取證。

面對需要比較多次就診、器官變化與 MRI 切片的臨床問題，CASE 讓模型先決定應該查哪次訪視、哪個器官及哪種工具，再整理證據作答。這個項目屬於醫療多模態模型與 Agentic learning 實作，處理的是長期臨床推理中「證據未預先整理」的難題。

核心模型採用 Qwen3-VL-8B-Instruct，透過兩階段訓練建立工具使用能力：先以 RSFT 學習經篩選的教師軌跡，再以 Agentic RL 和 GRPO 讓模型根據自身操作結果修正策略。RLAIF rubric judge 負責評分，OPSD 則利用 privileged self-distillation，改善由證據走向結論的推理，而不硬性規定工具次序。

同一個 checkpoint 會按三種臨床角色工作：Anatomist 處理器官分割和體積變化，Radiologist 比較跨訪視 MRI，Consultant 則綜合影像、體積、MedGemma 報告和 skill memory。工具預算由 4 至 12 次不等，反映不同任務在查證深度與成本之間的取捨。

• 以 UK Biobank 4,739 名參與者建立 50,401 條縱向臨床問題
• 訓練資料包含 147,434 條 frontier-model 互動軌跡
• 在匹配條件下，Qwen3-VL-8B agent 的答案準確率較 GPT-5.4 高逾 16%，較 Claude Opus 4.8 高逾 10%
• 適合研究醫療 agent、MRI 分析及跨訪視證據整合的團隊

項目提供 Docker 環境，但執行預設需要 8 張 GPU、運行時可用的 gcc、另行下載 Qwen3-VL-8B-Instruct 權重，以及供 RL rubric judge 使用的 OpenAI-compatible API key。資料須透過 UK Biobank Showcase 或已獲批的 UKB-RAP 申請取得；適合作為研究型項目測試，未宜直接視為可即時投入臨床的產品。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 多模態模型, 模型訓練, Qwen, API, Image, 工具, Medical醫學, Dataset 數據集, Skill 技能, 強化學習

---