由座標定位延伸至遮罩與透明度摳圖，WeVisOne-VL 把多種視覺任務整合在一個模型，並以輕量解碼器處理像素輸出。
要在一張圖中找出物件、讀取文字，再按需要輸出座標、遮罩或透明度邊緣，WeVisOne-VL 把物件層級與像素層級工作整合為視覺語言模型（Vision-Language Model，VLM），適合標註及影像檢查流程。
模型建基於 Qwen3-VL，以 structured next-token prediction 生成定位結果：座標 token 表示點與框，
任務涵蓋物件偵測、指稱定位、計數、指點、光學字元辨識（Optical Character Recognition，OCR）、指稱分割及 promptable alpha matting；找不到指定目標時會回傳 None，減少虛構定位。需要在同一流程處理定位、分割與前景摳圖的團隊，可評估它是否適合自身資料和任務。
由灰色方塊與代理色組成的遊戲錄影，配合文字提示即可重繪成不同風格，同時保留角色、物件數量與動作時間。
遊戲原型仍是灰色方塊、彩色幾何體，AnyGameRenderer 就能把一段 24 fps、2 至 15 秒的普通影片，重繪成 AAA 寫實、LEGO、Ghibli、蠟筆或 synthwave 等風格。它屬於生成式影片模型，處理的是「畫面變漂亮後，角色位置、數量和出現時間仍要對得上」的問題。
輸入不需要逐物件標籤、引擎掛鈎或固定遊戲引擎格式，wireframe、semantic map、粗略 3D mockup、彩色 primitive 和 engine whitebox 都可作為來源。單一 checkpoint 已涵蓋 tower defense、kart racing、shooters、survivors-like 和回合制戰鬥等類型，適合 AI 遊戲生成工具、原型展示和美術風格探索。
59 個測試案例、753 個 ground-truth entities 中，temporal match 由 zero-shot base 的 50.9% 升至 62.9%，position match 由 57.1% 升至 61.9%；未渲染率由 4.1% 降至 2.9%，hallucination rate 由 52.1% 降至 46.0%。提升仍未代表每個物件都能穩定對齊，長片段和高密度場景仍需檢查輸出。
需要 Python 3.10、PyTorch 2.9.1+cu128 等環境資訊，以及 setup_env.sh 和權重下載流程；完整執行仍需要相應 GPU 環境。項目同時公開模型與資料集連結，較適合希望把可玩原型快速轉成視覺樣片的開發者和研究團隊。
Verus-Insight 不只判斷影片是真還是假，亦會逐步規劃檢查項目、核實畫面證據，再整理成結構化結論。這套開源模型適合研究影片偽造分析及可解釋檢測的團隊評估。
檢查 AI 生成影片時，單有真假標籤未必足以說明判斷依據。Verus-Insight 是一個影片瑕疵檢測模型，會按影片內容制定檢查準則、核實畫面中是否看得到相關瑕疵，再把觀察結果整合成真假判斷，讓分析不只停留在分類結果。
模型建基於 Qwen3-VL-8B-Instruct，採用「檢查規劃、證據核實、證據整合」流程。訓練方法以人工標註作錨點，涵蓋 Context → Rubric → Audit → Aggregation；這套流程旨在讓模型按影片內容提出檢查項目，並以可見證據支持結論。程式庫提供的是推理版本，並非可直接執行的訓練套件。
Verus-Bench 包含 192 段真實及 AI 生成影片，各佔 96 段，另有 320 項人工標註瑕疵，分屬 17 個類別。資料集可用來檢視模型能否找出細節瑕疵，但目前提供的資訊沒有列出具體評測分數，因此不宜據此判斷它比其他模型準確多少。
程式庫支援 Transformers、vLLM 推理，亦提供影片、圖片或影格序列輸入，以及批次推理與結果續跑功能。使用者可按文件準備 Linux、CUDA 環境並下載模型；Transformers 測試配置使用一張 H100 80GB GPU，但這只是已驗證配置，並非最低硬件要求。程式庫沒有提供訓練指令或訓練配方。
一份涵蓋 669 篇參考文獻的調查，整理影片模型如何讀取、生成、共享及互動於不斷變化的世界。
當模型要由片段影片理解場景、推演未來，甚至回應外部行動時，單純辨認畫面中的物件並不足夠。這份影片世界模型調查以影片與世界狀態的關係為主線，整理 Video Foundation Models 如何處理觀察不完整、時間變化和因果推理等問題。
調查將能力分成四個互相關聯的操作：Reading 從影片讀取語意、空間、時間、物理及因果資訊；Writing 生成可能發生的未來；Sharing 建立可供不同任務共用的表示；Interacting 則把感知結果連接到行動、控制和環境回應。內容涵蓋影片表示學習、Video-LLMs、影片生成、影片代理及世界預測等方向。
影片只是世界的部分記錄，而且可能遺失被遮擋的物件、視角以外的資訊或事件之間的因果關係。調查因此區分 temporal coherence 與 world consistency：畫面可以連續流暢，但物件再次出現時未必保持同一身份；鏡頭突然切換，也不一定代表世界狀態中斷。
• 以世界狀態統一影片理解與生成
• 覆蓋 2017 至 2026 年的研究發展時間線
• 比較 contrastive、masked、predictive 及 generative learning
• 關注長片段、串流觀察與影片代理的證據累積
• 收錄 669 篇參考文獻及多個尚待解決的研究問題
這份材料適合研究影片模型、World Models、多模態模型和 Computer-use agents 的讀者，也可作為設計影片理解、未來預測、模擬環境或機械人互動工作流時的索引。它屬於調查項目，並非可直接下載或安裝的單一模型；原始資料亦沒有提供具體使用流程。
以文字描述動作，模型便可從模擬、機械人、圖片和影片學習並預測未來畫面，讓規劃不必為每個任務各自訓練世界模型。
只用文字描述動作，就能讓同一個世界模型從模擬、機械人、圖片和影片學習，並預測行動後的視覺變化。LaLa-World 是語言條件式潛在世界模型，目標是減少不同領域各自訓練模型的需要，支援跨場景規劃；它亦可微調成 LaLa-Policy，同時預測機械人動作和未來表徵。
關鍵做法是把自然語言當成共通的動作介面，再於潛在空間預測未來視覺表徵，而不是直接生成完整影片。研究結果指，加入圖片和影片資料可改善規劃能力，亦令模型較能適應不同動作措辭；這讓研究團隊可以把多種來源的資料納入同一套規劃流程。
這些結果令項目適合用作機械人規劃與政策學習研究，尤其是希望整合影片資料、減少逐個任務訓練成本的團隊。不過，GitHub 儲存庫目前仍在補齊內容：環境設定和資料準備程式已提供，LaLa-World 訓練及規劃評估程式、預訓練檢查點和解碼器則尚未公開，因此現階段未能按完整流程重現結果。
從文字生成影片時，角色衣着、場景和鏡頭動作往往難以同時維持一致。FAPL 訓練多模態語言模型理解影片生成所需的時間線索，並支援分項控制。
文字生成影片時，模型不只要描寫眼前一幕，還要推斷未提供的時間變化，並在角色、場景、動作和鏡頭之間維持一致。FAPL（Factor-Aware Predictive Learning，因素感知預測學習）是一套訓練方法，旨在讓多模態大型語言模型（Multimodal Large Language Model，MLLM）的表示真正參與影片生成，而非被解碼器繞過。
它以 UniVideo 的 13B Video DiT 為基礎，不改動模型架構，而是分三階段訓練：先令 DiT 以 MLLM 潛在表示作為內容條件，再透過成對的因素編輯資料，教模型只改指定內容、保留其他因素；最後固定 DiT，訓練 MLLM 與連接器，讓只有文字或文字加完整影片的輸入都能對應同一影片目標。這讓方法同時處理文字推斷影片細節，以及按因素選擇性控制的需求。
研究報告的評測中，FAPL 把 Motion Order 由 48% 提升至 61%，∩-Acc 由 42% 提升至 58%，FaceSim-Arc 則由 0.451 升至 0.523。展示案例亦呈現角色衣着和外觀較能維持一致；不過，這些數字來自指定評測，不能直接視為所有提示詞或影片情境下的保證。
目前較適合研究影片生成、希望改善多因素控制的團隊參考。GitHub 資料標示程式碼、模型權重及 CineFactor-10K 評測提示仍待發布，因此暫未能按儲存庫提供的資料安裝或重現訓練；現階段可先閱讀論文及項目網頁了解方法與示例。
Code2Video-Compass 把文字、圖片和影片輸入納入同一套程式碼影片生成基準，讓團隊比較模型能否產生可執行、貼合指示的影片。
由文字描述出發，或提供圖片、原有影片作參考，模型都要生成可執行程式碼，再經 Remotion 渲染成影片。Code2Video-Compass 是一套評估基準及評測程式，聚焦比較不同多模態模型在程式碼生成影片時的能力，而非提供一個直接生成影片的模型或服務。
它涵蓋文字轉影片（T2V）、圖片轉影片（I2V）和影片轉影片（V2V），支援 HTML/CSS、SVG、Canvas 與 Three.js 等程式碼方式。基準共有 2,104 項任務，分布於 10 個影片類別和 24 個子類別；其中 1,719 項任務配對 573 段來源影片，方便在不同輸入形式下比較模型如何保留參考內容及回應指示。
評測納入 15 個多模態大型語言模型，並以 12 項客觀指標和 5 項主觀指標檢視執行成功率、效率、影片品質、指示吻合度及參考內容保真度。相比只看成片觀感，這套基準亦檢查程式碼能否執行及生成流程的效率；不過，評測結果仍受任務設計、指標定義和主觀評分影響，不能單憑總排名推斷模型適合所有影片工作。
研究團隊可用它比較不同模型在特定輸入形式或影片任務上的表現，亦可檢查系統瓶頸是在程式碼執行、視覺品質，還是參考內容對齊。儲存庫提供評測程式，任務提示、標註、品質檢查清單及參考媒體資料則放在 Hugging Face；提供的資料未列出安裝步驟或完整執行流程，採用前需查看相關程式碼與資料集說明。
拍攝角度和畫面清晰度有限，也能為新視角補出細節並維持跨鏡頭、跨時間的一致性。RealMe 以影片擴散模型輔助重建體積影片，但程式碼仍未公開。
用稀疏、低解像度的多視角影片製作沉浸式內容，難處不只在補清楚每一格，也要避免不同鏡頭和時間點的畫面互相矛盾。RealMe 是一項體積影片重建研究項目，目標是把 720p 多鏡頭拍攝素材轉成 2K、具 4D 一致性的影片，適合需要從有限拍攝資料重建人物與場景的研究及製作團隊。
流程先由輸入畫面建立粗略的 4D 表示，再從新視角渲染結果和原始畫面裁切出輔助影片，交由高解像度影片擴散模型增強；生成結果會與原始拍攝一同用來細化最終表示。模型以 ControlNet 注入輔助影片條件，並在 DiT 中分開處理時間與視角方向的注意力，讓去噪過程能交換跨影格、跨視角資訊；頻率引導則用來恢復細節。
相比只提升單張影像清晰度的做法，RealMe 同時處理新視角品質與 4D 一致性。研究團隊表示，它在 RealVV 和 DNA-Rendering 兩個資料集的新視角合成品質及 4D 一致性上勝過當時的先進方法；與 STAR、FlashVSR 比較時，示範結果呈現更細緻的面部、頭髮和衣物細節。這些結果來自研究展示，未提供可供讀者自行重現的效能數字。
RealVV 是團隊自行拍攝的多視角資料集，涵蓋不同人物、動作、場景、相機基線和焦距設定，目標是測試較具挑戰性的拍攝條件。現階段 GitHub 程式碼仍在內部審查，資料亦標示為即將提供，因此目前可透過論文、項目網站及示範影片了解方法，尚未能按公開指引安裝或重現流程。
對多鏡頭人物捕捉、自由視角影片和 4D 重建研究而言，RealMe 展示了以生成模型補足稀疏拍攝細節的方向；但在程式碼與資料釋出前，製作團隊仍難以判斷其運算成本、所需拍攝條件及融入現有流程的難度。
視覺語言模型要邊探索室內場景、邊把物件放進共通的 3D 座標，仍難兼顧完整度與精準度。SpatialScout 以 80 個場景測試這種主動建圖能力。
要讓視覺語言模型看過不同角度後，找出物件在房間中的位置，單靠辨認影像並不足夠：模型還要選擇鏡頭視點、累積視覺證據，再把多個畫面中的物件對應起來。SpatialScout 是測試視覺語言模型（Vision-Language Model，VLM）代理主動探索與物件級 3D 建圖能力的基準項目，涵蓋 80 個室內場景及 3,140 個目標物件。
每項任務提供物件清單、RGB 觀察畫面，以及相機校準資料和位置資訊；代理要控制相機，在有限互動回合內探索場景，並估算物件在共通 3D 座標系中的中心位置。這讓測試不只檢查模型能否辨認物件，也衡量它會否選擇有用視點、跨畫面追蹤物件，以及逐步修正位置。
結果反映出由大概布局走向精確地圖仍有明顯距離：表現最佳的受測模型平均 IoU 為 41.71%，只有 3.25%的目標物件達到 IoU 0.9 以上。項目亦提供涵蓋所有物件及已提交物件的八項 IoU 指標，並以成功完成 finish_mapping 的軌跡計算任務平均分；這有助分辨模型是定位不準，還是漏掉了物件。
研究團隊可用自己的模型 API 執行全部任務，預設採用 Responses API 模式，亦可切換至 Chat Completions、Anthropic 或 Gemini 端點。項目要求 Linux x86_64 和 Python 3.10，安裝程序會設定 CPU 渲染並透過 apt/sudo 安裝系統套件；場景資源則需另行下載及掛載。它適合研究主動感知、機械人空間理解或多模態代理的團隊作比較測試，但目前提供的是評估基準，不是可直接取代建圖系統的模型。
多模態程式碼智慧將程式的符號世界與其執行所產生的視覺世界連結起來。
從文字或視覺輸入生成圖表、網頁、示意圖、文件和動畫，PrismaCoder 是一系列開放的多模態程式碼模型，處理的不只是程式能否執行，也包括輸出畫面是否符合要求。這對需要快速製作圖表、前端介面或科學文件的開發者和研究團隊，提供了涵蓋多種視覺程式任務的模型選擇。
它的訓練流程 PrismaForge 會為每項指令建立評分規準，分開檢查程式碼與渲染結果，再用相同規準篩選訓練資料及提供強化學習獎勵。這做法把「程式寫得對」和「畫面呈現得對」分開衡量，減少只靠整體印象評分所帶來的偏差。
模型以 Qwen3.5 為基礎，提供 9B 和 35B-A3B 兩種規模，並各有監督式微調（SFT）及強化學習（RL）版本。PrismaCoder-2M 資料集涵蓋圖表生成與重建、網頁介面、互動示範、向量圖像、科學文件及化學圖形等任務；評估工具包括 VisPlotBench 和 ChemDraw。
模型權重和資料集可經 Hugging Face 項目頁取得；不過，儲存庫目前未提供完整訓練流程，35B-A3B 的 RL 權重亦未上架。想先驗證生成品質的團隊，可參考 VisPlotBench、ChemDraw 評估程式和互動示例；若要自行重現訓練，則要留意腳本尚未開放。