HelixWorld 即時生成互動視聽世界

2026 年 10 月 6 日 Share to X Facebook Copy link

輸入一張圖片和提示詞，再用方向指令探索場景，HelixWorld 會同步更新畫面與空間聲音。預覽版已提供瀏覽器示範及離線推理程式碼，但硬件門檻不低。

轉身時，聲音方向也會跟着視角改變，這是 HelixWorld 與一般先生成畫面、再配上音軌的做法不同之處。它是 Noiz AI 開發的即時互動視聽世界模型，讓使用者從一張圖片和提示詞出發，以方向指令在生成場景中移動，並同步產生影像與聲音。

瀏覽器示範適合先感受互動效果；想離線測試，則可使用已公開的 Preview v1 推理程式碼和預覽模型。它目前支援 Linux、Python 3.11 和 CUDA 12.x，建議使用配備 80 GB VRAM 的 NVIDIA GPU；BF16 單卡測試約需 70 GB VRAM，對個人電腦使用者而言是明顯門檻。

操作時可輸入前進、轉向或停止等動作，並設定第一人稱視角及生成影格數；提示詞亦可分別描述影片、音訊或視聽內容。輸出會整理成 MP4，適合研究人員、互動內容創作者及想探索空間音效生成的團隊測試，但目前公開資訊未提供性能評測數據，亦未公開完整模型與訓練資料。

• 畫面和聲音會隨鏡頭移動同步更新，空間聲場跟隨視點改變。
• 可先用瀏覽器示範體驗，也可在符合硬件條件的 Linux 系統離線推理。
• 預覽版已開放，完整模型、訓練資訊及報告仍待公開。

HelixWorld 展示了視聽生成從固定片段走向可操控場景的一種做法；不過，現階段的高顯示記憶體需求和有限評測資訊，令它較適合研究與原型測試。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, Video, Image, Audio, 提示詞, Content Creator, Linux, Python

---

MotorMind-Code：通用視覺語言模型零樣本操控機械人

2026 年 10 月 6 日 Share to X Facebook Copy link

MotorMind 讓通用視覺語言模型透過中階動作控制機械人，並用即時回饋檢查進度、修正失誤。它在模擬環境和真實機械人上測試，毋須針對任務訓練策略。

要令機械人按指示完成操作，模型不只要看懂畫面，還要判斷下一步、確認動作有否奏效。MotorMind 是一個機械人操控研究項目，讓凍結的通用視覺語言模型（Vision-Language Model，VLM）提出中階動作，再由執行框架把決策交給機械人，並以量度到的回饋檢查結果；過程不需針對特定任務訓練策略。

模型不會一次過決定整個操作流程。MotorMind 會並行監察機械人執行情況，確認子目標是否完成；若觀察到的結果不符預期，便可修正動作、恢復執行或重新規劃。這種做法把 VLM 的推理與機械人控制接起來，但不依賴專用動作專家、技能 API 或動作規劃工具。

項目在 LIBERO-PRO 模擬環境及 xArm6 真實機械人上測試，亦以 240 條視覺問題評估模型選擇動作、判斷進度和確認子目標完成的能力。評估結果指出，動作選擇是各模型較難處理的部分；因此，即使加入持續監察與結果核實，也不能視為每次都能正確控制機械人。

現時 GitHub 儲存庫尚未提供程式碼或執行指引，項目預告會在 10 月 15 日前發布程式碼。目前可先參考研究介紹及其模擬、真機測試結果，待程式碼和設定方法公開後，才適合自行重現或接駁機械人。

• 不需為特定操作訓練專用策略，改以通用 VLM 提出中階動作。
• 執行期間持續核對觀察結果，支援修正、恢復及重新規劃。
• 測試涵蓋 LIBERO-PRO 模擬環境與 xArm6 真實機械人。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, API, Robotic, 框架, 工具, 庫, Skill 技能

---

Fold2Reason 讓語言模型學懂蛋白質結構

2026 年 10 月 6 日 Share to X Facebook Copy link

Fold2Reason 把蛋白質結構監督加入語言模型訓練，嘗試兼顧一般推理與三維結構讀取。

要讓語言模型處理蛋白質問題，難點不只在文字理解，還包括如何保存三維空間關係。Fold2Reason 屬於模型訓練與研究型開源項目，透過 FoldingCorpus 監督資料、共享 spatial workspace 和凍結的 geometry decoder，處理語言模型推理與蛋白質結構讀取之間的銜接。

項目以 Qwen3.5 為主要訓練及評估流程，適合研究人員比較蛋白質結構後訓練對一般能力的影響。結構輸出不直接由語言模型單獨完成，而是交由 workspace 配合 decoder 讀取；一般推理則以適配後的語言模型評估，兩條結果路徑有清楚分工。

相較於只用 FoldingCorpus 訓練的 Pure-LoRA baseline，Fold2Reason 額外引入共享空間表示和凍結幾何解碼器，換來較完整的結構處理流程，同時增加資料、權重與硬件要求。項目提供確定性資料準備、LoRA/workspace checkpoint、已訓練 checkpoint 評估，以及重新訓練所需的管線。

• 需要 Python 3.12、CUDA 相容的 PyTorch，以及指定版本的 Transformers 和 PEFT
• dataset.zip 另行提供訓練資料、凍結 decoder 和三組 checkpoint
• 可評估已發布 checkpoint，亦可重新進行 Qwen3.5 訓練
• General-10 分數聚合器用於整理一般推理結果
• 各基準測試相對基礎模型的增益，但未在提供內容列出完整數值

適合研究團隊、蛋白質 AI 模型後訓練及多模態空間表示方向的開發者。它未必適合只想快速調用蛋白質預測功能的使用者。但作為比較 LoRA、空間 workspace 與凍結幾何 decoder 的可重現實驗基礎，項目提供了比單一模型權重更完整的驗證路徑。

GitHub

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Medical醫學, 3D, Python, Dataset 數據集, LoRA

---

DMAD：MiniMax-H3 影片生成壓縮至四步

2026 年 10 月 5 日 Share to X Facebook Copy link

DMAD 將 MiniMax-H3 的 50 步生成流程壓縮至 4 步，兼顧 1344×768 影片與原生立體聲音輸出。

由 50 步縮至 4 步，DMAD 讓 MiniMax-H3-33B 可以更快完成文字轉音訊影片生成，同時保留 1344×768 影片及原生立體聲音。這項目屬於模型蒸餾與推理工具，實際處理的是高質素生成與推理速度之間的取捨。

項目提供兩個 rank 128 的 LoRA，每個約 1.4GB，分別是論文使用的 lora critic，以及在 AVGen-Bench 取得較高分數的 full critic。它們都掛載於 H3 transformer，將 50 步 teacher 轉成四步 student；DMAD 以兩個 discriminator head 分辨真實資料、teacher 樣本與 student 樣本，直接學習 log-density ratio，省卻 DMD 所需的輔助 diffusion model。

DMAD

• 4 步生成 1344×768 影片及立體聲音
• 提供 lora critic 與 full critic 兩個版本
• 支援獨立推理程式及 Diffusers pipeline
• 方法以 adversarial distillation 取代額外 score fitting

MiniMax-H3 與 rCM 的人類偏好比較為 84.6%，但 AVGen-Bench 只明確指出 full critic 分數較高，未提供具體差距；選擇模型時仍應按畫面質素、聲畫同步及硬件成本自行測試。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, NVIDIA, Video, Image, Audio, 工具, MiniMax, LoRA

---

Cloudflare Clef 多模態決策模型：直接輸出分類、路由與審核概率

2026 年 10 月 2 日 Share to X Facebook Copy link

Clef 將文字、JSON、影像或影片轉成結構化概率，毋須生成答案再解析。

面對發票分類、服務故障分流或影像核查等工作，Clef 可以直接為每條問題的可選答案計算概率，省去生成自由文本及再解析輸出的步驟。這個 27B 多模態決策模型基於 Qwen/Qwen3.8-27B 微調而成，能同時處理文字、JSON、影像及影片，並以單次 forward pass 回傳結果。

模型保留 Qwen/Qwen3.8-27B 的語言及視覺 backbone，再接上 joint schema head。這個小型 Transformer head 會讀取 backbone 的最終 hidden states，把狀態中的證據路由到每條問題，然後聯合計算所有選項的 logits；每條問題獨立套用 softmax 後，便可取得各選項概率。輸出不是自然語言，而是 choice、score 或 noul（true/false）等結構化結果，適合交由工作流程或 API 直接使用。

• state 可接受字串或 JSON，問題支援 choice、有序的 score 及 noul。
• images 和 videos 可與文字資料混合，文字及多模態記錄亦可放在同一批次處理。
• encode_record 預設 max_length 為 16,384 tokens，亦可透過 max_state_tokens 限制狀態長度。
• 模型檔案包括分片 safetensors、joint_head.safetensors、處理器設定及 joint_schema_model.py。

官方測試環境是單張 H200，配合 torch 2.11、transformers 5.10.2 及 pillow。

Clef 的取捨在於輸出控制性高，但用途受制於預先定義的問題、選項及 criteria，並非通用聊天模型。它與原始 Qwen/Qwen3.8-27B 的差異，是加入 joint schema head、記錄編碼及 SystemOne 介面，將生成式模型改造成可批量回答固定決策問題的模型；較小、較快的 Clef-Flash 則另行提供，頁面沒有交代兩者的參數規模或精度差異。Apache-2.0 授權及 Jev／SystemOne 相容 API，令它較適合整合到分類、路由、合規檢查及多模態審核流程。

模型

Categories: 模型, 多模態模型, Qwen, Tokenize

---

ThinkV2V 讓影片編輯先思考再生成

2026 年 10 月 1 日 Share to X Facebook Copy link

ThinkV2V讓多模態模型先理解影片中的因果與隱含意圖，再交由DiT完成較複雜的指令式影片編輯。

面對「按場景關係修改影片」這類指令，單靠文字語意對齊往往不足。ThinkV2V屬於推理導向的影片編輯框架，讓Multimodal Large Language Model（MLLM）先分析來源影片與指令，再把推理結果轉成DiT影片生成器可用的條件訊號，處理物件關係、時間變化及隱含意圖。

MLLM並非只擔任靜態語意編碼器，Qwen3-VL-8B-Thinking負責理解和推理，connector則把相關特徵對齊至DiT條件空間；原始文字嵌入、MLLM隱藏狀態及來源影片的VAE特徵會一同交由ThinkV2V-5B執行編輯。訓練由穩定的基本編輯逐步過渡至高解像度及推理密集案例，推理階段亦會生成多個候選計劃，再由MLLM篩選較可靠的一個。

• 適合場景：需要根據時間脈絡、物件互動或因果關係修改影片的工作流程。
• 評估資源：提供ThinkV2V-150K訓練數據集及ThinkV2V-Bench，後者包含308個樣本和5類推理密集編輯，預設支援720p。
• 執行條件：Python 3.10、CUDA 12.x、PyTorch 2.6.0，並以torchrun或accelerate進行多GPU運算。
• 資料限制：OpenVE-HQ-1M與ThinkV2V-150K主要是metadata釋出，下載腳本不會一併取得OpenVE-3M影片資料。

項目需要同時準備ThinkV2V、Qwen3-VL-8B-Thinking、Wan2.2-TI2V-5B及Lucy-Edit-Dev等權重，並按儲存庫指定的data與weights結構放置，較適合有CUDA多GPU環境及影片生成經驗的研究團隊。它相較只把MLLM當編碼器的做法，換取更深入的指令理解，但推理、多候選篩選及多模型權重亦會增加顯存、時間和安裝成本；儲存庫提供模型、資料集與基準測試，卻未在提供內容中列出可直接引用的量化領先幅度，不能只憑架構宣稱全面勝過其他影片編輯器。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 字節跳動, AI productions, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Gemini, Video, 框架, 香港, Python, 庫, Dataset 數據集

---

EngiWorld 把工程代理接入真實軟件工作流

2026 年 10 月 1 日 Share to X Facebook Copy link

EngiWorld 不只測試代理人能否操作介面，更檢查它能否交付合乎工程規範的成果。

代理人要在 CAD、CAE、CAM、BIM、EDA 和 3D 視覺化軟件中完成工作，難點不只是點擊按鈕，而是要維持幾何、物理條件及跨軟件流程的正確性。EngiWorld 屬於工程代理人評測基準，實際處理的是「能否由指令一路產出可驗證工程成果」這個問題。

項目收錄 1,301 個專家編寫任務，涵蓋 26 個軟件平台、6 個工程領域及 6 類任務，支援 GUI 和 CLI。評測會檢查最終及中間工程文件的幾何有效性、物理可行性和規則符合度，數值設計任務亦會按規格達成程度連續計分，而非只分成功或失敗。

• 提供完整任務、驗證器及 GUI/CLI 評測執行環境
• 主實驗採用 300 個任務，清單位於 task/splits/main-300.txt
• 本地環境以 Linux、Docker 及虛擬機器執行，預設每個環境使用 4 個 CPU 和 16 GB RAM
• 七個前沿模型中，最高 EngiScore 只有 44.3；多軟件嘗試成功率為 3.6%

同類 Computer-use agents 評測多集中於一般桌面操作，EngiWorld 把判斷標準推到可交付的工程 artifact，因此更能揭示模型在長流程、跨軟件依賴及專業規範上的不足。代價是執行門檻較高：需要 x86_64 Linux、Python 3.10、Docker Engine 和環境映像，沒有 /dev/kvm 時亦可運行，但軟件模擬會較慢。

研究團隊、工程軟件開發商，以及想比較 GUI agent、CLI agent 或多模態模型能力的團隊，都可以用它重現測試並保存評測結果。它目前更適合作為嚴格的研究及模型比較工具，而非即插即用的生產自動化方案；最高分數與多軟件成功率反映，代理人距離穩定完成專業工程流程仍有明顯距離。

項目主頁 · GitHub

Categories: 開源, 北京大學, 清華大學, Agentic, 模型, 多模態模型, 軟件, 工具, 3D, Python, Dataset 數據集

---

AV-GRPO 把音訊影片聯合模型訓練門檻壓到 8 張 A800

2026 年 9 月 26 日 Share to X Facebook Copy link

這個項目把 GRPO 強化學習帶進多模態模型，並透過「模態錨定解耦」大幅降低跨模態訊號干擾，連 LoRA 微調都能在 8 張 A800 上完成 22B 模型訓練。

聯合音訊與影片生成一直有個麻煩：模型做出來的影像與聲音品質、文字對齊度、長度同步性常常此消彼長。AV-GRPO 直接把 GRPO 強化學習框架搬進 LTX-2.3 這類 22B 級的雙流模型，並用「模態錨定解耦」的方式，把音訊與影片兩路的學習訊號分開計算，避免強化學習的獎勵把兩個模態的功勞混在一起算不清。配套的 5DAV 數據集同樣沿五個維度拆解，方便精準控制訓練難度。

作者最在意的是算力門檻，這套框架支援全參數微調與 LoRA 微調兩種模式，只要 8 張 A800 就能跑得起來，並整合了模態錨定 rollout、凍結其中一路做軌跡鎖定優化、依模態特性調整擾動強度三個機制，把原本耦合的多模態偏好學習拆成條件式單模態子問題，使獎勵歸因與同步優化都更精準。

在 JavisBench 與 VABench 評測中，AV-GRPO 不論 LoRA 或全參數設定，於生成品質、語意對齊、跨模態同步三項都穩定超越 LTX-2.3 基準。對需要「一次到位」產出高同步影音的團隊、短片創作工具開發者、以及想在有限 GPU 資源下微調大型影音模型的實驗室，吸引力都很高。

重點摘要：

• 首個針對音訊影片聯合生成設計的 GRPO 框架，解決強化學習獎勵訊號在異質模態間糾纏的問題。
• 模態錨定解耦讓影片與音訊各自計算 rollout 與獎勵，顯著改善獎勵歸因。
• 22B 模型在 8 張 A800 上支援 LoRA 或全參數微調，大幅降低硬體門檻。
• 5DAV 數據集沿五個維度解耦，方便調節難度與做消融實驗。
• JavisBench 與 VABench 結果顯示生成品質、文字對齊與跨模態同步全面優於 LTX-2.3。

官方尚未提供一鍵安裝或開箱即用的 inference 腳本，整合進 LTX-2 推論流程時仍需自行處理權重合併與路徑替換；對於想直接做線上服務的團隊，整合成本仍是主要取捨。

GitHub · Paper

Categories: 開源, 香港理工大學, 上海人工智慧實驗室, AI productions, 模型, 多模態模型, 模型訓練, NVIDIA, Video, Audio, 框架, 香港, 工具, LTX, Dataset 數據集, LoRA

---

object-permanence：讓世界模型學識記住被遮擋嘅物件

2026 年 9 月 26 日 Share to X Facebook Copy link

透過 150 個 Blender 任務同 150 萬條訓練樣本，訓練一個 16B 世界模型喺物件被遮擋時仍能保持記憶，處理視頻生成中常見嘅「物件消失」問題。

當一件物件被屏幕或牆壁擋住再出現時，現時嘅世界模型往往會「忘記」佢原本嘅樣貌同位置。PWM-WROP 正正針對呢個限制：佢係一個基於 NVIDIA Cosmos3-Nano 微調嘅 16B 多模態世界模型（Multimodal World Model），專門訓練物件永續性（object permanence）——即係物件即使被遮擋都要喺內部表示中保留落去。

訓練數據嚟自一個 Blender 渲染嘅數據工廠，包含 150 個任務生成器，涵蓋六大認知家族，例如 turntable_behind_screen_task 等。每個樣本會輸出五件檔案：input_video、target_video、prompt、trajectory.npz 同 metadata.json，方便用嚟做 video-to-video 監督學習。整個訓練用原生 PyTorch（避免 XLA graph tracing）喺 AWS Trainium2 上跑，透過 tensor parallel × FSDP2 跨 64 個 NeuronCore。

對於從事物理推理、機器人模擬或影片生成嘅團隊呢個項目特別有用——佢直接提供可生成嘅訓練數據、預訓練權重（BF16，約 15B 參數）同 benchmark（WROP 300 題），減少由零建立物件永續性測試嘅成本。Hugging Face 上面已有模型。

重點摘要：

• 數據規模：150 個 Blender 任務生成器，每個 20 條樣本，合共約 150 萬條 video-to-video 訓練數據
• 模型規模：PWM-WROP 為 16B 參數（FP16 約 15B），基於 Cosmos3-Nano 微調
• 硬件要求：訓練需要 AWS Trainium2（trn2.48xlarge，64 NeuronCore），推論則視乎部署方式
• 授權限制：採用 CC BY-NC 4.0，僅限非商業使用，商用需另行聯絡作者
• 生態整合：配搭 WROP 300 題 benchmark，可以量化唔同影片模型嘅物件永續性表現

同一般只做外觀預測嘅世界模型相比，PWM-WROP 強調「被遮擋都要記得」，並透過軌跡數據（trajectory.npz）提供逐幀 ground truth 做監督，對於需要物件級別一致性嘅應用場景（例如機械臂操作預演、視頻預測品質提升）會有明顯幫助。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 視頻模型, 世界模型, NVIDIA, Video, Python, Dataset 數據集

---

Bonsai 2 27B：5.9GB 模型，筆電可本地處理視覺、PDF 與工具調用

2026 年 9 月 25 日 Share to X Facebook Copy link

Bonsai 2 27B 以近乎完整的推理能力縮至 5.9GB，兼顧視覺、工具調用與超長上下文。

想在筆記簿或單張 GPU 上處理 27B 級模型，Bonsai 2 27B 提供了一條更貼近本地工作的路線。這項目屬本地運行的低位元多模態語言模型示範工具，實際處理推理、圖片及 PDF 問答，以及需要工具往返的代理工作流。

Ternary Bonsai 2 27B 建基於 Qwen3.8 27B，使用 {-1, 0, +1} 三值權重和 FP16 group-wise scaling，模型大小約 5.9GB，達到 1.76 effective bits per weight。項目聲稱保留完整精度模型 98.2% 的整體基準表現，數學能力只相差約半分，編程表現亦接近基線；代價是必須使用 PrismML 的 llama.cpp binaries，stock llama.cpp 無法直接載入相關檔案。

• 262K-token context，配合 hybrid-attention backbone，較適合長文件處理
• 支援照片、截圖及 PDF 問答，llama.cpp 與 MLX 均可運行
• 原生 OpenAI-style tool_calls，並支援 MCP servers
• PTQ1_0 約 1.75 bits per weight；PQ2_0 以增加約 1.3GB 換取較快提示處理

由 setup 流程取得對應模型及自訂後端，再透過示範介面開啟聊天、視覺和工具功能。Mac 可用 Metal，Linux 或 Windows 可選 CUDA、Vulkan、ROCm，亦可用 CPU；介面可調節 reasoning effort，方便比較回應速度與推理深度。

適合需要離線處理文件、想在有限記憶體硬件運行較大模型，或要把本地模型接入 MCP 工具的開發者和小型團隊。項目提供的多個 Bonsai、Bonsai (1-bit) 及 Ternary-Bonsai 型號，讓硬件容量與能力之間有更多取捨。

項目主頁 · GitHub · 模型

Categories: 開源, MCP, 模型, 多模態模型, Qwen, NVIDIA, OpenAI, Image, 工具, Mac, Linux, LLaMa, 編程, Dataset 數據集

---