TokenRouter 讓多個模型逐 Token 協作

2026 年 10 月 10 日 Share to X Facebook Copy link

同一個回答可按 Token 在大小模型之間切換，TokenRouter 以專用服務引擎處理路由、交接與批次調度。

同一個回答需要小型模型快速生成，亦要大型模型處理指定 Token 時，服務系統要同時應付模型切換、不同步解碼和不規則請求。TokenRouter 屬於開源 serving system，專門處理 token-level LLM routing，讓多個模型在單次回應內協作。

開發者只需透過 route()、send() 和 receive() 描述路由邏輯，系統便負責請求交接、Tokenization、Detokenization、批次調度及模型執行。它採用獨立 subserver、非同步 model-centric execution 和 delayed batching，讓快模型繼續解碼，慢模型處理被路由的 Token；Python 3.10、YAML 配置、OpenAI-compatible chat completions 和 Python engine 則提供了較直接的測試入口。

• 支援同一回應內按 Token 或片段切換模型
• 內置 scheduler、model executor 及 CUDA graph 支援
• 可用單機或跨節點配置不同模型
• 涵蓋五種路由算法、三類工作負載及多組模型配對

測試結果顯示，TokenRouter 在不同算法、工作負載和模型配對下，解碼吞吐量較現有系統高 2.01–64.15 倍。這個差距會受硬件、批次規模、路由頻率及模型組合影響，不能直接視為所有場景的固定提升；項目提供的 Qwen3-0.6B 與 Qwen3-32B 配置，較適合用來理解小型與大型模型協作的流程。

需要研究 token-level routing、測試推理工作流，或營運多模型服務的團隊會較容易受益。TokenRouter 把路由策略與執行引擎分開，保留較大彈性，但亦意味着使用者仍要自行設計算法、準備模型節點和調校分散式通訊，並非即插即用的模型服務平台。

項目主頁 · GitHub

Categories: 開源, 模型, Qwen, NVIDIA, Python, Tokenize

---

UniWAM 把理解、預測與機械人動作合而為一

2026 年 10 月 9 日 Share to X Facebook Copy link

UniWAM 以 8B 參數模型整合語意理解、視覺預測和動作生成，瞄準機械人操作中理解與執行脫節的問題。

面對需要理解指令、預測環境變化再控制機械人的任務，UniWAM 將三個步驟放進同一個 8B-parameter 模型，屬於結合世界模型與 Vision-Language-Action（VLA）的開源研究項目。它以 Mixture-of-Transformers（MoT）連接 physical reasoner、world generator 和 action predictor，讓三者透過 joint multimodal attention 交換資訊。

模型不只依賴機械人示範，預訓練亦混合 human egocentric data、robot data 及 visual question answering（VQA）資料，並把低層動作轉成自然語言，改善視覺語言能力與實體操作之間的銜接。Post-training 再加入 future visual noise augmentation，配合 history-conditioned flow matching，以較少 denoising steps 生成動作。

• 整合範圍： 同時處理 physical reasoning、視覺生成與動作預測
• 訓練訊號： 結合機械人、第一身人類視角及 VQA 資料
• 效率設計： 用動作歷史初始化生成流程，減少 denoising steps
• 硬件成本： RoboTwin 2.0 post-training 曾以 8 張 NVIDIA H100 GPU 執行 10 小時

GitHub 儲存庫提供 models/、train/ 和 utils/ 等模型與訓練程式，並附有 RoboTwin 2.0、LIBERO 及 LIBERO-plus 的資料處理和評估工具。Python 3.10、CUDA 兼容的 PyTorch 環境較適合測試，使用者可先以模擬器資料和配置檔驗證訓練或推理流程。

項目首頁宣稱 UniWAM 在 in-distribution、robustness、generalization 及 instruction following 等多項評估取得 SOTA，但儲存庫提供的資訊未列出完整分數和比較表。Bridge、DROID、Fractal 以及 real-world inference 明確不在今次發布範圍內，因此它較適合研究團隊測試統一式機械人模型，而不是即時接駁真實機械人的現成方案。

項目主頁 · GitHub · 項目

Categories: 開源, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, VLA, Robotic, 香港, 工具, Python, 庫, Dataset 數據集

---

WorldSonus 為影片補上可互動立體聲音

2026 年 10 月 9 日 Share to X Facebook Copy link

WorldSonus 將影片動態、文字指令和立體聲音同步起來，讓世界模型生成的畫面不再只有無聲場景。

影片中的腳步、流水和列車聲可以隨畫面變化，甚至在生成途中接受新的文字指令。WorldSonus 是一個影片轉音訊模型，處理世界模型和互動影片缺少同步聲音的問題，並以每 100 毫秒一段的方式生成 48 kHz 立體聲。

它採用 streaming causal autoregressive diffusion 架構，讓影片畫面經過兩種時間尺度的視覺 token 後，交由 AR transformer 和 rectified-flow head 生成音訊。生成模型、audio decoder、normalization statistics，以及凍結的 DINOv3 和 T5Gemma 2 視覺／文字編碼器分工合作；文字提示可在 chunk 邊界更新，同時保留聲音連續性。

• 支援離線生成和 streaming generation，兩者使用同一條三幀生成路徑
• Visual temporal differences、Ring-KV 歷史狀態和 causal decoder convolution states 會跨 chunk 保留
• 可用影片加提示詞控制聲音，也可只用影片作條件
• 輸出為 stereo 48 kHz 音訊，片段長度會按 100 毫秒 chunk 向下取整

研究結果給出的 real-time factor (RTF) 是 0.41，並在開放領域 video-to-audio benchmark 中達到或超越部分雙向模型的聲學質素和空間對齊表現。不過參考實作沒有承諾固定延遲，模型和編碼器亦要在串流開始前載入，不能直接把 RTF 當成使用者必然取得的端到端延遲。

測試需要 Python 3.10 或以上、支援 CUDA 的 GPU、FFmpeg 和 ffprobe，GPU 驅動程式要預先安裝；設定程序會安裝 CUDA 12.4 的 PyTorch wheels。模型權重和編碼器可從 Hugging Face 下載，適合研究世界模型、影片生成、互動模擬或需要空間聲音的內容製作團隊，但硬件要求和上游模型的授權／存取條件仍需先核對。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, AI productions, 模型, 世界模型, NVIDIA, Gemini, Video, Audio, 提示詞, 香港, Python, Dataset 數據集

---

GRACE 以少八倍 Token 加速影片生成

2026 年 10 月 9 日 Share to X Facebook Copy link

GRACE 壓縮預訓練影片自編碼器，讓原有 DiT 用更少 latent tokens 生成影片，同時維持接近原模型的質素。

影片生成最難取捨的地方，是壓低 latent tokens 後往往連細節和生成質素一併犧牲。GRACE 以開源模型項目的形式處理這個問題：壓縮預訓練 video autoencoder，讓原本已訓練好的 DiT 在不重新訓練的情況下，從更短的 latent 表示生成影片。

它同時壓縮空間和時間軸，比例分別為 16× 和 8×。模型保留一個 frozen base latent，維持 DiT 熟悉的表示空間，再用 learned residual latent 補回高壓縮率造成的細節；訓練時更在 frozen DiT 的 feature space 對齊壓縮結果，避免只追求 reconstruction quality，卻令生成質素下降。

推理階段採用 asymmetric denoising，base 會比 residual 提前固定 δ=0.15 去噪，讓 residual 在內容穩定後補充細節。這套做法適合研究影片生成、影片模型加速，以及需要沿用既有 DiT 權重而不想從頭訓練的團隊。

• latent tokens 減少 8×，VBench 分數接近未壓縮模型
• 480×832×81 輸入的延遲降低 11.1×
• 736×1280×81 輸入的延遲降低 15.5×
• 需要按儲存庫提供的環境重現，樣本內容可一致，但不同環境不保證 byte-level 完全相同

安裝及測試時，應先依照項目提供的權重和依賴設定重現結果；提醒部分代理會阻擋指定 PyTorch wheel 來源，檢查 reproduction 時不應額外安裝 FlashAttention，因為 SDPA 已經使用 flash kernel。GRACE 的價值在於以較低推理成本延續既有 DiT 能力，但是否適合生產環境，仍要按硬件、影片尺寸和模型管線重新量度延遲與畫質。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Video, Python, 庫

---

xllm-loop：循環語言模型

2026 年 10 月 7 日 Share to X Facebook Copy link

xLLM-Loop 把同一組 Transformer 層重複運算，探索以較少參數和 KV cache 維持語言模型能力。以更少參數換取更大推理深度。

想用較少模型參數和 KV cache，換取更深的計算能力，xLLM-Loop 提供了一條可直接研究的路線。它屬於開源語言模型訓練框架擴充，處理的是循環語言模型如何重用層、控制深度，以及評估固定點帶來的效率取捨。

LoopedTransformer 會重複執行指定層段，Huginn 則把模型分成 prelude、recurrent block 和 coda，並支援單一或階層式 recurrent state。Part II 進一步研究 fixed-point shortcuts、learned depth prior 和 orthogonal injection，目標是在增加 FLOPs 時維持近乎固定的記憶體需求；相關說法包括較標準 Transformer 少約三倍參數和 KV cache，但不能視為所有任務都能達成的保證。

項目已接入 xLLM，提供兩篇研究工作的 training、evaluation 和 checkpoint 程式碼，並有 49 個 Hugging Face checkpoints。Part I 涵蓋 Dense 和 MoE 共 17 種 recipes、25 個 checkpoints；Part II 涵蓋 depth priors、input-injection variants 和 distilled prefill，共 24 個 checkpoints。

• 適合研究循環架構、固定點推理和參數效率的模型團隊
• 可比較固定、抽樣及 learned depth 的訓練方式
• 支援 LoopedTransformer、Huginn 和 DepthControlledHuginn
• 需要 PyTorch 2.11、CUDA 12.8、Python 3.12，實驗曾使用 NVIDIA H200

安裝方式沿用 xLLM，但硬件和軟件版本要求偏新，訓練成本亦不低，論文實驗是在 NVIDIA H200 上完成。對想在本地直接使用成熟聊天模型的人，它不是即裝即用的產品；對需要重現研究、載入 checkpoints 或改造訓練流程的團隊，程式碼、評估及 checkpoint 配套就更有價值。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, NVIDIA, 框架, Python

---

Kandinsky 6.0 把同步聲畫生成帶入開源模型

2026 年 10 月 7 日 Share to X Facebook Copy link

Kandinsky 6.0 可由文字或圖片生成帶同步音效、口形的短片，並提供 3B 與 29B 兩款模型。

由文字或圖片輸入，到畫面、音效和口形同步輸出的流程，Kandinsky 6.0 將短片生成由單純影像延伸至完整 audio-video 內容。這個項目屬於開源多模態視頻模型，實際處理的是聲音與畫面難以同步、創作者需要分開製作素材的問題。

Kandinsky 6.0 Video Lite 有 3B 參數，Kandinsky 6.0 Video Pro 則有 29B 參數，兩者都能生成 5 秒片段、44 kHz 音訊及 lip-sync，支援 text-to-audio-video（T2AV）和 image-to-audio-video（TI2AV）。額外的 super-resolution 模型可把輸出提升至 Full-HD 1920×1080，但這並不代表原生生成階段已經以 Full-HD 運作。

• 同一生成流程處理視頻、音效和口形同步
• Lite 較適合資源有限的測試，Pro 追求更高生成能力
• 支援文字生成及圖片延伸兩種模式
• 可透過 Hugging Face Space、Diffusers、ComfyUI 或 vLLM-omni 接入

測試需要 NVIDIA GPU，以及 Python 3.13 或 3.14；首次執行會下載 Kandinsky-6.0-Pro-distill-5s 權重，輸出會寫入項目指定的 MP4 路徑。對不想自行配置環境的創作者，Hugging Face Space 是較直接的試用入口；需要納入工作流的團隊則可考慮 Diffusers 或 ComfyUI。

在非精簡版顯示卡上處理 5 秒影片片段的工作時間（秒）。不包括負載載入和 MP4 編碼時間。 RTX PRO 6000 (96 GB)、A100 80 GB 和 H100 80 GB 使用模組卸載。消費級顯示卡使用區塊卸載。 RTX 4090、RTX 5060 Ti、RTX 5080、RTX 5090、RTX PRO 6000 和 A100 80 GB 使用 SageAttention2++ 進行視覺自註意力控制。 H100 使用 FlashAttention 3。

	RTX 4090	RTX 5060 Ti	RTX 5080	RTX 5090	RTX PRO 6000	A100 80 GB	H100
Lite SD	437	1310	577	309	242	532	239
Lite HD	422	1328	579	296	274	472	203
Lite Full HD	578	1774	770	406	387	664	284
Pro SD	936	3080	1336	754	621	972	356
Pro HD	1194	2716	1189	638	561	791	292
Pro Full HD	1247	3530	1546	854	765	1106	402

Kandinsky 6.0 適合製作概念片、角色對白及需要同步聲畫的短內容，但 5 秒時長、NVIDIA GPU 依賴，以及高解像度要靠額外模型處理，仍限制了它作為長片生產工具的角色。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, 多模態模型, 視頻模型, NVIDIA, Video, Image, 影像處理, Audio, 工具, Content Creator, Python, Dataset 數據集

---

ProAR 讓影片模型先想目標再生成

2026 年 10 月 6 日 Share to X Facebook Copy link

ProAR 把自回歸影片生成變成視覺推理流程，兼顧最終目標與中間步驟的合理性。

當影片模型只按過去畫面逐步預測，畫面即使局部合理，也未必能完成指定任務。ProAR 屬於自回歸影片模型項目，透過 prospective reasoning 預測未來視覺狀態，處理長程目標與中間轉換容易失控的問題。

ProAR 以 Wan2.2-TI2V-5B 作為共享 backbone，加入兩條互補機制：outcome guidance 會一同預測未來 goal frame，讓目前 chunk 參考目標信念；transition guidance 則在訓練期間利用 predictor，令目前 hidden states 對齊乾淨的 next-chunk representation。前者偏向長距離規劃，後者補足短距離的狀態銜接。

• Outcome guidance 幫助生成結果符合任務目標
• Transition guidance 鼓勵中間步驟遵守時間及物理邏輯
• 推理時不需要真實未來畫面，訓練用 predictor 會移除
• 項目提供模型 checkpoint、ProAR-test 數據集及 VBVR-10Tasks 實驗配置

要測試項目，需要 Python 3.10、PyTorch 2.8.0，並把 Wan2.2-TI2V-5B 權重、VAE、T5 編碼器及 tokenizer 放到指定本地路徑；flash-attn 屬於可選的加速元件。這套流程較適合研究視覺推理、物理推演及 embodied intelligence 的團隊，未必是即裝即用的影片創作工具。

提供的資料確認了 AR 與 ProAR checkpoint，以及 VBVR-10Tasks 和測試數據集，但未列出足夠的數值結果，難以單憑儲存庫內容判斷提升幅度。推理時間會增加，換來模型在生成前預測目標及未來轉換；取捨是否合理，要視乎任務是否重視步驟有效性多於生成速度。

項目主頁 · GitHub · 模型

Categories: 開源, 香港理工大學, AI productions, 模型, 模型訓練, 微軟, Video, 香港, 工具, Python, 庫, Dataset 數據集, Tokenize

---

HelixWorld 即時生成互動視聽世界

2026 年 10 月 6 日 Share to X Facebook Copy link

輸入一張圖片和提示詞，再用方向指令探索場景，HelixWorld 會同步更新畫面與空間聲音。預覽版已提供瀏覽器示範及離線推理程式碼，但硬件門檻不低。

轉身時，聲音方向也會跟着視角改變，這是 HelixWorld 與一般先生成畫面、再配上音軌的做法不同之處。它是 Noiz AI 開發的即時互動視聽世界模型，讓使用者從一張圖片和提示詞出發，以方向指令在生成場景中移動，並同步產生影像與聲音。

瀏覽器示範適合先感受互動效果；想離線測試，則可使用已公開的 Preview v1 推理程式碼和預覽模型。它目前支援 Linux、Python 3.11 和 CUDA 12.x，建議使用配備 80 GB VRAM 的 NVIDIA GPU；BF16 單卡測試約需 70 GB VRAM，對個人電腦使用者而言是明顯門檻。

操作時可輸入前進、轉向或停止等動作，並設定第一人稱視角及生成影格數；提示詞亦可分別描述影片、音訊或視聽內容。輸出會整理成 MP4，適合研究人員、互動內容創作者及想探索空間音效生成的團隊測試，但目前公開資訊未提供性能評測數據，亦未公開完整模型與訓練資料。

• 畫面和聲音會隨鏡頭移動同步更新，空間聲場跟隨視點改變。
• 可先用瀏覽器示範體驗，也可在符合硬件條件的 Linux 系統離線推理。
• 預覽版已開放，完整模型、訓練資訊及報告仍待公開。

HelixWorld 展示了視聽生成從固定片段走向可操控場景的一種做法；不過，現階段的高顯示記憶體需求和有限評測資訊，令它較適合研究與原型測試。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, Video, Image, Audio, 提示詞, Content Creator, Linux, Python

---

Fold2Reason 讓語言模型學懂蛋白質結構

2026 年 10 月 6 日 Share to X Facebook Copy link

Fold2Reason 把蛋白質結構監督加入語言模型訓練，嘗試兼顧一般推理與三維結構讀取。

要讓語言模型處理蛋白質問題，難點不只在文字理解，還包括如何保存三維空間關係。Fold2Reason 屬於模型訓練與研究型開源項目，透過 FoldingCorpus 監督資料、共享 spatial workspace 和凍結的 geometry decoder，處理語言模型推理與蛋白質結構讀取之間的銜接。

項目以 Qwen3.5 為主要訓練及評估流程，適合研究人員比較蛋白質結構後訓練對一般能力的影響。結構輸出不直接由語言模型單獨完成，而是交由 workspace 配合 decoder 讀取；一般推理則以適配後的語言模型評估，兩條結果路徑有清楚分工。

相較於只用 FoldingCorpus 訓練的 Pure-LoRA baseline，Fold2Reason 額外引入共享空間表示和凍結幾何解碼器，換來較完整的結構處理流程，同時增加資料、權重與硬件要求。項目提供確定性資料準備、LoRA/workspace checkpoint、已訓練 checkpoint 評估，以及重新訓練所需的管線。

• 需要 Python 3.12、CUDA 相容的 PyTorch，以及指定版本的 Transformers 和 PEFT
• dataset.zip 另行提供訓練資料、凍結 decoder 和三組 checkpoint
• 可評估已發布 checkpoint，亦可重新進行 Qwen3.5 訓練
• General-10 分數聚合器用於整理一般推理結果
• 各基準測試相對基礎模型的增益，但未在提供內容列出完整數值

適合研究團隊、蛋白質 AI 模型後訓練及多模態空間表示方向的開發者。它未必適合只想快速調用蛋白質預測功能的使用者。但作為比較 LoRA、空間 workspace 與凍結幾何 decoder 的可重現實驗基礎，項目提供了比單一模型權重更完整的驗證路徑。

GitHub

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Medical醫學, 3D, Python, Dataset 數據集, LoRA

---

ScientificSlop：AI 論文不只要讀得順，也要檢查證據是否接得上

2026 年 10 月 6 日 Share to X Facebook Copy link

SciSlop 把焦點放在 AI 論文的論證、結構與研究材料，並以 390 組人類與 AI 論文測試能否辨認科學內容中的空洞之處。

一篇論文即使句句通順，論點、方法和證據仍可能接不上。SciSlop 是一套衡量 AI 生成論文科學內容品質的評估工具，從結構、論證和研究材料三個面向檢查六種問題，而不是只判斷文字像不像 AI 所寫。

配套的 SciSlopBench 收錄 390 組 AI 生成論文與人類撰寫論文，讓研究者比較不同評分方法分辨兩者的能力。已釋出的分數中，SciSlop 的配對準確率為 0.859；作為基準的 Binoculars 為 0.687。這是特定測試集上的結果，不能直接解讀成工具能判定任何論文真偽。

另一部分 SciSlopHarness 會引導固定的大型語言模型修改論文，但只在實驗紀錄能支持修改時才動筆。這個限制有助避免模型為了讓文字看起來更好而擅自改變研究主張；不過，現有說明沒有提供足以判斷修改品質的完整數字。

儲存庫同時提供基準資料、評估程式、比較用的偵測器與自動審稿系統，以及分析 2017 至 2026 年 ICLR 審稿分數和決策的程式。資料以三個 Parquet 表格釋出；安裝 Python 依賴後，可先讀取分數表重算配對準確率與 AUROC，再按文件流程重跑部分確定性指標。GPU 套件屬可選項，模型相關指標則可能需要外部模型呼叫。

• 六項指標涵蓋結構、論證與研究材料。
• SciSlopBench 包含 390 組配對論文。
• 公開分數中的配對準確率為 0.859，高於 Binoculars 的 0.687。
• SciSlopHarness 只在實驗紀錄支持時才修改內容。

對研究團隊而言，這套工具適合用來檢查 AI 輔助寫作是否削弱論證連貫性，也能作為研究論文評估方法的測試材料。項目應視為研究用途，不能取代專家對方法、證據及引用的審閱。

項目主頁 · GitHub

Categories: 開源, Embedding, 模型, 工具, Python, 庫, Dataset 數據集

---