InterleaveThinker 是一個多代理生成流程工具，目標是替現有圖像生成器加入 interleaved generation 能力，即按步輸出文字與圖片交錯的內容。它想處理的，不是單張圖夠不夠精美，而是多個步驟之間是否連貫、是否跟指令一致。

這個項目的核心做法，是把工作拆成 planner agent 與 critic agent。前者先安排圖文序列和每一步任務，後者再檢查生成結果、有偏差就修正指令再生成，做法比單次提示更像一個會反覆校對的流程。

如果你想試它，方向很明確：先接上它已支援的生成器，再用多步任務測試，例如故事場景連續變化、視覺教學、摺衫步驟、角色互動或 embodied manipulation。儲存庫已列出多個可配合的模型端口，包括 Qwen-Image、Qwen-Image Lightning、FLUX.1-Krea-dev、Qwen-Image-Edit Lightning、FLUX.1-Kontext-dev Edit 與 FLUX.1-Fill-dev Fill。

公開資料顯示，它在 interleaved generation benchmark 的表現可與 Nano Banana 及 GPT-5 接近；在推理導向基準也有明顯提升，例如 WISE 由 0.47 升至 0.73，RISE 由 13.3 升至 28.9（4-step FLUX.2-klein）。這些數字反映它的價值主要在「多步一致性與修正能力」，不是單靠底層模型硬撐。

• 重點不在訓練全新生成器，而是增強現有 image generator
• 以 planner agent + critic agent 處理多步圖文任務
• 適合 visual narratives、guidance、embodied manipulation、long-horizon sub-task annotation
• 已公開相關模型：InterleaveThinker-Planner-8B、Critic-SFT-8B、InterleaveThinker-Critic-8B
• 另有訓練資料集：Interleave-Planner-SFT-80k、Interleave-Critic-SFT-112k、Interleave-Critic-RL-13k

對研究圖文代理、工作流編排，或者想把現有出圖模型拉進多步任務的人，這個項目很有參考價值。若你只想單次生成一張圖，它未必是最直接的選擇；但若你要的是連續幾步都講得通、畫面不走樣，InterleaveThinker 的定位相當清楚。

GitHub： https://github.com/zhengdian1/InterleaveThinker

項目：https://zhengdian1.github.io/InterleaveThinker-proj/

Lip Forcing 是一個針對 video-to-video（V2V）lip synchronization 的研究項目，重點是把 diffusion 模型原本昂貴的推理流程，大幅壓縮到適合即時串流使用。它希望在保留人物身份、頭部姿勢與背景一致性的同時，令口型更準確貼合目標音訊。

現有 diffusion-based 唇形同步方法畫質和聲畫對齊表現不錯，但通常要看完整段影片、再經過很多次 denoising steps，速度和延遲都難以配合直播翻譯、virtual avatars、interactive agents 這類場景。Lip Forcing 改用 autoregressive diffusion，把影片分段逐塊生成，並把 50-step teacher 壓縮成 two-step streaming student，減少計算負擔。

對 lip-sync 任務，本身不是單純套用通用加速技巧。作者指出 CFG 會在 reference fidelity 與 synchronization 之間出現取捨，並據此設計出 Sync-Window DMD、two-step inference schedule，以及以 SyncNet 為基礎的 reward，目標是在少步數下仍維持可用的唇形同步效果。

兩個 student 模型都由 14B teacher 蒸餾而來。1.3B student 可達 31 FPS，速度比同規模 bidirectional model 快 17.6 倍；14B student 則比 teacher 快 39.8 倍，並維持相近的 reference fidelity。兩個版本的 time-to-first-frame 都低於 1 毫秒，顯示它特別適合低延遲串流情境。

• 支援即時串流，最高可達 31 FPS
• 每個 chunk 只需 two denoising steps，毋須 inference-time CFG
• 採用 autoregressive diffusion，降低全序列注意力帶來的成本
• 針對 lip synchronization 設計蒸餾方法，不是一般加速改裝
• 適合 live translation、virtual avatars、interactive agents 等場景

如果你關注的是即時嘴型同步、低延遲影片生成，或想了解 few-step autoregressive diffusion 如何落地到影音任務，這個項目相當有參考價值。文中可確認引用與比較的技術脈絡包括 Computer-use agents、CUAs、LoRA、OSWorld 以外的影音生成方向；就本頁內容可明確列出的模型，主要是 14B audio-conditioned bidirectional video diffusion teacher、1.3B student、14B student，以及 SyncNet。

Paper： https://arxiv.org/pdf/2606.11180

Gemma 4 12B 這波某程度上算是在回應那個「手機級模型和大模型之間，會補一個中階模型」的傳聞。不過真正讓人眼睛一亮的，還是 QAT (Quantization Aware Training，量化感知訓練）真的做上來了。再加上現在也支援 MTP，Gemma 4 這代在本地模型的能力和效能上，整體都往前推了不少。總算看到除了 Qwen 之外，其他實驗室開始打出像樣的競爭了；最近的 local AI，真的很像一直都是 Qwen 在 carry。

機械人學習操作技能時，往往要把「預測未來畫面」和「即時輸出動作」綁在同一個節奏上，導致規劃與控制互相拉扯。上海交通大學、百度智能雲及上海人工智能實驗室等團隊提出的 AHA-WAM（Asynchronous Horizon-Adaptive World-Action Modeling）項目，就是要把兩者拆開來處理。

核心架構：雙分支異步運作

AHA-WAM 採用兩個 Diffusion Transformer（DiT）分支：低頻的 video DiT 負責長程的視覺世界規劃，並利用滾動式 K/V 記憶體儲存可重用的上下文；高頻的 action DiT 則接收本體感覺訊號，向 video DiT 查詢所需上下文後，即時產生短時閉環動作區塊。兩者各司其職，避免互相拖累。

兩項關鍵訓練與推論機制

• Horizon-Adaptive Offset Training（水平自適應偏移訓練）：讓執行器在規劃器與執行器出現相位差時仍能穩定運作。
• Observation-Guided Video-Context Routing（觀察引導的視覺上下文路由）：根據最新觀察調整快取的規劃上下文，無需重新運行 video DiT 即可對齊當下狀態。

實測表現亮眼

在 RoboTwin 2.0 模擬環境的 50 項雙臂任務中，AHA-WAM 達到 92.80% 平均成功率，且無需任何機械人數據預訓練；在四項原始設定的真實雙手任務中則取得 78.33% 成功率。控制頻率方面，閉環頻率達 24.17Hz；經 ODE 蒸餾的輕量版 AHA-WAM-Flash 更可達 56.95Hz，相比 Fast-WAM 提升約 10.82 倍。

AHA-WAM 適合研究世界模型、機械人操控策略，以及追求高頻閉環控制的開發團隊；其異步架構亦為離線規劃與即時控制分離的設計思路提供新參考。

項目： https://serene-sivy.github.io/aha-wam/

把低清、模糊的影片即時變成清楚版本，一直是擴散式（diffusion-based）影片修復（VR, Video Restoration）模型的痛點：畫質漂亮，卻慢得跑不動。SwiftVR 是一個以單步生成（one-step generative）路線設計的串流修復框架，主打把高解析度延遲壓到可即時播放的範圍，同時保持擴散模型的視覺品質。

為何能跑得這麼快？ 項目作者從兩個瓶頸下手。第一是空間注意力在高解析度下的二次方成本：SwiftVR 引入 MFSWA（Mask-free shifted-window self-attention），把每個空間窗口預先重排成稠密張量，讓每次注意力呼叫都走標準的 SDPA（Scaled Dot-Product Attention）路徑，省掉遮罩、循環位移、稀疏 kernel，吞吐量比全注意力教師模型提升約 1.62×。第二個瓶頸是傳統 3D VAE 解碼太笨重：他們改用一個輕量級的 ReAE（Restoration-aware Autoencoder），與 DiT（Diffusion Transformer）聯合在像素空間微調，讓分塊解碼不再卡住流水線。

數字上多誇張？ 同一個權重檔，在單張 H100 上，QHD（2560×1440）24 幀約 31 FPS、4K（3840×2160）約 14 FPS，而所有比較的擴散式 VR baseline 在 4K 都 OOM（Out-of-Memory，記憶體溢位）。換到消費級的單張 RTX 5090，1080p 可達約 26 FPS，達到即時串流門檻，且全程不需重寫 kernel 或重新訓練。所有推理走預設 PyTorch SDPA 與 bfloat16。

誰適合關注？ 需要為直播、視訊會議、老片修復平台做即時前處理的研究員與工程師；對 DiT、串流推理、邊緣部署有興趣的開發者；以及想找一個 open-source 起點、把生成式 VR 推上消費硬體的團隊。

與同類相比的相對位置： 對照組 DOVE、SeedVR2-3B、FlashVSR-Tiny 在 QHD 下分別約 0.85、1.39、9.61 FPS，SwiftVR 約 31.32 FPS，速度差距明顯。論文亦宣稱在無參考感知品質指標上具競爭力，但具體分數請以原論文表格為準。

重點摘要：

• 單步生成路線：放棄多步擴散，以一步生成換取低延遲。
• MFSWA 注意力：把窗口預聚集成稠密張量，繞過稀疏 kernel。
• ReAE 解碼器：取代 3D VAE，解放分塊解碼的瓶頸。
• 因果分塊串流：無滾動 KV、快取即可限制時間軸成本。
• 消費級硬體可達即時：RTX 5090 1080p 約 26 FPS，H100 一路到 4K。

GitHub： https://github.com/H-oliday/SwiftVR

項目： https://h-oliday.github.io/SwiftVR/