CASE 讓 8B 模型主動尋找長期病歷證據

2026 年 10 月 13 日 Share to X Facebook Copy link

CASE 訓練視覺語言模型自行翻查跨時段 MRI 與臨床資料，將醫療問答由讀答案推進至主動取證。

面對需要比較多次就診、器官變化與 MRI 切片的臨床問題，CASE 讓模型先決定應該查哪次訪視、哪個器官及哪種工具，再整理證據作答。這個項目屬於醫療多模態模型與 Agentic learning 實作，處理的是長期臨床推理中「證據未預先整理」的難題。

核心模型採用 Qwen3-VL-8B-Instruct，透過兩階段訓練建立工具使用能力：先以 RSFT 學習經篩選的教師軌跡，再以 Agentic RL 和 GRPO 讓模型根據自身操作結果修正策略。RLAIF rubric judge 負責評分，OPSD 則利用 privileged self-distillation，改善由證據走向結論的推理，而不硬性規定工具次序。

同一個 checkpoint 會按三種臨床角色工作：Anatomist 處理器官分割和體積變化，Radiologist 比較跨訪視 MRI，Consultant 則綜合影像、體積、MedGemma 報告和 skill memory。工具預算由 4 至 12 次不等，反映不同任務在查證深度與成本之間的取捨。

• 以 UK Biobank 4,739 名參與者建立 50,401 條縱向臨床問題
• 訓練資料包含 147,434 條 frontier-model 互動軌跡
• 在匹配條件下，Qwen3-VL-8B agent 的答案準確率較 GPT-5.4 高逾 16%，較 Claude Opus 4.8 高逾 10%
• 適合研究醫療 agent、MRI 分析及跨訪視證據整合的團隊

項目提供 Docker 環境，但執行預設需要 8 張 GPU、運行時可用的 gcc、另行下載 Qwen3-VL-8B-Instruct 權重，以及供 RL rubric judge 使用的 OpenAI-compatible API key。資料須透過 UK Biobank Showcase 或已獲批的 UKB-RAP 申請取得；適合作為研究型項目測試，未宜直接視為可即時投入臨床的產品。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 多模態模型, 模型訓練, Qwen, API, Image, 工具, Medical醫學, Dataset 數據集, Skill 技能, 強化學習

---

InstantFusion 讓不同影像模型接力生成

2026 年 10 月 13 日 Share to X Facebook Copy link

InstantFusion 把不同 diffusion models 接到共同 latent space，令模型可以中途交接、加速生成，亦能混合不同偏好。

當一張圖的生成工作需要在 Qwen-Image、FLUX.1 或 SD3 之間切換，InstantFusion 讓去噪軌跡可以在中途交接。這個開源研究項目屬於影像模型工具，處理的是不同 diffusion models latent space 不相容，難以直接接續生成的問題。

核心是 Latent Alignment Encoder（LAE）：模型專屬的 encoder 和 decoder 先把各自 latent 映射到 shared latent space，再以重建、cross-reconstruction、latent alignment 及 denoising-velocity alignment loss 保留圖像資訊和去噪動態。模型本身維持 frozen，LAE 負責建立彼此之間的轉換接口。

完成對齊後，生成軌跡可以交由另一個模型繼續處理，帶來三種用途：
– 不同步數預算的模型接力，嘗試縮短生成時間
– 結合針對不同偏好優化的模型
– 在 shared latent space 進行 cross-model OPD，以模型 A 的 velocity field v 蒸餾模型 B

LAE 重建測試涵蓋 Qwen-Image、FLUX.1 和 SD3，並以 100 張圖片計算 mean SSIM；介面驗證亦顯示，單次 latent round trip 能保留較高 fidelity，但反覆轉換會累積 reconstruction error。這意味着模型接力有實用價值，但不適合無限制地來回切換。

儲存庫包括 LAE training、OPD training 和 LAE-based model handoff inference，適合研究 heterogeneous image generators、模型融合或生成加速的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 上海人工智慧實驗室, 模型, 模型訓練, Qwen, Stable Diffusion, Image, 影像模型, 香港, 工具, 庫

---

SepGen 讓影片生成同時輸出獨立聲軌

2026 年 10 月 13 日 Share to X Facebook Copy link

SepGen 把影片生成與聲音分離放進同一模型，讓每種聲音獨立輸出，方便重混及空間音效製作。

影片生成不再只產生一條混合音軌：SepGen 是一個多模態生成模型，處理影片畫面、完整配樂，以及按描述分開的聲音 stem。你可以描述場景和各種聲音生成新片，也可以交給它現有影片，抽取指定聲音。

SepGen 建基於 LTX-2.5，在同一次運算加入兩條由文字控制的音訊軌；原有完整 soundtrack 保持不變，每條 stem 只根據自己的描述生成。相同模型同時支援 generation 和 separation，分離後的聲音亦可配合場景位置，延伸至 4D video 和 spatial audio 工作流程。

• 生成影片、完整 soundtrack 及獨立聲軌
• 以文字指定要抽取的聲音
• 同一組 weights 支援兩種任務
• 可配合移動視角重新呈現聲音位置

項目適合影片後期、遊戲場景、互動媒體及需要重新混音的研究團隊。README 提供 Linux、ffmpeg 及單張 48 GB NVIDIA GPU 的執行條件；模型 weights 約 72 GB，每段影片在 RTX A6000 上需數分鐘，長片則要啟用 VAE tiling，且 num-frames 必須符合 8k+1。

SepGen 的取捨在於硬件及模型容量要求不低，README 亦未提供低記憶體替代方案。gen-3k checkpoint 可用於 generation，分離能力約相近；項目同時提供模型與 SepGen-Dataset，但目前資料未交代更廣泛硬件的性能比較，較適合作為研究原型或具備 NVIDIA 工作站的製作項目。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, NVIDIA, Video, Audio, Linux, LTX, Dataset 數據集

---

Representation Guidance（RG）：以低維引導 Pixel Diffusion Transformer 生成影像

2026 年 10 月 13 日 Share to X Facebook Copy link

Representation Guidance 把生成所需資訊壓縮到低維表示，再直接引導像素生成，為大型 pixel diffusion Transformer 提供更有效率的改良方向。

由像素直接生成高質素影像，往往要在語義理解、空間細節與模型計算量之間取捨。Representation Guidance (RG) 屬於影像生成模型方法，針對 pixel diffusion transformers 加入可被生成流程主動利用的內部表示，同時保留 plain Transformer 架構，處理表示學習與像素合成未能有效銜接的問題。

RG 先用 low-dimensional bottleneck 將與生成相關的資訊集中到緊湊表示，再按照該表示帶來的 prediction offset，修改 flow-matching target，直接引導 decoder 生成。它沒有依賴外部 autoencoder 預先建立 representation space，而是由 raw pixels 端到端學習；相較加入專用 pixel decoder 的架構，RG 嘗試避免只重新分配語義及空間建模工作，並以較簡單的 Transformer 結構擴展。

在 ImageNet 256×256 測試中，RG-L/16 使用 459M 參數，在 600 epochs 達到 1.79 FID；RG-XL/16 以 724.9M 參數取得 1.55 FID、293.8 IS。項目亦報告 512×512 的 1.74 FID，並延伸至 text-to-image，在 GenEval 取得 0.89、DPG-Bench 取得 87.1；這些結果顯示方法適合研究高解析度像素生成及文字生圖，但較大型模型仍需要相當計算資源。

你可從以下幾點理解它的實際價值：
– 低維 bottleneck 將生成相關資訊集中，減少表示與生成流程各自學習的落差。
– RG-L/16 以較少參數超越更大型的 pixel diffusion transformers。
– plain Transformer 方便研究內部表示如何形成及影響像素合成。
– 項目資料提供結果與模型規模，但未交代完整安裝、下載或推理流程，測試前仍需查看 Project Page 或後續程式碼。

較適合研究 pixel diffusion、生成式表示學習，以及希望比較 flow matching 架構的團隊。它的價值不在於提供即時可用的生圖工具，而在於把「學到表示」與「利用表示生成」放入同一個訓練機制；模型參數和 GFLOPs 仍然偏高，未必適合資源有限的個人電腦。

項目主頁 · GitHub

Categories: 開源, 香港大學, 阿里巴巴, 模型, 模型訓練, Image, World-Action Model, txt2img, 香港, 工具

---

VisionWeave 讓多模態模型按畫面分配細節

2026 年 10 月 13 日 Share to X Facebook Copy link

VisionWeave 按內容保留重要視覺細節，減少冗餘視覺 tokens，兼顧長影片理解效率與任務質素。

長影片、圖表和文字密集畫面不需要每個位置都用同樣精細度處理。VisionWeave 屬於多模態模型（MLLMs）效率優化項目，讓模型按視覺內容決定保留細節或壓縮表示，處理視覺 tokens 過多所造成的成本與延遲問題。

VisionWeave 不是固定比例刪減 tokens，而是把 fine-grained 與 coarse-grained representations 編織起來，讓重要區域保留較多資訊、背景使用較緊湊的表示。項目針對 dense Qwen3.5 提供影像及影片 inference，評測則涵蓋 Qwen3.8-27B 與 Qwen3.5-4B，並比較 FastV、VisionZip 等固定預算方法。

Qwen3.8-27B 在八項 benchmark 平均節省 43.0% visual tokens，同時保留 98.9% 原生模型表現。於 SGLang、兩張 A100-80GB 和 BF16、TP=2 條件下，LongVideoBench throughput 由每分鐘 0.90 個請求升至 2.07 個，平均 TTFT 亦由 169.90 秒降至 77.54 秒。

• 按畫面內容自動調節視覺表示粒度
• 適合長影片、自然場景、圖表及文字密集影像
• 在多項任務與不同輸入解析度下衡量效率與質素取捨
• README 提供的 checkpoint 需另行取得，完整安裝流程在目前資料中未交代

研究團隊同時提供 image/video inference，但儲存庫資訊未列出下載連結、硬件最低要求或完整測試步驟，因此較適合作為研究評估和 SGLang serving 實驗起點。對需要處理長影片、多張影像或高解析度輸入的模型團隊，VisionWeave 提供了比固定 token 預算更靈活的壓縮方向；代價是要配合指定 Qwen 模型與額外 checkpoint，未必能直接套用到其他架構。

項目主頁 · GitHub

Categories: 開源, 多模態模型, Qwen, Video, Image, 庫, Dataset 數據集

---

StereoBind 讓生成聲音跟隨畫面移動

2026 年 10 月 13 日 Share to X Facebook Copy link

StereoBind 不只同步影片與聲音，還嘗試讓聲音方向跟隨畫面中的發聲物體移動，為沉浸式生成補上空間感。

當畫面中的車輛、人物或物件移動，聲音不應只在時間上同步，還要讓聽者感覺聲源位置一同改變。StereoBind 屬於聯合影片與音訊生成模型的研究項目，處理的正是立體聲與可見聲源之間的動態空間對應問題，面向 AR/VR、互動遊戲及沉浸式內容製作較有價值。

StereoBind 在預訓練的 joint audio-video generator 上加入視覺來源的 motion tracks，將畫面中的移動軌跡傳給音訊生成流程。Simple Summary Tokens 壓縮來源內容與動態資訊；Spatial Track Encoder（STE）編碼每個時間點的標準化 2D 位置；ResidualTrackRoPE 則把相對軌跡變化加入 temporal attention，令模型同時理解聲源所在位置及移動方向。

• 以軌跡連接視覺來源與 stereo audio
• StereoWorld-29K 提供附帶 motion tracks 的立體聲影音資料
• StereoWorldBench 用來量度聲音是否跟隨可見聲源
• 目標是改善空間對齊，同時保留整體影音品質

StereoWorld-29K 不只是訓練資料，亦包含由真實影片及軌跡控制合成場景整理而成的幾何監督；StereoWorldBench 則針對聲音與畫面來源在時間上的空間一致性作評估。項目資料稱實驗能大幅改善立體聲生成的空間對齊，但目前提供的資訊未列出具體分數、基準模型或延遲數據，因此未能判斷它在不同場景的實際優勢幅度。

GitHub 儲存庫目前仍屬公開發布前狀態，inference code、training code、設定檔、checkpoints、StereoWorld-29K 及評估套件尚未提供，亦沒有可照做的安裝流程。研究團隊、影音生成模型開發者，以及需要聲音方向隨畫面移動的 AR/VR 和遊戲製作流程，可以先把它理解成一套待公開的 trajectory-conditioned 聯合生成框架；現階段較適合閱讀研究概念及等待後續資源，而不是立即部署。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, Video, World-Action Model, Audio, 框架, 庫, Dataset 數據集

---

RSI-Anything：用世界模型推動跨領域遞迴自我改進

2026 年 10 月 12 日 Share to X Facebook Copy link

RSI-Anything 把預測、行動回饋與學習串成循環，讓同一套框架應對程式修復、GUI 操作及實驗規劃。

當系統需要由多個候選行動中揀選較佳方案，RSI-Anything 會先預測後果，再透過外部評估修正下一輪決策。它屬於建基於世界模型的通用框架，處理的是模型如何利用互動經驗持續改善，而不只是在單次任務中產生答案。

框架以 JEPA-Anything 作為預測基礎，將候選生成、預測引導選擇、外部評估、學習和保留成果串成「Propose → Predict → Select → Evaluate → Learn → Retain」循環。不同領域可自行定義狀態、行動、預測目標和回饋，因此同一流程能延伸至 code repair、GUI interaction、laboratory planning、reaction optimization 及 immune science。

可從以下幾點理解其價值：
– 以世界模型預測行動後果，減少只靠試錯作決策的需要
– 以外部回饋檢驗選定行動，將經驗帶入下一輪學習
– 支援程式修復、GUI 操作和實驗規劃等不同工作情境
– Hugging Face 提供 RSI-Anything 數據集，包含 image、text 及 3.2k rows，分為 train 3k 與 test 200

資料集包括 historical_actions、candidate_next_actions、reasoning 和 next_action，較適合研究候選行動選擇及實驗流程推理；項目未在所提供內容中列出具體性能數字，因此應先視為研究框架與資料資源，而非已證實能普遍自我提升的成熟系統。

項目主頁 · GitHub

Categories: 開源, 模型, 世界模型, Image, 框架, Python, Dataset 數據集

---

Google Foresight：會議筆記與個人資料留在 Mac

2026 年 10 月 12 日 Share to X Facebook Copy link

Foresight 在 Mac 本地聆聽會議、整理筆記，亦能按你的檔案即時回答問題。

開會時只需記下零碎提示，Google AI Edge Foresight 便可配合本機轉錄內容整理成較完整的會議筆記。工具支援 Google Meet、Zoom，以及面對面或離線對話，音訊和文字都在 Mac 處理，不必上傳雲端。

Foresight 亦能連接本地項目資料夾、Google Drive、參考文件、圖表、網頁連結和日曆，建立與工作相關的背景資料。對話期間，它可透過聊天檢索內容；Live Assistance 更會聆聽問題，在相關資料出現時主動顯示附有引用來源的 context cards，減少會議前準備和反覆確認資料的時間。

技術核心包括 740M 參數的 EmbeddingGemma 2。這個 on-device multimodal embedding model 會把文字、圖片、影片和音訊映射到同一向量空間，支援跨模態語意檢索；配合 Gemma 4，可在裝置上建立即時的 Retrieval-Augmented Generation（RAG）流程，避免網絡延遲。

• 會議轉錄、音訊與檔案留在 Mac
• 支援影片會議、面對面及離線對話
• 可把速記提示整理成完整筆記
• 支援跨文字、圖片、影片和音訊檢索
• 具備聊天及 Live Assistance 兩種取用資料方式

頁面提供 macOS 下載入口。需要高度重視資料私隱、又經常在多個本地檔案之間切換的人，較容易感受到這種本機 AI 工作流的便利。

項目主頁

Categories: AI productions, RAG, Embedding, 多模態模型, Google, Gemini, Video, Image, Audio, 工具, Mac

---

ComfyUI-VoiceWorkbench：本地語音工作台：逐句修正音高與節奏

2026 年 10 月 11 日 Share to X Facebook Copy link

不用剪碎音檔，便可逐句調整音高、字詞時長、停頓和尾音，並比較不同錄音版本。

想修正一句旁白的語速、音高或句尾拖音時，ComfyUI-VoiceWorkbench 讓你在完整錄音上直接編輯，毋須把每個字剪開再重新拼接。這個項目屬於本地語音編輯工具，實際處理的是生成語音和錄音後期微調之間的卡位；編輯器可作為 ComfyUI 底部面板使用，也能獨立在本機運行。

聲音處理採用一次 Praat resynthesis pass，同時套用整段錄音的時長和音高變化，未修改的預覽則保留原始 WAV bytes。介面可調整 0.75 至 1.25 倍全局速度、全局音高及最多 64 個局部曲線點，亦能處理現有停頓和可靠的 voiced ending；編輯完成後可比較 Original、Edited 與不同生成 take，再回到較早版本。

• 不用下載模型：內置例子可直接開啟和編輯，Windows 亦可調用已安裝的英文系統語音。
• 適合本地工作流：支援 Python 3.10 或更新版本，並可接入 ComfyUI custom nodes。
• 保留人工判斷：字詞邊界只是估算，無聲或不穩定區域不能可靠提供音高目標。
• 有明確範圍限制：單聲道錄音約 0.15 至 60 秒，AI take 最多 200 字元；服務只綁定 loopback，並非公開共享伺服器。

可選的本地適配器把能力延伸至語音生成和表演編輯：IndexTTS2 支援參考聲線及情緒生成，AuK Base 用於整段錄音的表演編輯，Qwen3 forced aligner 則協助估算字詞邊界。這些元件不是開啟基本編輯器的必要條件，系統語音也不提供聲線複製或情感控制。

適合旁白製作、語音原型和 ComfyUI 使用者處理少量錄音，而不是多人共用的雲端配音平台。尾音延長最多 200 毫秒，目標音高及 voiced 區域亦有上下限；自動對齊不代表每個字都讀得正確，接受修改前仍要逐段聆聽。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, Audio, 工具, Python, 語音

---

WeKnora 把企業知識庫變成可問、可做、可追溯的 AI

2026 年 10 月 11 日 Share to X Facebook Copy link

WeKnora 將 RAG、Agent 與 Wiki 放進同一個知識庫，兼顧企業資料整合、任務執行和私有化部署。

不只可以問文件內容，WeKnora 會幫你用 AI 操作工具、整理 Wiki，並保留已確認的偏好與事實。WeKnora 是一個開源 LLM 知識框架，處理企業文件理解、語意檢索與多步推理；RAG、Agent 和 Wiki 共用同一套知識庫，減少資料分散造成的落差。

RAG 會結合語意及關鍵字檢索，回答附上原文引用；Agent 可搜尋網頁、呼叫 MCP 工具、執行技能，並在沙箱中處理檔案。Wiki 則把文件整理成互相連結的頁面與知識圖譜，支援編輯、差異比較和版本回滾，適合需要持續維護內部知識的團隊。

• 支援 PDF、Word、圖片、Excel、XMind 等十多種格式
• 可同步飛書、Confluence、GitLab、Notion、語雀、RSS 等來源
• 透過企業微信、飛書、Slack、Telegram、MCP Server 或 API 提供服務
• 具備多空間 RBAC、審計日誌、任務佇列及 Langfuse 追蹤

模型、向量資料庫及儲存後端都可以替換，內置 29 家模型供應商，包括 OpenAI、DeepSeek、Qwen、Gemini、MiniMax、LiteLLM 和 Ollama。v0.8.2 加入本機瀏覽器操作、MCP Server、對話分叉與回滾，令知識庫不再只負責回答問題，也能參與任務流程。

Docker、Kubernetes、Helm、Lite 單機版及桌面應用都在支援範圍內，資料可以留在本地或私有雲。對重視資料留存、內部協作和可追溯性的企業，這套整合度具備明確吸引力。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, RAG, MCP, Qwen, OpenAI, DeepSeek, Gemini, Image, 框架, KnowledgeGraph, Ollama, 庫, Anthropic, MiniMax, Skill 技能

---