free-claude-code：一個代理層打通 Claude Code 與 Codex

2026 年 8 月 5 日 Share to X Copy link

想保留原生開發代理體驗，又想自由換模型與供應商，free-claude-code 正正補上這個缺口。它把 Claude Code、Codex 同 Pi 接到同一個可管理入口。

用開 Claude Code 或 Codex 的人，最在意通常唔係再裝多一個聊天介面，而係可否繼續用原生 model picker、串流回應、tool use 同 image input，同時改用自己揀的模型供應商。free-claude-code 就係一個 proxy 工具，把 Claude Code、Codex、Pi 及其 IDE 擴充功能接到自管入口，處理多供應商切換同路由分發。

它的價值在於工作流幾乎唔使重學。你可以照用 fcc-claude、fcc-codex 或 fcc-pi 啟動對應代理，Windows 同 macOS 亦可放在背景執行，再到本地 Admin UI 揀選並驗證供應商。可在 31 個 cloud 與本地 providers 之間切換，亦可把 Fable、Opus、Sonnet、Haiku 同 fallback 流量分別導向不同模型，這點對想控制成本、速度同能力分工的團隊幾實用。

跟直接綁死單一 API 的做法相比，這個項目押注在「保留原生客戶端體驗，再用 proxy 抽換後端」。代價是相容性要靠代理層維持，所以它明確強調只會在兼容模型上保留 streaming、tool use、reasoning 同 image input；換句話說，模型可揀得更自由，但不是每個後端都保證功能完全一致。

• 支援 Claude Code、Codex、Pi，同時保留各自原生 model picker
• 透過本地 Admin UI 管理與驗證 31 個 cloud／本地 providers
• 可把不同流量類型分流到不同模型，方便平衡成本與能力
• 適合想用本地模型、付費模型或免費模型混搭的開發團隊

安裝與測試方式偏向開發者工具鏈：項目以 Python 3.14、uv、Pytest、Ruff、Ty 組成，部署重點不是雲端託管，而是先在本機跑起 proxy，再讓代理客戶端經它連線。現階段最適合已經在用 Claude Code 或 Codex、又想統一管理模型入口的人；追求零設定即用的讀者，會覺得它比較像一層需要自己維護的基建。

GitHub

Categories: 開源, NVIDIA, API, Image, 工具, IDE, Mac, Python, 編程, Anthropic, UI/UX

---

Vision-DeepResearch：由靜態圖片走向連續影片的 DeepResearch Agent

2026 年 8 月 5 日 Share to X Copy link

Video-DeepResearch 將視覺搜尋延伸至連續影片，要求模型先理解跨畫面的證據，再進行網絡探索。

面對需要翻查影片內容、再結合網絡資料回答的問題，單靠文字搜尋往往會漏掉關鍵畫面。Video-DeepResearch 是一個多模態研究型 Agent 項目，透過 Video-DeepResearch（Video-DR）處理連續影片中的時空資訊，並把視覺理解與網絡探索分開安排。

它修正了兩個常見卡位：模型偏向使用文字工具，較少主動檢視影片；模型亦可能直接依賴內部記憶，未有真正完成工具輔助搜尋。Pipeline 先逐階段解鎖視覺工具，要求模型完成跨畫面 grounding，再進入網絡檢索，取捨是流程較嚴謹，但推理成本和執行時間亦可能增加。

訓練流程先以 Supervised Fine-Tuning（SFT）建立基本能力，再使用 Group Relative Policy Optimization（GRPO）強化自主探索。項目同時提供 30 K 個 video-grounded QA pairs、7 K 條整理後的 trajectories，以及程式碼、資料集和模型權重，研究團隊可按需要測試基準、重現訓練或直接載入模型。

• Video-DR-35B-A3B 在 Video-DR 達到 68.0% accuracy
• 比 Claude-4.5-Sonnet 的 63.0% 高 5.0 個百分點
• GPT-5 和 Gemini 2.5 Pro 分別為 57.0% 和 62.0%
• Vision-DeepResearch-30B-A3B 延續同一研究方向，另有 SFT-only 的 8B 版本

現有結果反映它在影片證據與網絡資料需要互相驗證的工作較有價值，例如研究、媒體核查和長片段問答；但 68.0% 仍代表部分問題會出錯，較適合作為研究平台和可檢驗的 Agent 架構，而不是無需監督的影片分析服務。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港理工大學, Agentic, 多模態模型, 模型訓練, Qwen, OpenAI, Gemini, Video, 香港, Anthropic, Dataset 數據集

---

JoyAI 把即時串流影片編輯推向 720p

2026 年 8 月 5 日 Share to X Copy link

影片逐幀抵達便可按文字指令修改，JoyAI-Video-Edit 以 30.19 FPS 連接即時攝影與生成式編輯。

直播畫面或上載影片不必等到完整片段準備好，便能一邊輸入自然語言指令、一邊看到修改結果。JoyAI-Video-Edit 屬於開源影片生成及影像處理模型，處理的是影片串流中延遲高、必須預先知道片長，以及難以維持連貫性的編輯流程。

它支援主體修改、局部區域調整、背景替換、風格轉換、動作改變和參考影像引導，適合互動示範、直播效果及需要即時預覽的創作工具。系統以 Multimodal Large Language Model（MLLM）條件編碼器、causal video Variational Autoencoder（VAE）及 16B-parameter Multimodal Diffusion Transformer（MMDiT）組成，逐段處理新抵達的畫面。

同類影片生成方法往往先取得完整影片，再一次過進行離線處理；JoyAI-Video-Edit 改用 autoregressive diffusion，配合 aligned autoregressive distribution matching distillation、long-horizon optimization、bounded Key-Value state（KV-state）inference 和 deployment-oriented scheduling，換取串流速度。不過，這種設計仍要留意長時間輸出可能出現的 temporal drift，而且消費級 GPU 支援仍列為待辦工作。

部署基準在 720×1280 解像度達到 30.19 FPS end-to-end throughput，代表系統已接近互動式影片處理所需的速度，但不能直接等同於所有硬件和指令下都能保持相同表現。Hugging Face 提供 JoyAI-Video-Edit checkpoint，GitHub 同時提供部署程式碼和線上 Demo，較適合具備 GPU 資源、希望整合影片工作流，或研究 Computer Vision 與串流生成的團隊。

• 即時串流：畫面逐幀處理，不要求預先提供完整影片或固定片長。
• 指令範圍廣：涵蓋主體、局部、背景、風格、動作及參考影像編輯。
• 速度指標：720×1280 下達到 30.19 FPS 的完整流程吞吐量。
• 部署取捨：透過 bounded KV-state inference 控制計算量，但消費級 GPU 支援仍未完成。
• 適用人群：影片工具開發者、直播創作者及需要即時預覽的研究團隊。

GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, 蘋果, Dataset 數據集

---

MBM：跨類別動作轉移突破

2026 年 8 月 4 日 Share to X Copy link

你可以把它理解成一套跨類別影片動作轉移框架，重點是外形差很多時仍保住動作與身份。

想把一段動作搬到另一個角色或畫面，最怕形態差太遠時連身份都一併扭曲。MBM 走的是一套 motion transfer 研究框架，重點是把跨類別動作轉移做得更穩，讓 reference video 的動作可以連同 text，必要時再加一張 reference image，一起驅動生成。

它分兩段處理：Stage I 先學 heterogeneous abstract motion conditions，再 bootstrap cross-category motion pairs；Stage II 再用 raw reference videos 把這套監督內化。推理時直接靠 reference video、text 和 optional reference image，不需要 explicit motion extraction 或 test-time optimization。

它和只在相近外形之間搬動作的做法不同，目標是連 same-category、near-category 到 far-category 都盡量維持 motion fidelity 與 target preservation。資料同時提到 OpenVMT-Dataset 和 OpenVMT-Bench，前者是 instance-level motion-equivalent cross-content pairs，後者則用逐步拉大的 category gap 去測。

• 兩階段框架先學抽象動作，再把監督內化到生成流程
• 推理端直接吃 reference video、text、optional reference image，流程較短
• 主打跨類別動作轉移，適合影片生成、角色動作遷移、動畫合成
• 在大形態差距下仍可維持較好的動作保真與目標保留

項目主頁 · GitHub

Categories: 開源, 北京大學, AI productions, Video, Image, 框架

---

LeapTalk：1 步生成會話數字人

2026 年 8 月 4 日 Share to X Copy link

講人像相片同語音，就能連續生成對嘴影片。LeapTalk把速度拉到接近即時，同時盡量守住人臉一致性。

想做會話數字人？卡位通常唔係能否生成，而係夠唔夠快、個樣會唔會愈播愈走樣。LeapTalk屬於開源 talking-head generation 項目，針對的正是即時串流、人臉一致性同嘴型同步三件事一齊要兼顧的難題。

它的吸引力在於每個影片片段只用 1 NFE 就可推進，在 Lite 設定下標示可達 200 FPS，而且 Web Demo 已經做成可載入人像圖、用文字或咪高峰對話的介面。底層並非單靠硬推速度，而是建基於 SoulX-FlashHead-1_3B，再配合 LoRA、audio_proj_step_*.pt、wav2vec2-base-960h，用 audio-driven classifier-free guidance 強化對嘴。

• 以 chunk-by-chunk streaming pipeline 連續生成長片
• 用 Brownian bridge 同 Bridge Forcing 減少長片身份漂移
• README 已交代需另外下載 base model、語音模型與 LeapTalk 權重
• 推論前要自行填入 COND_IMAGE、AUDIO_PATH 等本地路徑

同類做法常見取捨是速度快但畫面累積誤差，或畫質穩定但延遲高；LeapTalk明顯站在「先把延遲壓到可互動」這一邊，再用 reference-anchored data-to-data transport 補回穩定度。

現適合做數字人互動、虛擬主播、即時內容生成的團隊。200 FPS 與單張 H200 GPU 的說法來自項目提供資訊，普通硬件能否複製同樣效果、Web Demo 的完整部署細節是否齊備，仍要等更多實測佐證。

項目主頁 · GitHub

Categories: 開源, AI productions, 數字人, 視頻模型, 影像處理, Audio

---

Poplar 把人像數據集生成變成可追溯流水線

2026 年 8 月 4 日 Share to X Copy link

想建立可重現的人像圖文數據集，難處往往唔係生成，而係點樣保留規格、來源同質檢。Poplar正正將呢三步串成可審核流程。

生成人像圖文數據集最易失控的地方，不在於出圖本身，而在於之後很難追查提示詞有冇被改動、畫面為何被淘汰、覆蓋範圍是否足夠。Poplar把呢件事做成一條開源流水線兼框架，專注處理 human-centric image-text dataset synthesis，將 Specify、Render、Inspect 三段分開，又用 append-only JSONL 記錄每一步。

它的做法幾務實：先抽樣人物、服裝、活動、場景、取景與光線等結構化屬性，再由 Qwen3.5-27B-FP8 把規格寫成攝影導向提示詞；之後用 Krea 2 Turbo 配合 Krea2-realism-V2 生成，每個規格只出一張圖，最後再由同一個 Qwen3.5-27B-FP8 檢查圖文是否一致、是否有明顯缺陷。重點不只是「生成到」，而是連 prompt hash、seed、重試紀錄、缺陷標記同審核時間都留底。

• 適合研究團隊、數據工程、訓練視覺模型前的數據建設工作
• 差異在於把語意覆蓋、渲染來源與質檢決策全部做成可追溯紀錄
• 部署門檻不算低，已發佈排程要四張 NVIDIA GPU，並需相容 CUDA 12.6 的 PyTorch 環境
• 質量控制包含保守式 deterministic prefilter，會重試近灰階、嚴重模糊、低細節或損壞輸出

跟只看單張生成效果的做法相比，Poplar更重視整批數據集能否重現與審核，取捨是硬件需求較高，流程亦偏向資料生產而非互動創作。現有資料未見完整基準分數，但它把審核 rubric、prompt mismatch severity、evidence 與 confidence 都納入 review records，對要建立可交付數據資產的團隊，價值相當直接。

項目主頁 · GitHub

Categories: 開源, Qwen, NVIDIA, Image, Python, Dataset 數據集

---

UEmbed：單一模型同時做稠密與稀疏檢索

2026 年 8 月 4 日 Share to X Copy link

UEmbed 把文字、圖片、影片都放進同一套 embedding 流程，令稠密向量與稀疏詞彙向量可以一併輸出。對要做多模態搜尋或檢索增強生成的團隊，這種設計可減少來回切換模型。

UEmbed 把文字、圖片、影片都放進同一套 embedding 流程，它走的是多模態 embedding 模型路線，重點是把 dense 向量和 SPLADE-style sparse lexical 向量放在同一個 causal forward pass 內處理，方便直接做檢索、多模態搜尋和 visual-document retrieval。它不是只做文字匹配，而是把文字、圖片、影片與混合輸入統一到同一套表示空間。

直接取用 Hugging Face 上的 2B、4B、9B 權重，再按輸入格式送入不同媒體內容，檢查 dense 與 sparse 輸出是否符合預期。若要部署到搜尋系統，dense 部分可接向量檢索，sparse 部分可接倒排索引，兩條路可以同時保留。

它和傳統 learned sparse retriever 最大分別，在於保留 decoder-only multimodal backbone，並用 16 個 learnable special tokens 分攤稀疏詞彙空間，避開單一 token 的表達瓶頸。訓練時同時優化 dense InfoNCE、sparse InfoNCE 和 FLOPS regularization，取捨是結構較巧，但推理時可以用同一個模型兼顧語義召回與詞彙可解釋性。

效能方面，UEmbed-9B 在 MMEB-v2 取得 71.8（dense）與 71.0（sparse），並在公開數據訓練條件下做出很強的稀疏檢索表現；在 BEIR 上亦保持競爭力。對做搜尋、RAG、跨媒體內容索引，或者要把文字與圖像一齊納入檢索的團隊，這套做法會較有吸引力。

• 同一個模型同時輸出 dense 與 sparse 表示
• 支援文字、圖片、影片與混合輸入
• 稀疏輸出可直接對接倒排索引，較易解釋
• 以 Qwen3.5 multimodal backbone 為基礎，並用公開資料訓練
• 2B、4B、9B 三個規模可選

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, RAG, Embedding, 模型, 多模態模型, Qwen, Image

---

SwanTale 以場景佈局生成

2026 年 8 月 4 日 Share to X Copy link

SwanTale 把語音與音訊研究集中成一個入口，重點放在更有表達力的生成能力。

比起只追求把字讀出來，字節跳動的 SwanTale 更著重聲音是否自然、有情緒，亦能否處理多人說話生成。這個由 ByteDance 推出的研究項目，焦點放在 expressive audio、speech 與 multi-speaker generation。

現有資料不算多，但已見到它不是單一模型頁，而是一個集合式研究入口，整合 SwanTale、SwanVoice、SwanBench-Speech、SwanSphere 等子項目。對做語音產品、數字人、配音內容與語音互動工作流的人來說，這類整理方式較易追蹤同一研究線的進展。

• 聚焦 expressive audio、speech 與 multi-speaker generation
• 由 ByteDance 發佈，定位偏研究整合入口
• 站內列出 SwanTale、SwanVoice、SwanBench-Speech、SwanSphere
• 目前公開資訊有限，性能與方法細節仍要逐個子項目再看

它的價值在於把聲音生成從「可用」推向「更像真人表達」，同時覆蓋多人語音場景。現階段較適合先把它視為字節跳動音訊與語音研究的總覽入口，而不是已完整公開規格的單一產品頁面。

項目主頁

Categories: 字節跳動, 數字人, Audio, 語音

---

MiniMax H3 萬眾期待的開放多模態模型

2026 年 8 月 3 日 Share to X Copy link

文字、圖片、影片同音訊都可混合輸入，再直接生成帶原生立體聲的短片。MiniMax H3把理解與生成放進同一套多模態系統，重點在跨模態一致性。

一段提示未必只得文字，亦可以連同圖片、影片甚至音訊一齊交畀模型處理；MiniMax H3就是朝住呢種工作流而設。頁面未提供 based on、base model 或 fine-tuned from 資訊，所以無法確認它係唔係建基於其他基礎模型微調而成，但已清楚標示為 image-text-to-video，而且屬於可同時理解同生成多模態內容的 generative system。

它處理的重點不只是由文字生片，而係把 text、images、video、audio 放入同一個上下文，再輸出最長 15 秒、最短 4 秒、可到 2K 的影片，並且附帶 native stereo audio。呢種設計的價值，在於畫面、聲音同指令可以一齊對齊，適合做 image-to-video、video-to-video、text-to-audio-video 以至 reference-to-audio-video 等任務，減少要分開串接多個模型的工序。

H3 是 task-generalization-oriented system，意思是模型在 pre-training 階段已經針對廣泛任務泛化而設計，唔係只為單一路徑生成。它強調 unified understanding of multimodal contexts，同時支援多種輸入來源與輸出規格；比例覆蓋 21:9、16:9、4:3、1:1、3:4、9:16 等常見格式，短邊預設 768 像素，最高可到 2K，反映它偏向面向內容製作與跨媒體生成，而不只是研究展示。

• 支援 text-to-video、image-to-video、video-to-video，同時覆蓋 audio-video-generation
• 可生成 4 至 15 秒影片，並輸出 native stereo audio
• 輸入上下文可混合 text、images、video、audio，屬於 omni-modal 路線
• Hugging Face 頁面標示 library_name: diffusers，代表可沿用 diffusers 生態整合

現階段較能確定的是，它把多模態理解與帶聲影片生成放入同一模型體系，對需要一致視聽輸出的項目有直接吸引力，但部署細節仍要等更完整技術文件補足。

項目主頁 · 模型

Categories: 開源, 多模態模型, 視頻模型, Video, Image, 影像模型, 影像處理, Audio, 3D, MiniMax

---

N0-TWAM 把觸覺帶進機械人決策

2026 年 8 月 3 日 Share to X Copy link

鏡頭睇到嘅畫面未必足夠，N0-TWAM連觸覺一齊預測，再生成動作。對接觸密集操作來說，這個方向比只看影像更貼近現場需要。

插頭有冇卡住、夾爪有冇真係受力，單靠畫面往往判斷唔完整。N0-TWAM放喺呢個空缺上處理問題：它屬於世界動作模型，將 vision、tactile 同 action 一齊建模，先推進未來會見到乜、摸到乜，再輸出低層動作，目標直指 contact-rich manipulation。

它吸引之處不只是多加一種感測，而係把觸覺當成未來狀態的一部分，而唔係事後補充訊號。相比只預測影片的 world-action model，或者直接由當前觀察回歸動作的 VLA policy，N0-TWAM更著重「預測之後再行動」；代價是系統更重，儲存庫亦只釋出 pretrained checkpoint、inference server 同 post-training toolkit，未包含大規模預訓練流程。

• 可直接載入 pretrained checkpoint，再用自家 demonstrations 做 post-training
• 可經 websocket 部署，由 observation 持續取回動作，也可接到自家 robot 或 simulator 做 closed-loop 控制
• 支援 NeoSim 的 closed-loop benchmark，方便用 vision–tactile 場景驗證表現
• 核心做法是 Mixture-of-Transformers (MoT)，分開 video、tactile、action 三個 experts，再共享注意力交換資訊

模型背後沿用 WAN2.2 TI2V-5B video diffusion transformer 作 backbone，重組成三個 experts，並用 rectified-flow / flow-matching 目標聯合學習。readme 亦交代 action space 是 20-dim dual-arm end-effector，配合 tactile-aware execution，明顯不是聊天式 agent，而是面向機械臂操作與接觸控制的研究模型。

它在 UniVTAC、NeoSim 與八個 real-robot tasks 的平均成功率分別達到 84.5%、49.4% 和 46.3%。這些結果說明觸覺對高接觸操作有實質幫助；同時也要留意，部署門檻仍然偏研究導向，較適合機械人團隊、模擬環境開發者，以及已經有 demonstrations 與感測資料流的項目直接接入測試。

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, 模型訓練, Video, VLA, Robotic, Dataset 數據集

---