InferNews

FastH3 Live：單張消費級 GPU 跑出無限 AI 直播

2026 年 9 月 3 日

FastH3 Live 將 MiniMax-H3 蒸餾成 4 步模型，配合重定時與 ComfyUI 串流伺服器，用一張 RTX 5090 就能長開 448×448 18fps 嘅無限影片加音訊直播。

喺消費級硬件上長開一段無止境嘅 AI 影片頻道，一直係文字轉視頻工作流嘅痛點——雲端成本高、本地生成速度慢，仲要面對提示詞同角色一致性嘅限制。FastH3 Live 就係圍繞呢個矛盾設計：佢將 MiniMax-H3 經過 4 步 DMD2 蒸餾成 FastH3，配合一套本地串流伺服器，令生成同播放可以同步進行，前一段影片播放期間，模型已經喺度產出下一段。

整個項目以 ComfyUI 作為運行環境，並喺單張 RTX 5090（32GB、Windows 11）上完成測試。v1.1.0 版本將解析度提升至 448×448、幀率達到 18fps，相比 v1.0.0 嘅 512×288 12fps 有明顯進步。音訊部分亦同步串流，用戶只要用 VLC 指向本地 URL，就可以一直接收新嘅短片，支援多位觀眾同時連線同斷線重連。

對於內容創作者、ComfyUI 用戶或者想試文字轉視頻嘅人來說，呢套工具最直接嘅吸引力係「無限直播」呢個使用場景。項目內附 321 個場景提示詞、503 個已驗證可用嘅角色清單，使用時可以快速組合出唔同長度嘅段落，唔需要每次由零開始寫 prompt。

需要注意嘅限制亦都幾清楚：相關權重屬於 MiniMax-H3 社群授權，適用範圍排除歐盟、英國、韓國同美國，下載前需要確認所在地。

項目主頁 · 數據集

Categories: 開源, ComfyUI, Agentic, Video, 視頻模型, MiniMax, Dataset 數據集

E-CommerceBench 經營 365 日網店的 Agent 考試

2026 年 9 月 3 日

代理人要由十萬元起步，經營最多四間網店並應付供應商、庫存與退貨，最後以全年資產增長分高低。

Mean end-of-year total assets, eighteen models, five 365-day episodes each

一個代理人由 ¥100,000 起步，連續經營最多四間網店 365 個模擬日，還要自行處理採購、定價、補貨、訂單履行及退貨。E-Commerce Bench 屬於長期自主商業運作的 LLM agent benchmark，實際處理的是代理人能否在現金流、庫存、風險和增長之間持續作出決策。

環境包含 6,886 個產品、60 個類別及 576 家供應商，其中 152 家涉及五種詐騙類型；全年亦有八次促銷和十項市場事件。客戶需求由固定多因素模型決定，供應商價格、讓步及接受與否則由 Deterministic Negotiation Kernel 計算，LLM 只負責把決策呈現成對話，避免抽樣回覆直接改變交易結果。

排行榜以五次獨立 episode 的年終總資產平均值計算 asset multiplier，同時提供標準差、CSE⁺、BadSpend%、回撤、每次工具呼叫帶來的收入、可控退貨比例、AnchorRatio、工具呼叫次數及破產次數等指標。GPT-5.6 Sol（max）平均資產達 ¥1,431,425，約為本金 14.3 倍；最佳 open-weight 模型 Qwen3.8-Max-Preview 為 ¥416,252，約 4.2 倍，18 個模型之間相差 1,264 倍，90 次運行有 10 次破產。

測試場景涵蓋最多約 4,000 個回合，適合研究長期記憶、規劃和工具使用。
固定需求與談判機制令模型差異較容易歸因，但未必代表真實市場的隨機性。
模型排名同時呈現盈利能力、風險控制、浪費開支及資金壓力。
項目資料提到 Python 3.10+，但提供內容沒有列出完整安裝、執行或下載流程。

研究代理人可靠性、商業決策、長期規劃或多步驟工具調用的團隊，會較容易從這套固定世界取得可重複比較的結果；網店經營者則可把它理解成壓力測試，而不是直接預測真實銷售額。它同時比較 proprietary 與 open-weight 模型，但資料未交代各模型的提示詞、工具策略或成本，因此資產排名不應單獨視為整體能力結論。

項目主頁 · GitHub

Categories: 開源, Qwen, Google, Gemini, DeepSeek, OpenAI, Agentic, Python, Anthropic, Dataset 數據集

H3-World 讓鍵盤控制生成影片世界

2026 年 9 月 2 日

H3-World把鍵盤輸入轉成可控制的未來畫面，展示互動式世界模型由理解指令走向操控環境。

Repository image for Danzer1xxxxChan/H3-World

按下 W、A、S、D 控制角色，或以 I、J、K、L 操控鏡頭，H3-World 便會由初始畫面生成相應的動作影片。這個項目屬於互動式世界模型，實際處理的是角色與鏡頭動作如何連貫地影響後續畫面，適合遊戲代理、視覺模擬及 Computer-use agents（CUAs）相關研究。

H3-World 建基於 MiniMax-H3，將每個鍵盤狀態轉換成對應未來 video latent 的語言指令，再透過 directed attention routing 把指令綁定到相應的 latent 區間。模型以 8,000 段 ABot-World-Explorer-500h gameplay clips 訓練，只學習 65.6M 個 Low-Rank Adaptation（LoRA）參數，約佔 33B backbone 的 0.199%，在保留大型模型能力與控制專用訓練成本之間取得折衷。

目前資料提供的重點包括：
– 角色控制使用 W、A、S、D；鏡頭控制使用 I、J、K、L，F 代表快速鏡頭移動。
– H3-World LoRA 是 MiniMax-H3 的 delta，不能直接套入未修改的 MiniMax-H3 pipeline。
– 推理需要約 135 GB 的 MiniMax-H3 base weights，以及 H3-World 的 directed-attention patch。
– 公開資料沒有列出明確的畫質、延遲或成功率比較，因此未能判斷它在不同世界模型之間的性能差距。

儲存庫提供 Python 3.10、CUDA 12.8、PyTorch 2.10.0 和指定版本 DiffSynth-Studio 的配置要求；模型權重及 LoRA checkpoint 則分別放在 Hugging Face 指定位置，訓練另需 ABot-World-Explorer-500h。研究團隊、遊戲代理開發者及需要可控影片生成的視覺模擬項目較容易受益，但硬件容量、專用 patch 和模型授權條款都是採用前必須核對的條件。

項目主頁 · GitHub · 模型

Categories: 開源, NVIDIA, Agentic, Video, AI productions, Python, 多模態模型, 模型訓練, 視頻模型, MiniMax

ComfyUI-OCIO：ComfyUI 直通 ACES 與 HDR 的色彩管理節點

2026 年 9 月 2 日

由模型輸出到 ProRes、EXR 或 HDR 交付，ComfyUI-OCIO 保留更多影像色彩與亮度資訊。

OCIO Nodes for ComfyUI - by AI VFX NEWS, Slava Sexton

由 LTX、Flux 或其他影像流程產生的 HDR、Cineon 及 10-bit 影片，可以在 ComfyUI 原生 VIDEO wire 內完成色彩管理、ACES 調色及輸出。ComfyUI-OCIO 屬於 ComfyUI 自訂節點項目，處理的是模型解碼後容易被截斷、降位深或轉成 4:2:0 的影像資料。

核心差異在於 OCIO VAE Decode 以 float32 解碼，而且不會把數值夾到固定範圍；低於 0 的值亦會保留，讓超出工作色域的顏色和場景線性動態範圍交由 OpenColorIO 轉換。普通 SDR 生成不會因取消 clamp 自動變成 HDR，素材本身沒有相關範圍時，收益亦會有限。

LTX-2.5 可經由 ACEScct 路徑接入其 HDR path，補足 ComfyUI 原生流程未能直接觸及的部分。輸出可包括 32-bit float EXR、ProRes 4444 10-bit 4:4:4、DPX log，以及 Rec.2100 PQ／HLG；FFV1 才能做到無損保存，ProRes 讀回則以 12-bit 處理並承載 10-bit 資料。

ComfyUI-OCIO 提供的單一 LTX-2.5 測試中，模型浮點母片有 2304 個亮度級別，該項目的 ProRes 4444 版本保留 3520 個可辨識級別，與母片可辨識差異為 0.0001%；原生 10-bit 流程則為 882 級，出廠流程只有 220 級。安裝所需依賴包括 OpenColorIO、OpenCV、tifffile、Pillow、numpy 及 FFmpeg，但資料未提供完整圖形化操作步驟；較適合熟悉 ComfyUI、ACES 和影片編碼的 VFX、影片生成及後期團隊。

保留 float32 解碼結果，不強制限制亮度範圍
支援 ACES、HDR、Cineon、LTX、Flux 及 10-bit 影片流程
可在原生 VIDEO graph 內讀取序列、調色及寫出影片
LTX-2.5 可經 ACEScct 進入其 HDR path
FFV1 適合無損保存，ProRes 4444 適合交付

GitHub

Categories: 開源, ComfyUI, Video, AI productions, LTX

UI-Venus：多平台介面的高性能代理

2026 年 9 月 2 日

UI-Venus 是一個針對手機、桌面和網頁介面的 GUI agent，重點處理視覺定位與互動導航。它用 35 萬筆專業標註資料和 RFT 提升長流程操作與跨平台泛化。

UI-Venus 是一個 GUI agent，直接面向手機、桌面和網頁介面，目標是解決看得懂畫面、點得準位置、又能沿著多步驟流程完成任務這幾個卡位。它把 Reinforcement Fine-Tuning（RFT）放進訓練流程，令動作預測不只是識判斷，仲可以連住環境回饋去修正下一步。

項目提供 7B 同 72B 兩個 checkpoint，亦交代咗評估流程同推理腳本，方便按截圖、標註檔同模型路徑去做測試。不過原始資料未提供完整安裝細節同實際部署步驟，較合理的理解係先用它的推理與評估流程驗證在 ScreenSpot-Pro、OS-World-G、AndroidWorld 等基準上的行為。

它的賣點不只是識辨認介面元件，而係把 credit assignment 放到長鏈路任務入面處理，令代理在連續操作時較易對齊目標。官方聲稱它在 AndroidWorld、ScreenSpot-v2、UI-Vision 同相關跨平台基準有競爭力，對需要自動化操作、界面導航同複雜任務拆解嘅團隊會較有吸引力。

針對 GUI 理解同 action prediction，覆蓋 mobile、desktop、web 三類場景
以 350K 高質量、專業標註樣本訓練，並加入 RFT
提供 7B 與 72B checkpoint，以及評估和推理腳本
強調長流程任務的 credit assignment，適合多步驟互動工作
基準表現覆蓋 AndroidWorld、ScreenSpot-Pro、OS-World-G 等項目

對要做介面代理、手機自動化、網頁操作或桌面工作流整合的團隊，UI-Venus 比較像一個可以直接拿去評估能力邊界的基礎模型。它的限制亦清楚：原始資料未交代完整安裝與落地流程，實際接入時仍要按你手上的環境、介面類型同任務難度再做驗證。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, UI/UX

[教學影片] Seedance 2.5 逼近寫實 AI 影片生成

2026 年 9 月 2 日

Seedance 2.5 走向超寫實 AI 影片生成，重點放在畫面真實感同創作效率。這類工具適合想快速做出貼近真人拍攝效果嘅內容製作者。

Seedance 2.5 透過影片生成能力，主打把 AI 片段做得更貼近真實拍攝感，適合內容創作者、短片製作同需要快速試片嘅工作流。片段描述雖然唔多，但方向好清楚：重點唔係花巧效果，而係提升畫面可信度同整體觀感。

對一般創作者嚟講，呢類模型最有用之處係可以縮短由構思到成片嘅時間，尤其係要做概念片、廣告草稿、社交平台短片，或者先行測試視覺風格嘅時候。它強調 ultra realistic，代表畫面一致性、材質細節同動態自然度會係主要賣點。

不過，原始資料只提到示範與推廣用途，未有交代訓練細節、評測指標、輸入限制或實際可否隨意下載使用，所以唔適合自行推斷佢嘅開放程度。現階段較合理嘅理解係：Seedance 2.5 係一個面向高寫實影片生成嘅模型/服務，重點在於實用視覺效果，而唔係提供完整技術規格。

主打超寫實 AI 影片生成
適合短片、概念片同視覺草稿
核心價值係提升真實感同創作效率
原始資料未交代下載、開放程度同技術細節
內容明確偏向影片模型與線上服務場景

項目主頁

Categories: Video, 提示詞, 教學

Breeze TTS 2 即時語音生成

2026 年 9 月 2 日

Breeze TTS 2 主打即時語音互動，兼顧聲線設計、聲線模仿與低延遲串流。它把自然語言指令和參考音訊結合起來，令語音生成更靈活。

Breeze TTS 2 屬於 text-to-speech（TTS）模型，核心目標是把即時語音互動做得更自然，並同時處理聲線模仿、聲線設計和語氣控制。它基於自然語言指令，既可以用參考音訊去保留聲線特徵，也可以不靠參考音訊直接設計聲音，這令使用場景比一般單一路徑的 TTS 更廣。

模型權重只限研究與非商業用途，而原始程式碼則採用 Apache 2.0，這表示權重與程式碼的授權條款並不相同。

Breeze TTS 2 支援 Voice Clone、Voice Design、Voice Direction，同時提供 Vocal Events，讓使用者可在文字中加入 (laugh)、(cough) 之類的表現指令。頁面亦強調它有 ultra-low-latency streaming，適合需要即時回應的對話式語音互動。

重點主要集中在功能和評測定位，沒有提供 GGUF 檔案、mmproj、量化版本、檔案大小，亦未提到 llama.cpp、Ollama 或 LM Studio。只見到它在 Artificial Analysis TTS leaderboard 排名第一，並聲稱表現超越部分閉源前沿系統；但由於頁面未展示完整測試細節，較適合把它視為一個以互動延遲、可控性和聲線表現力作賣點的語音模型。

支援參考音訊模仿，也支援純文字描述生成新聲線
可以用文字內嵌事件控制笑聲、咳嗽等表現細節
主打低延遲串流，適合即時語音互動
權重屬研究與非商業用途，授權限制要先看清
頁面未提供量化、GGUF 或本地推論框架資訊

模型

Categories: 開源, 文字轉語音, 模型, 語音

StudentSim：為每個學生建立模擬器，令輔導教學更準

2026 年 9 月 2 日

StudentSim 把稀疏的學生紀錄轉成個人化模擬器，用來測試哪種提示或輔導真正改變答案。它同時處理答題相似度與對指導的反應，適合做教學策略比較。

StudentSim 是一個由 Microsoft 研究的工具套件，核心是替每位學生建立獨立模擬器，解決「真實學生回饋太慢、太少、太貴」這個輔導優化難題。它先從多名學生的資料做 pooled training，再針對單一學生做 specialization，讓模擬器不只答得像，還要在收到指導後出現和原學生相近的變化。

它涵蓋 chess、second-language English writing (L2) 和 middle-school mathematics 三個場景，安裝時可按需要選擇 chess、l2、math、inference、tutor_rl 或 baselines 等 extras。訓練與評估可以在本地按模組跑起來，若要做 tutor reinforcement learning，還需要 libcairo 供棋盤繪製；涉及語言模型的步驟則要設定 AZURE_OPENAI_ENDPOINT 和 AZURE_OPENAI_API_KEY。

和一般只模仿答案的做法相比，StudentSim 更重視兩件事：一是 behavioral fidelity，二是 guidance responsiveness。前者看模擬器有沒有保留學生的能力層次與弱點，後者看學生收到輔導後會不會像真實紀錄那樣改變答案；在 chess 裡，它還示範了把 student simulator 當成 reward 來源，直接訓練 AI tutor 產生更有效的指導。

可用來比較不同輔導語句對同一學生模型的影響
適合教學科技、學習分析和 AI tutor 研究團隊
支援多領域資料，方便觀察模型在不同學科的差異
提供 closed-model baselines，方便和角色扮演式提示做對照
評估不只看答對率，也看指導後是否真的改變行為

項目主頁 · GitHub

Categories: 開源, 微軟, 模型訓練

ReFlowSET 影像翻譯模型，衛星影像新標準

2026 年 9 月 2 日

ReFlowSET瞄準 SAR 影像難讀這個老問題，唔再沿用 latent diffusion model 的天花板。它用高保真 latent 空間配合 flow matching，換來更快取樣同更穩定畫質。

Repository image for KAIST-VICLab/ReFlowSET

落雨、夜晚甚至雲層遮擋時，Synthetic Aperture Radar（SAR）仍然影到地表，但訊號雜訊同幾何外觀都令判讀門檻偏高。ReFlowSET 屬於影像翻譯模型項目，處理的是 SAR-to-EO image translation：把 SAR 影像轉成較接近光學 Earth Observation（EO）影像的表達，方便人看，也方便接到後續視覺流程。

它沒有沿用常見的 latent diffusion model 微調路線，而是保留凍結的 FLUX.2 autoencoder，改用從零開始訓練的 conditional flow-matching transformer。這個選擇直接避開舊方法受限於原有 autoencoder 重建上限的問題，同時把生成放進較高保真的 latent space 內處理；代價是主體模型仍然相當大，DiT 達 509M 參數，訓練門檻不算低。

訓練時，模型會根據 SAR latent 去預測由隨機噪聲走向 EO latent 的線性 flow velocity，並加入 representation alignment，將中途特徵對齊到凍結的 DINOv3 ViT-L/16 teacher。呢個 teacher 同 REPA projector 只在訓練期間使用，推理時會移除，所以正式生成流程比訓練結構簡潔，亦解釋到它點樣兼顧語義對齊同推理效率。

項目在 QXS-SAROPT 與 SAR2Opt 上，團隊把十五種早前方法放到同一 protocol 同 evaluator 之下重訓比較，ReFlowSET 取得兩個資料集最佳 DISTS，並在 SAR2Opt 拿到最佳 FID 與 LPIPS。它亦提供四步取樣設定，速度約比五十步版本快 11 倍，較適合想測試 SAR 轉光學可視化、遙感分析前處理，或研究生成品質與延遲取捨的團隊。

以 frozen FLUX.2 autoencoder 加 conditional flow-matching transformer 重建 SAR-to-EO 流程
用 DINOv3 ViT-L/16 做 representation alignment，但 teacher 不會帶入推理
在 QXS-SAROPT 與 SAR2Opt 拿到最佳 DISTS，SAR2Opt 亦有最佳 FID 與 LPIPS
四步取樣版本大幅縮短生成時間，適合做速度與畫質折衷測試
已公開 PyTorch 實作、論文預印本與預訓練模型，較適合研究型團隊直接驗證

項目主頁 · GitHub · 模型

Categories: 開源, Image, Python, 模型, Dataset 數據集

KATok 教影片 VAE 自己丟 Token 減運算量

2026 年 9 月 1 日

Kakao 開源 KATok，一個會根據內容自動決定保留多少 token 的影片 VAE，靜態畫面用得少，動態場景留得多，省下的算力直接交給下游擴散模型。

KATok 處理嘅係影片生成入面一個常見但少有人拆開嚟解決嘅問題：傳統影片 VAE 用固定壓縮比，無論係一張幾乎唔郁嘅定鏡，或者主體快速移動嘅場面，每段都會被切成同一個 token 數。呢種做法喺靜態片段上明顯浪費頻寬，令擴散模型要做好多無意義嘅工作。

佢嘅做法係喺 transformer VAE 嘅 latent bottleneck 加一個可學習嘅 keep-or-drop 決策，對每個 token 估計要唔要保留，仲會一齊學 latent 表示。遮罩同時控制 latent 值同 decoder 嘅注意力，decoder 用 coarse-to-fine 結構由稀疏 token 重建細節，因此 token 數變成內容嘅結果，而唔係預設參數，亦唔需要推理時搜索。

喺 Panda-70M 256²×16 設定下，平均 366 個 token 就可以達到 31.24 PSNR 同 5.12 rFVD；喺 UCF-101 嘅稀疏生成實驗中達到 61.53 gFVD，比 dense transformer tokenizer 訓練快 6.9 倍。代價係當 token 被丟棄後空間佈局會被打亂，所以佢哋仲設計咗 cascaded mask prior 同 joint content–position 變體，幫下游擴散模型補返結構。

值得留意嘅重點：

自適應 token 化，內容決定 token 數，無需推理時搜索或人手調參
喺 Panda-70M 用 366 個 token 達到 31.24 PSNR / 5.12 rFVD
UCF-101 稀疏生成快 6.9 倍訓練速度，質素達 61.53 gFVD
提供 inference code 同權重（仍在內部審核），訓練碼暫未開源
直接用 PyTorch SDPA 即可行，安裝簡單

如果你嘅團隊需要處理大量冗餘嘅影片片段，又想慳運算量畀下游生成模型，呢種由內容決定 token 數嘅做法比起單純壓解像度更貼近問題本質。

項目主頁 · GitHub

Categories: 開源, Image, 推理引擎

Page 1 of 147

1 2 3 … 147 Next »