InferNews

HuMo：文本、圖片和音訊三種輸入

HuMo 是一個以人類為核心的多模態條件影片生成框架，能夠根據文本、圖片和音訊三種輸入產生高品質且可精細控制的人物影片。專案由清華大學與字節跳動智創團隊聯合開發

主要特色

  • 支援 文本-圖片、文本-音訊 及 文本-圖片-音訊 的多模態影片生成，可自由設計角色造型、服裝、道具和場景。
  • 文字指令的高遵循度、角色連貫性，以及音訊帶動的動作同步。
  • 可生成 480P 或 720P 的高規格影片，並支援多 GPU 計算。

快速安裝及使用

  • 透過 Conda 及 pip 安裝相關依賴（Python 3.11、Torch 2.5.1 等），並下載模型檔。
  • 支援直接輸入文本、參考圖片和音訊檔案，根據三種模式（TA、TIA）選擇推理腳本運行生成。

Categories: 字節跳動, 數字人, 視頻模型, 開源

UniVerse-1 同步生成有聲影片

UniVerse-1 是個類似 Veo-3 的模型，可根據參考圖像和文字提示同時產生同步音訊和視訊。

  • 統一音視頻合成：具有同時生成音訊和視訊的強大功能。它能夠解析輸入提示，產生完美同步的視聽輸出。
  • 語音音訊產生：此模型可直接根據文字提示產生流暢的語音，展現了其內建的文字轉語音 (TTS) 功能。至關重要的是，它能夠根據生成的特定字元調整語音音色。
  • 樂器演奏聲音生成：此模型在創造樂器聲音方面也非常熟練。此外，它還提供了「邊彈邊唱」的功能，可以同時產生人聲和樂器音軌。
  • 環境聲音生成：此模型可以產生環境聲音，產生與視訊視覺環境相符的背景音訊。
  • 第一個開源的基於 Dit 的音訊視訊聯合方法：我們是第一個開源基於 DiT、類似 Veo-3 的聯合視聽生成模型。

Categories: 香港科技大學, 多模態模型, 視頻模型, 開源

OpenCode 基於終端機的 AI 開發工具

opencode 是一個基於終端機的 AI 工具，專注於協助開發者在終端機環境中進行編碼、除錯等任務。它提供了一個互動式的終端使用者介面（TUI），並支援多種 AI 模型和語言伺服器協議（LSP），以提供程式碼智能功能。

不同於其他工具（如 Claude Code），opencode 不依賴特定 AI 提供商，支援超過 75 個大型語言模型（LLM）提供商，包括 OpenAI、Anthropic Claude、Google Gemini、AWS Bedrock、Groq、Azure OpenAI 等，甚至支援本地模型。

主要功能

  • 互動式 TUI：使用 Bubble Tea 框架打造，提供流暢的終端機使用者體驗。
  • 多會話管理：支援在同一專案中並行啟動多個 AI 代理。
  • 工具整合：AI 能執行指令、搜尋檔案、修改程式碼，並支援外部工具透過 Model Context Protocol（MCP）進行整合。
  • LSP 支援：內建語言伺服器協議，提供跨語言的程式碼智能功能。
  • 檔案變更追蹤：追蹤並可視化會話期間的檔案變更。
  • 可分享連結：支援將與 opencode 的對話生成可分享的連結，便於團隊協作或除錯。
  • 支援 Claude Pro：可透過 Anthropic 帳戶登入使用 Claude Pro 或 Max。
  • 自訂功能：支援主題自訂、鍵盤綁定、程式碼格式化工具設定及自訂指令。
Categories: Vibe Coding, 編程, 開源

DeepCode AI 驅動的開發平台

DeepCode 是個 AI 驅動的開發平台，可自動執行程式碼產生和實作任務。我們的多代理系統能夠處理將需求轉化為功能齊全、結構良好的程式碼的複雜性，讓您專注於創新，而不是實現細節。

DeepCode 透過為常見的開發任務提供可靠的自動化來解決這些工作流程效率低下的問題，從而簡化從概念到程式碼的開發工作流程。
https://github.com/HKUDS/DeepCode

DeepCode: This FREE Agentic AI Coder is INSANE!
Categories: 香港大學, Vibe Coding, 編程, 開源

SIM Studio AI

Sim Studio 是個輕量、直觀的開源項目及平台，專注於建構和部署基於大型語言模型（LLM）的 AI 代理工作流程。其核心目標是簡化複雜的 AI 代理開發過程，特別是多步驟代理系統的設計與調試。Sim 提供了一個用戶友好的界面，允許開發者通過拖放式工作流程快速構建和整合 AI 功能，並與多種工具（如 GitHub）進行無縫連接。

它提供雲端託管選項（可在 https://sim.ai 使用），以及多種自託管方式，包括 NPM 套件、Docker Compose、Dev Containers 和手動設定。平台支援使用 Ollama 運行本地 AI 模型（可選擇 GPU 或 CPU），並利用向量嵌入來實現知識庫和語義搜尋等功能。開發環境主要基於 JavaScript 運行時 Bun，並需配置 PostgreSQL 資料庫（含 pgvector 擴充）。

Categories: 編程, 開源

USO：統一風格的生成模型

USO 全稱為「Unified Style-Subject Optimized customization model」，能將任何影像主體融入任何風格，開啟創作新紀元並在各種情境中自由揮灑創意。

傳統上，風格驅動生成模型側重於風格相似性，而主體驅動生成模型則強調主體的一致性，這兩者往往難以兼顧。USO 模型的誕生，打破了這種壁壘，它提出了一種統一的框架，透過對「內容」與「風格」的解耦與重組，實現了兩者的自由組合。無論您想將特定人物融入動漫風格，或是為靜物照片賦予水彩畫的韻味，USO 都能輕鬆應對。

(more…)
Categories: 字節跳動, 影像模型, 影像處理, 開源

VibeVoice：前沿開源文字轉語音模型

VibeVoice 是一個開源，能將文字內容轉化為自然流暢、多角色對話音訊的框架工具。它擁有充滿情感與生命力的聲音。VibeVoice 不僅僅是一個文字轉語音 (TTS) 模型，它更是一個解決傳統 TTS 系統在可擴展性、說話者一致性及自然輪流對話方面重大挑戰的創新框架，特別適用於生成播客等長篇、多說話者的對話音訊。

VibeVoice 的核心創新之一，在於其採用了連續語音分詞器（聲學和語義），並以超低 7.5 Hz 的幀率運行。這些分詞器能有效地保留音訊保真度，同時顯著提升處理長序列的計算效率。此外，VibeVoice 採用了「下一詞元擴散」框架，巧妙地利用大型語言模型 (LLM) 來理解文本語境和對話流程，再透過擴散頭生成高保真度的聲學細節。這使得模型能夠合成長達 90 分鐘的語音，並支援多達 4 位不同的說話者，遠超許多先前模型通常僅限於 1-2 位說話者的限制。

(more…)
Categories: 微軟, 語音, 開源

MiniCPM-V 4.5 視覺與語言結合

MiniCPM-V 的核心亮點在於其驚人的效率與效能平衡。儘管模型尺寸輕巧，例如 MiniCPM-V 2.0 僅有 2.4B 參數，而更新的 MiniCPM-V 2.4 則為 2.8B 參數，它們卻能展現出足以媲美甚至超越許多大型模型的實力，例如 LLaVA-1.5 7B/13B 或 Qwen-VL。這種「小而強大」的特性，使得 MiniCPM-V 在部署上更具彈性，降低了運算資源的需求，為更廣泛的應用場景開啟了大門。

MiniCPM-V 系列在多項關鍵能力上表現出色，尤其在 OCR（光學字元辨識）、物體偵測與視覺推理方面。它不僅能夠精準地從複雜圖像中提取文字資訊，還能有效地識別圖像中的物件，並進一步進行高層次的語義理解與推理。例如，MiniCPM-V 2.0 支援高達 640×640 像素的圖像解析度，而 MiniCPM-V 2.4 更將其提升至 768×768 像素，確保了在細節處理上的卓越表現。這意味著無論是文件處理、街景分析，還是需要深度圖像理解的應用，MiniCPM-V 都能提供可靠的解決方案。此外，該模型還支援多語言能力，進一步擴展了其全球應用的潛力。

MiniCPM-V 4.5: High-Refresh Rate Video Understanding MLLM
(more…)
Categories: 視覺模型, 開源

ROSE2025 移除影片中任何物件

ROSE2025，全名為「可靠且開放集事件修補（Remove Objects with Side Effects）」。旨在推動電腦視覺領域，為處理複雜、動態的視覺數據缺失問題提供更穩健、更智能的解決方案。在不斷演進的電腦視覺領域，事件修補（Event Inpainting）正成為一項引人注目的新興研究方向。

ROSE2025 涵蓋了多個關鍵研究主題，包括但不限於：基於生成式模型的事件修補方法、深度學習在事件資料恢復的應用、新穎的損失函數與評估指標、開源數據集與基準的創建、以及與機器人、自動駕駛、監控等實際應用場景的結合。

Categories: 香港大學, 影像模型, 影像處理, 視覺模型, 視頻模型, 開源
Page 13 of 23
1 … 11 12 13 14 15 … 23