InferNews

MMAudio 自動配音效模型

高品質的自動音訊合成模型
其創新之處在於採用多模態聯合訓練方法，能同時利用影音和文字資料進行訓練。 模型能根據影片和/或文字提示生成同步的音訊，並包含一個同步模組確保音訊與影片畫面一致。

詳細說明了模型架構、使用方法（包含命令列和圖形介面）、預訓練模型下載和安裝步驟，以及已知限制和未來發展方向，例如訓練和評估部分仍在進行中。 整體而言，MMAudio專案旨在提供一個強大且易於使用的影片到音訊合成工具。
Categories: Audio, 模型, 聲效

DiffSensei 客製化漫畫

結合擴散的圖像生成和多模態大型語言模型 (MLLM)

DiffSensei 效能超越現有模型，代表在漫畫生成領域的重大進展，實現了文本可調整的角色客製化，並公開程式碼、模型和數據集。

DiffSensei 使用遮罩交叉注意力來整合角色特徵，實現精確的版面控制，並透過 MLLM 調整角色特徵以符合面板的文字提示，從而靈活調整角色的表情、姿勢和動作。研究團隊也公開了一個大型數據集 MangaZero，包含大量漫畫頁面和標註面板，以支援此任務。實驗結果顯示。

Categories: 模型

TRELLIS 3D 高品質三維模型

根據文字或圖片提示生成高品質的三維模型
支援 Radiance Fields、3D Gaussians 和 mesh等多種格式。其核心是 Structured LATent, (SLAT 結構化潛在推理），採用為 SLAT 量身打造的校正流變換器（Rectified Flow Transformers）作為骨幹。專案提供了多達 20 億個參數的大規模預訓練模型，訓練資料包含 50 萬個不同類型的三維物件。TRELLIS 在效能上顯著超越現有方法，並展現出靈活的輸出格式選擇和局部三維編輯能力。文中包含模型架構、安裝步驟、預訓練模型、使用範例（包含最小化範例和網頁Demo）、授權資訊以及引用資訊等細節。

輸出的 3D 型以 Mixamo 加入 Rigging 教學

Best Free 3D Model Generator AI in 2025 - Free & Open Source 3D AI Models are Here!
Categories: 3D, 模型, 開源

LayoutLM 文件理解和資訊提取

Hugging Face Transformers 框架中的 LayoutLM 模型
重點介紹了 LayoutLM 模型如何結合文字資料與文件版面資訊，從而更有效地理解文件結構並提取關鍵資訊，例如表格、發票或收據中的資訊。 教學使用 FUNSD 資料集作為範例，並逐步演示了如何預處理資料、載入 LayoutLM 模型、進行預測以及將預測結果視覺化地顯示在文件的影像上，藉由命名實體辨識 (NER) 標記出文件中的關鍵資訊。文章的目標是讓讀者學會如何運用 LayoutLM 模型處理結構化文件，並提取有用的資訊。

Categories: 教學, 模型

MV-Adapter 多視角影像生成

MV-Adapter: Multi-view Consistent Image Generation Made Easy
MV-Adapter 是一款多功能的即插即用適配器，可將現有的預先訓練的文本到圖像 (T2I) 擴散模型轉變為多視圖生成器。不同於以往需要完整微調的繁複方法，MV-Adapter 透過更新較少參數，有效降低計算成本並避免過擬合。

它利用創新的雙重自我注意力層和平行注意力架構，高效建模 3D 幾何知識，並整合了條件編碼器以處理不同輸入，例如文字、圖片或幾何資訊。實驗結果顯示，MV-Adapter 在不同基礎 T2I 模型和控制條件下，都能生成高保真、多視角一致的影像，展現其適應性和多功能性，為多視角影像生成設定了新的品質標準。

Categories: 3D, txt2img, 模型, 開源

Switti 高速 text2img 模型

Scale-wise transformers 模型
Switti 基於 Transformer 架構，用於文本到圖像生成的 scale-wise 模型。性能上優於現有的 T2I AR 模型，並可與最先進的 T2I 擴散模型相媲美，同時速度提高了 7 倍。

在高分辨率尺度上禁用分類器自由引導可以進一步加速採樣，並改善細節生成。
Categories: txt2img, 模型

Prefixing – 簡易提升 RAG 準確度

在向量數據庫應用中，「prefixes」指的是在文本塊輸入嵌入模型之前，在文本塊前插入一段描述其目的的文本。「prefixes」是一個簡單但有效的技術，可以顯著提高向量數據庫應用的準確性達 200%。

在 Olama 官方庫中的五個嵌入模型中，只有三個支持「prefixes」，Nomic、Snowflake Arctic 和 Mixed Bread 等。

儘管傳統的 LLM 可能更大，但它們不適合生成嵌入。嵌入模型專為生成嵌入而設計，它們的速度要快得多，並且可以產生更好的結果。Prefixing」嘅簡單技巧嵌入技巧。

Don’t Embed Wrong!
Categories: 工具, RAG, 教學, 模型, 模型訓練

FLOAT – 最強 LipSync 工具

FLOAT 是個音訊驅動人像影片模型。模型提供能夠生成更自然、更具表現力的面部動畫，反映出說話者的情感狀態。

FLOAT

關鍵詞彙表

  • 擴散模型 (Diffusion models): 一種生成模型，通過逐漸向數據添加噪聲，然後學習逆轉該過程來生成新數據。
  • 流匹配 (Flow matching): 一種生成模型訓練技術，其目標是學習將簡單分佈轉換為目標數據分佈的變換。
  • 運動潛在空間 (Motion latent space): 一個表示人像運動的低維空間，從輸入的人像圖像中學習得到。
  • 音頻驅動說話人像生成 (Audio-driven talking portrait generation): 使用音頻信號作為輸入，生成與音頻同步的說話人像視頻的任務。
  • 情感增強 (Emotion enhancement): 根據輸入的語音情感標籤，增強生成的人像動畫的情感表現力。
  • 幀級 AdaLN (Frame-wise AdaLN): 一種自適應層歸一化技術，在每個時間步長根據條件信息調整特徵統計量，用於增強生成運動的多樣性。
  • 函數評估次數 (NFEs): 評估生成模型所需的時間步長或迭代次數，用於衡量模型的效率。
  • 3DMM 頭部姿態參數 (3DMM head pose parameters): 一種基於 3D Morphable Model 的人臉姿態表示，可以控制生成人像的頭部方向。
Categories: 模型, 語音

Ollama 簡易模型優化

您是否曾經被 AI 模型建立的複雜性所淹沒？想像一下，您站在一場令人興奮旅程的門檻上，原本令人畏懼的 AI 模型客製化任務，突然變得令人振奮。

我們探索了 Ollama 的 Modelfile 世界，這是一個強大的工具，旨在改變您與 AI 開發互動的方式。想像一下：您拿了一個普通的模型，比如 Llama3.2，並為它注入新的生命，只需幾行代碼就能定制它的行為。通過每個命令，您為您的模型解鎖新的能力，賦予它個性與目的。

但是，如果您想更深入，將一個 safetensors 模型轉換並整合到您的工作流程中呢？這才是令人興奮的部分！加入我們的旅程，穿越 AI 客製化複雜而迷人的領域。您準備好迎接挑戰了嗎？

The Path To Better Custom Models

Categories: Ollama, 教學, 模型, 模型訓練
Page 6 of 9
1 … 4 5 6 7 8 9