Infer News

GraphRAG 提升全面性和多样性

  • 智能問答系統：GraphRAG 能夠提高智能問答系統的準確性，提供多樣化的答案選項，大幅提升用戶體驗。
  • 自動文本摘要：GraphRAG 能夠實現高效、準確的摘要生成，捕捉文本核心觀點，生成簡潔的摘要。
  • 知識管理：GraphRAG 將成為企業和研究机构的重要工具，幫助構建企業級知識圖譜，提升内部知識資源管理和利用效率。
(英)Welcome to GraphRAG
👉 Microsoft Research Blog Post 👉 GraphRAG Accelerator 👉 GitHub Repository
👉 GraphRAG Arxiv
Categories: 軟件, 工具

SenseVoice 具有音頻理解能力的音頻基礎模型

語音識別（ASR）、語種識別（LID）、語音情感識別（SER）和聲學事件分類（AEC）或聲學事件檢測（AED）
在多個任務測試集上的benchmark，以及體驗模型所需的環境安裝的與推理方式。

Mac M1 上實測，廣東話夾英文一齊都好準，不過出嘅係簡體中文！

Categories: 模型, 語音

MoA : 合拼多模型

(英)MoA 允許您將多個小型模型（稱為「代理人」）组合成一個更強大的模型。
透過採用每層包含多個 LLM 代理程式的分層架構，MoA 僅使用開源模型，在 AlpacaEval 2.0 上的得分為 65.1%，顯著優於 GPT-4 Omni 的 57.5%！
Categories: 工具, 新聞

用 ORPO 微調 Llama3

(英)使用 ORPO 和 TRL 函式庫對新的 Llama 3 8B 模型進行微調。
程式碼已放在 Google Colab 和 GitHub 上。
Categories: 教學

whisper.cpp v.1.6.2 源碼: Speech To Text 輕量級模型

輕量級的模型實現可以輕鬆地將其整合到不同的平台和應用程式中
可以在非常短時間內將音訊轉錄為文字…
如何在 Mac 上安裝 Whisper，一款令人驚嘆的 OpenAI 語音轉文字辨識系統

進楷優化

更快、更小的 Whisper：深入研究量化和 Torch 編譯
本文透過批次加速，增強基於 PyTorch 的 Whisper 模型性能。透過利用透過轉換器、實現靜態快取以及利用torch.compile，顯著加快模型的推理速度。此外，使用HQQ將 Whisper 模型量化為 4 位，以最小的降級保持轉錄質量，正如字錯誤率 (WER) 基準評估的那樣。

微調前後

Categories: 工具

RAGMeUp 資料集上進行 RAG

(英)在任何資料集上應用 LLM 功能的通用rag框架
可以在 CPU 上運行，但在使用預設指令模型時最好在任何具有至少 16GB vRAM 的 GPU 上運行
Categories: 工具
Page 3 of 6
1 2 3 4 5 6