建構一個能夠傾聽和觀察世界的人工智慧助手（逐步教學）(英)

Building an AI assistant that listens and sees the world (Step by step tutorial)

---

whisper.cpp v.1.6.2 源碼: Speech To Text 輕量級模型

輕量級的模型實現可以輕鬆地將其整合到不同的平台和應用程式中

可以在非常短時間內將音訊轉錄為文字…

如何在 Mac 上安裝 Whisper，一款令人驚嘆的 OpenAI 語音轉文字辨識系統

---

進楷優化

更快、更小的 Whisper：深入研究量化和 Torch 編譯

本文透過批次加速，增強基於 PyTorch 的 Whisper 模型性能。透過利用透過轉換器、實現靜態快取以及利用torch.compile，顯著加快模型的推理速度。此外，使用HQQ將 Whisper 模型量化為 4 位，以最小的降級保持轉錄質量，正如字錯誤率 (WER) 基準評估的那樣。

---

微調前後

---

RAGMeUp 資料集上進行 RAG

(英)在任何資料集上應用 LLM 功能的通用rag框架

可以在 CPU 上運行，但在使用預設指令模型時最好在任何具有至少 16GB vRAM 的 GPU 上運行

---

Hugging Face Spaces 平臺被駭

Hugging Face Spaces平臺被駭，緊急呼籲用戶重設憑證

Hugging Face於5月31日發布資安公告，他們偵測到ML應用代管平臺Spaces有未經授權的存取活動，緊急註銷多筆包含其中的HF令牌，並以電子郵件通知受影響用戶

---

ChatTTS 對話場景設計的文本轉語音模型

(英)支持英文和中文兩種語言。最大的模型使用了10萬小時以上的中英文數據進行訓練

[laugh]和[uv_break], [lbreak]作為字級別的控制單元

chatTTS语音合成，效果真实如人类，开源免费！Windows、MacOS本地使用教程，附Windows整合包，Colab一键运行脚本。

---

RAG 如何建立自訂的大型語言模型：綜合指南

(英)How RAG helps Transformers to build customizable Large Language Models: A Comprehensive Guide

自然語言處理 (NLP) 在過去幾年中取得了革命性的進步，這主要是由 Transformer 等複雜語言模型的開發所推動的。在這些進步中，檢索增強生成（RAG）作為一項尖端技術脫穎而出，它顯著增強了語言模型的能力。 RAG 將檢索機制與生成模型結合，創建可自訂、高效且準確的語言模型。讓我們研究一下 RAG 如何幫助 Transformer 建立可自訂的 LLM 及其底層機制、優勢和應用程式。了解 Transformer 及其限制 Transformer 憑藉其處理和生成類人文本的能力徹底改變了 NLP。 Transformer 架構採用自註意力機制

---

Llama中文社區，所有代碼更新適配Llama3

GitHub – LlamaFamily/Llama-Chinese: Llama中文社區

Llama中文社區，Llama3在線體驗和微調模型已開放，實時匯總最新Llama3學習資料，已將所有代碼更新適配Llama3，構建最好的中文Llama大模型，完全開源可商用

---

Omost 可控 Text2Image

(英)Stable DIffusion 加上 LLM 令出圖隨心所欲

Omost = Almost AI Image Generation from lllyasviel

---

Instance Diffusion: AI 驅動的可控視訊動畫

Stable Diffusion Comfy-UI 為基礎

一種突破性的技術已經出現，它有望徹底改變我們處理視訊動畫和視覺效果的方式。

---

[2405.15556] RobustRAG 針對檢索攻擊的第一個防禦框架

RobustRAG 採用隔離然後聚合策略

檢索增強生成（RAG）已被證明容易受到檢索損壞攻擊：攻擊者可以將惡意段落注入檢索結果以引發不準確的回應。對於某些查詢，RobustRAG 始終可以返回準確的回應，即使攻擊者完全了解我們的防禦並可以任意注入少量惡意段落。我們在開放域 QA 和長格式文字產生資料集上評估 RobustRAG，並證明其在各種任務和資料集上的有效性和通用性。檢索增強生成（RAG）已被證明容易受到檢索損壞攻擊：攻擊者可以將惡意段落注入檢索結果以引發不準確的回應。

---