從零寫AI RAG 個人知識庫

影片中,作者使用了 Google 的 embedding 模型和 ChromaDB 向量資料庫來實現這個架構。 影片強調動手實作的重要性,鼓勵觀眾親自寫一遍程式碼以加深理解。

影片中,作者使用了 Google 的 embedding 模型和 ChromaDB 向量資料庫來實現這個架構。

  • RAG 架構簡介 解釋了 RAG 的基本原理,即將長文章拆分成小片段,對每個片段進行 embedding,然後儲存到向量資料庫中,並在使用者提問時找出最相關的片段發送給大型語言模型。
  • 文章分塊 示範如何將一篇關於「令狐沖轉生為史萊姆」的虛構文章進行分塊處理。他首先使用雙回車符作為切分依據,然後進一步優化,將以警號開頭的標題與後續的正文合併。
  • Embedding 與資料庫儲存 介紹如何使用 Google 的 embedding 模型對分塊後的文本進行 embedding,並將這些 embedding 及其原始文本儲存到 ChromaDB 向量資料庫中。作者特別提到 Google embedding 模型的「儲存」和「查詢」兩種模式。
  • 查詢功能 說明如何透過查詢 embedding 模型並從 ChromaDB 中檢索出與使用者問題最相關的文本片段。
  • 整合大型語言模型 最後,展示如何將查詢到的相關文本片段與使用者問題一起發送給大型語言模型(Gemini Flash 2.5),以生成更準確的回應。

影片強調動手實作的重要性,鼓勵觀眾親自寫一遍程式碼以加深理解。

从零写AI RAG 个人知识库
Categories: 開源, RAG, Embedding, Gemini, 教學

n8n 與 ComfyUI 自動化生成本地 AI 視頻

教程展示了AI工具鏈整合的未來趨勢,將碎片化任務轉爲端到端自動化系統,適合想提升創作效率的技術型用戶。若需實作細節,可參考影片中的Docker指令與節點配置截圖。

教程展示了AI工具鏈整合的未來趨勢,將碎片化任務轉爲端到端自動化系統,適合想提升創作效率的技術型用戶。若需實作細節,可參考影片中的Docker指令與節點配置截圖。

n8n with ComfyUI AI Video Automation Local Setup Walkthrough
Categories: ComfyUI, 影像模型, 影像處理, txt2img, 教學

FaceFusion 3.2.0 GPU 詳細安裝教程

💥 FaceFusion 3.2.0 更新不僅帶來了全新的GPU加速,還提升了不少效能與真實感! 🔍 新功能1️⃣ YOLO NSFW過濾2️⃣ 多GPU支援3️⃣ FLAC音訊輸出4️⃣ 臉部選擇增強

💥 FaceFusion 3.2.0 更新不僅帶來了全新的GPU加速,還提升了不少效能與真實感!

🔍 新功能
1️⃣ YOLO NSFW過濾
2️⃣ 多GPU支援
3️⃣ FLAC音訊輸出
4️⃣ 臉部選擇增強

Categories: 開源, 影像模型, 教學

LatentSync 1.5 – 最穩定的 LipSync 開源方案

LatentSync 1.5 是 ByteDance 團隊在 GitHub 上發佈的開源專案。1.5 版本增強了中文影片的表現。它的主要功能是直接地將音頻資訊轉換成為逼真的口型動作。專案提供了完整的訓練和推論程式碼,包含資料處理流程、兩種模型訓練步驟(U-Net 和 SyncNet),以及詳細的推論指令。

LatentSync 1.5 是 ByteDance 團隊在 GitHub 上發佈的開源專案。1.5 版本增強了中文影片的表現。它的主要功能是直接地將音頻資訊轉換成為逼真的口型動作。專案提供了完整的訓練和推論程式碼,包含資料處理流程、兩種模型訓練步驟(U-Net 和 SyncNet),以及詳細的推論指令。

LatentSync 1.5 | 2025最强数字人,完美适配无人直播间,带货必备,优化中文语音,唇形同步!
LatentSync In ComfyUI Another Level Of AI Talking Avatar—Open Source Plus It Works!
Categories: 影像處理, 教學

HeyGem – Heygen 的開源平替產品

HeyGem AI,一個能夠在 Windows 系統上可以離線執行的數字人合成工具。這個工具的核心功能是可以精確地複製人物外貌和聲音,創造出獨特的數字人,你可以選擇透過文字,或者語音驅動這些虛擬數字人生成影片。HeyGem AI 只是開源了前端的介面,核心技術和模型就並未公開。影片亦提供了詳細的安裝步驟、以及開放 API 的接口使用方法。

HeyGem AI,一個能夠在 Windows 系統上可以離線執行的數字人合成工具。這個工具的核心功能是可以精確地複製人物外貌和聲音,創造出獨特的數字人,你可以選擇透過文字,或者語音驅動這些虛擬數字人生成影片。HeyGem AI 只是開源了前端的介面,核心技術和模型就並未公開。影片亦提供了詳細的安裝步驟、以及開放 API 的接口使用方法。

👍HeyGen平替开源数字人产品:HeyGemAI最强解析🟢硅基数字人HeyGemAI最强解析,效果,资源需求,牛哥一键本地部署🟢牛哥AI实验室 NIUGEE AI(147)

Categories: 數字人, 教學, 語音

DeepSeek-R1 的強化學習可視化

影片主要講解 DeepSeek R1 模型背後的強化學習演算法,並著重於如何透過人類回饋來訓練獎勵模型。包括如何根據人類對不同回應的偏好來調整獎勵值。接著深入探討 “近端策略優化”(Proximal Policy Optimization)演算法的細節。同時亦探討如何利用 “優勢函數”(Advantage Function)避免偏離原始策略。最後,影片亦解釋了如何運用群體策略優化成高於平均水準的回應,同時亦阻止了低於平均水準的回應,而因此提升了模型的推理能力。

影片主要講解 DeepSeek R1 模型背後的強化學習演算法,並著重於如何透過人類回饋來訓練獎勵模型。包括如何根據人類對不同回應的偏好來調整獎勵值。接著深入探討 “近端策略優化”(Proximal Policy Optimization)演算法的細節。同時亦探討如何利用 “優勢函數”(Advantage Function)避免偏離原始策略。最後,影片亦解釋了如何運用群體策略優化成高於平均水準的回應,同時亦阻止了低於平均水準的回應,而因此提升了模型的推理能力。

Reinforcement Learning in DeepSeek-R1 | Visually Explained
Categories: 開源, 模型, DeepSeek, 教學

Gemini 2.0 語音及影像應用程式

透過 Gemini 2.0 API 和 Next.js 框架,作者分享了如何建構一個實時多模態應用程式。佢能夠接收影像和語音輸入,並透過 WebSocket 傳送至 Gemini API。Gemini API 會生成音頻輸出和文字轉錄,然後整合到有互動功能的聊天介面。教學包括深入探討應用程式的各個組件部分,例如媒體擷取、音訊處理、WebSocket 連線、轉錄服務以及用戶介面的更新。作者亦提供了開源的程式範例,並且逐步加以說明,方便大家由 GitHub 複製,並執行這應用程式。

透過 Gemini 2.0 API 和 Next.js 框架,作者分享了如何建構一個實時多模態應用程式。佢能夠接收影像和語音輸入,並透過 WebSocket 傳送至 Gemini API。Gemini API 會生成音頻輸出和文字轉錄,然後整合到有互動功能的聊天介面。教學包括深入探討應用程式的各個組件部分,例如媒體擷取、音訊處理、WebSocket 連線、轉錄服務以及用戶介面的更新。作者亦提供了開源的程式範例,並且逐步加以說明,方便大家由 GitHub 複製,並執行這應用程式。

Categories: 多模態模型, Gemini, 教學

GPT-SoVITS-WebUI 3 支持粵語 TTS

只要輸入 5 秒的聲音樣本,就可以體驗到 TTS 的聲音轉換,俗稱 “變聲”。而僅需要 1 分鐘的語音訓練數據,就可以微調模型,提升語音的相似度。GPT-SoVITS 目前支持英語、日語、韓語、粵語和中文。提供的 Web 工具令 TTS 操作相當方便,甚至提供歌曲與伴奏分離、自動語音訓練、中文自動語音識別(ASR)和文本標注,協助初學者創建訓練數據集和 GPT / SoVITS 模型。 https://github.com/RVC-Boss/GPT-SoVITS

只要輸入 5 秒的聲音樣本,就可以體驗到 TTS 的聲音轉換,俗稱 “變聲”。而僅需要 1 分鐘的語音訓練數據,就可以微調模型,提升語音的相似度。GPT-SoVITS 目前支持英語、日語、韓語、粵語和中文。提供的 Web 工具令 TTS 操作相當方便,甚至提供歌曲與伴奏分離、自動語音訓練、中文自動語音識別(ASR)和文本標注,協助初學者創建訓練數據集和 GPT / SoVITS 模型。

    https://github.com/RVC-Boss/GPT-SoVITS

    Categories: 教學

    Tokenizers 分詞器的摘要

    分詞對訓練模型相當重要。簡單來說,就是將一段文本分割成很多單詞或者子單詞, 這些單詞或者子單詞將會通過一個表格被認知為名詞,專有名詞,或是助語詞之類,也就是將文章的詞彙轉為有意義的關建數值。這個 HuggingFace 的介紹包含了 CoLab 嘅筆記,你可以直接試用不同的分詞技術。

    分詞對訓練模型相當重要。簡單來說,就是將一段文本分割成很多單詞或者子單詞, 這些單詞或者子單詞將會通過一個表格被認知為名詞,專有名詞,或是助語詞之類,也就是將文章的詞彙轉為有意義的關建數值。這個 HuggingFace 的介紹包含了 CoLab 嘅筆記,你可以直接試用不同的分詞技術。

    Categories: 教學

    AI 演算法工程師如何開發一個 AI 專案

    影片旨在澄清外界對 AI 演算法工程師的誤解,並介紹了 AI 專案開發的實際情況和所需技能,強調了演算法工程師在專案中除了模型開發,也需要具備工程開發能力,並能根據專案需求靈活調整開發策略。 本片的 GitHub 方案

    【大模型工程开发】AI算法项目开发参考流程与案例

    影片旨在澄清外界對 AI 演算法工程師的誤解,並介紹了 AI 專案開發的實際情況和所需技能,強調了演算法工程師在專案中除了模型開發,也需要具備工程開發能力,並能根據專案需求靈活調整開發策略。

    • 國外網站上常見兩種職位:
      • 數據科學家 (Data Scientist): 專注於演算法開發,目標是提高模型準確度和效率,並降低資源開銷。他們會參與數據競賽,優化模型,進行數據清洗等工作。
      • AI 工程師 (AI Engineer/Machine Learning Engineer): 專注於 AI 應用開發,將已開發好的模型部署成實際可用的應用。例如,將模型部署成 API 服務,並考慮模型工程化、服務穩定性、並發處理、模型可視化以及在嵌入式系統或效能不佳的機器上優化等問題。
    • 影片中也提到,還有一類頂尖的演算法工程師,他們會提出新的演算法或模型架構。

    本片的 GitHub 方案

    Categories: 教學

    Page 10 of 21
    1 … 8 9 10 11 12 … 21