CAG (Cache-Augmented Generation ) 挑戰了目前廣泛使用的 Retrieval-Augmented Generation (RAG) 方法。RAG 方法透過即時搜尋外部知識庫來增強大型語言模型 (LLM) 的能力，但存在延遲、搜尋錯誤以及系統複雜度高等缺點。CAG 則利用具有長上下文窗口的 LLM，預先將所有相關資源載入模型的上下文並預計算關鍵值快取 (KV cache)，從而在推理過程中無需即時搜尋即可直接回答問題。透過實驗比較 CAG 和 RAG 在 SQuAD 和 HotPotQA 兩個問答數據集上的效能，結果顯示在知識庫規模有限的情況下，CAG 在效率和準確性上均優於 RAG，尤其在處理長篇文本時，CAG 的速度大幅提升。在特定應用場景下，特別是知識庫大小可控的情況下，CAG 提供了一個更簡潔、高效且準確的替代方案。
更新包括：
🖊️ 頻道輸入指示器：準確了解誰在您的頻道中即時輸入，從而增強協作並保持每個人的參與。
👤 使用者狀態指示器：透過點擊頻道中的個人資料圖像來快速查看使用者的狀態，以獲得更好的協調和可用性見解。
🔒 可設定的 API 金鑰驗證限制：靈活配置 API 金鑰驗證的端點限制，現在預設為關閉，以便在受信任的環境中更順利地進行設定。
文件分割策略對於大型語言模型(LLM)的資訊檢索效能影響。現有資訊檢索基準測試通常以整篇文件的相關性評估效能，忽略了文件分割策略的重要性。RAG 文件分割(Text Chunking) 基於字元/詞(Token) 的分割、遞迴式分割、語義分割等，以找出最適合用於後續基於檢索增強生成（RAG）應用的最佳方法。
在向量數據庫應用中，「prefixes」指的是在文本塊輸入嵌入模型之前，在文本塊前插入一段描述其目的的文本。「prefixes」是一個簡單但有效的技術，可以顯著提高向量數據庫應用的準確性達 200%。
在 Olama 官方庫中的五個嵌入模型中，只有三個支持「prefixes」，Nomic、Snowflake Arctic 和 Mixed Bread 等。
儘管傳統的 LLM 可能更大，但它們不適合生成嵌入。嵌入模型專為生成嵌入而設計，它們的速度要快得多，並且可以產生更好的結果。Prefixing」嘅簡單技巧嵌入技巧。
本影片介紹如何使用開源模型執行 GraphRAG – Llama 3.1 和 Neo4j 作為圖形資料庫
嵌入(Embedding)對於 RAG 系統至關重要，但經常被忽略。本視頻介紹了成本、儲存注意事項以及使用降維和量化等技術降低儲存需求的方法。了解這些方法如何在不影響效能的情況下提高速度並節省成本。
