Infer News

RAG 如何建立自訂的大型語言模型：綜合指南

(英)How RAG helps Transformers to build customizable Large Language Models: A Comprehensive Guide
自然語言處理 (NLP) 在過去幾年中取得了革命性的進步，這主要是由 Transformer 等複雜語言模型的開發所推動的。在這些進步中，檢索增強生成（RAG）作為一項尖端技術脫穎而出，它顯著增強了語言模型的能力。 RAG 將檢索機制與生成模型結合，創建可自訂、高效且準確的語言模型。讓我們研究一下 RAG 如何幫助 Transformer 建立可自訂的 LLM 及其底層機制、優勢和應用程式。了解 Transformer 及其限制 Transformer 憑藉其處理和生成類人文本的能力徹底改變了 NLP。 Transformer 架構採用自註意力機制
Categories: 教學

Llama中文社區，所有代碼更新適配Llama3

GitHub – LlamaFamily/Llama-Chinese: Llama中文社區
Llama中文社區，Llama3在線體驗和微調模型已開放，實時匯總最新Llama3學習資料，已將所有代碼更新適配Llama3，構建最好的中文Llama大模型，完全開源可商用
Categories: 模型

[2405.15556] RobustRAG 針對檢索攻擊的第一個防禦框架

RobustRAG 採用隔離然後聚合策略
檢索增強生成（RAG）已被證明容易受到檢索損壞攻擊：攻擊者可以將惡意段落注入檢索結果以引發不準確的回應。對於某些查詢，RobustRAG 始終可以返回準確的回應，即使攻擊者完全了解我們的防禦並可以任意注入少量惡意段落。我們在開放域 QA 和長格式文字產生資料集上評估 RobustRAG，並證明其在各種任務和資料集上的有效性和通用性。檢索增強生成（RAG）已被證明容易受到檢索損壞攻擊：攻擊者可以將惡意段落注入檢索結果以引發不準確的回應。

Categories: 工具, 新聞

pycantonese v3.4.0 廣東話分詞工具

(英) pycantonese: 粵語語言學與自然語言處理
Cantonese Linguistics and NLP. Contribute to jacksonllee/pycantonese development by creating an account on GitHub.

PyCantonese: Cantonese Linguistics and NLP in Python — PyCantonese 3.4.0 documentation
PyCantonese: Cantonese Linguistics and NLP in Python

GitHub – toastynews/finetune-ckip-transformers: Create training files to fine-tune CKIP Transformers
Create training files to fine-tune CKIP Transformers – toastynews/finetune-ckip-transformers
Categories: 工具
Page 46 of 65
1 … 44 45 46 47 48 … 65