Infer News

llama3-chinese 中文模型

Llama3-Chinese 以 Meta-Llama-3-8B為底座
使用 DORA + LORA+ 的訓練方法，在50w高質量中文多輪SFT數據 + 10w英文多輪SFT數據 + 2000單輪自我認知數據訓練而來的大模型。

LLaMA-Factory: 高效微調 LLM

相比ChatGLM，LLaMA Factory 的 LoRA 微調提供了 3.7 倍的加速
支持多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi

你可選用本地部處或使用 Colab Notbook

項目特色

  • 多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
  • 集成方法：（增量）預訓練、（多模態）指令監督微調、獎勵模型訓練、PPO 訓練、DPO 訓練、KTO 訓練和 ORPO 訓練。
  • 多種精度：32 比特全參數微調、16 比特凍結微調、16 比特 LoRA 微調和基於 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微調。
  • 先進算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微調。
  • 實用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
  • 實驗監控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
  • 極速推理：基於 vLLM 的 OpenAI 風格 API、瀏覽器界面和命令行接口。

權重量化簡介

標記為的 LLM Q2_Kⓘ, Q4_K_Mⓘ, Q5_0ⓘ， Q8_0ⓘ 等具有不同的“量化”程度。

量化是指能夠在有限資源的平台上運行模型的技術。這是一個活躍的研究領域。了解更多有關量化的資訊 ↗
選擇「最佳」量化等級通常需要在檔案大小、品質和效能之間進行各種權衡。較高的量化「位數」（4 位或更多）通常可以保留更多的質量，而較低的級別會進一步壓縮模型，這可能會導致質量的顯著損失。選擇與您的硬體功能相符並滿足任務效能需求的量化等級。如果您不確定要選擇哪個選項，請考慮嘗試幾個不同的選項並進行自己的評估。

Introduction to Weight Quantization
Reducing the size of Large Language Models with 8-bit quantization

OpenBioLLM 8B：Llama 3 生物醫學模型登陸iOS/macOS

Private LLM推出了OpenBioLLM-8B
一款適用於iPhone、iPad同Mac嘅尖端生物醫學AI模型。這款安全嘅設備端聊天機械人由Saama AI Labs開發，可在醫療和生命科學應用中提供无与伦比嘅性能。 立即試用，體驗高級私有AI嘅強大功能。

開放醫療 Open Medical-LLM 排行榜

比較多個開放式醫學應用智能程序
數據集涵蓋了醫學的各個方面，例如一般醫學知識、臨床知識、解剖學、遺傳學等。 它們包含多項選擇題和開放式問題，需要醫學推理和理解。

OpenBioLLM-8B | 基於 Llama3 的醫學模型

最先進的開源生物醫學大語言模型
模型由 Saama AI Labs 開發。

🏥生物醫學專業：OpenBioLLM-8B 專為醫學和生命科學領域獨特的語言和知識要求而量身定制。它在大量高品質生物醫學數據的基礎上進行了微調，使其能夠以特定領域的準確性和流暢性理解和生成文字。

🎓卓越的性能：OpenBioLLM-8B 擁有 80 億個參數，其性能優於其他規模相似的開源生物醫學語言模型。與 GPT-3.5 和 Meditron-70B 等更大的專有和開源模型相比，它在生物醫學基準測試中也表現出了更好的結果。

🧠高階培訓技術：OpenBioLLM-8B 建立在Meta-Llama-3-8B和Meta-Llama-3-8B模型的強大基礎之上。它結合了 DPO 數據集和微調配方以及自訂的多樣化醫療指導數據集。

Llama 3 的 10 個狂野應用範例

Meta 開放 Llama-3，令所有人都感到驚訝
(英)Meta 開放了 Llama-3，令所有人都感到興奮。AI 狂熱分子幾乎每日都想出 “癲” 嘅用例，以令人難以置信嘅方式把模型推向極限。

以下是一些 Llama 3 的具體用例：
編寫營銷文案： Llama 3 可用於生成引人入勝的營銷文案，例如產品描述、廣告標語和社交媒體帖子。
創建教育內容： Llama 3 可用於創建教育內容，例如課堂講義、測驗和練習題。
客戶服務聊天機器人： Llama 3 可用於開發客戶服務聊天機器人，這些聊天機器人可以回答客戶的問題並提供支持。
編寫創意內容： Llama 3 可用於編寫創意內容，例如詩歌、小說和腳本。
翻譯法律文件： Llama 3 可用於翻譯法律文件，例如合同和訴訟。

RAG 101 – 令 Llama3 增加知識 10倍

"I want Llama3 to perform 10x with my private knowledge" - Local Agentic RAG w/ llama3

影片主要內容：

  • RAG 在知識管理中的應用： 大型語言模型 (LLM) 可以成為強大的 KM 工具，但它們難以處理和理解非結構化數據格式，例如 PDF 和演示文稿。RAG 通過結合檢索和生成技術來解決這一挑戰。該模型會根據用戶的查詢從數據庫中檢索相關文檔，然後使用這些文檔來生成其響應。
  • RAG 實現的挑戰：
    • 數據混亂： 現實世界中的數據通常很混亂，需要在 RAG 使用之前進行清理和轉換。
    • 選擇合適的檢索方法： 不同的檢索方法適用於不同的數據類型。例如，向量搜索可能不適合需要從各種數據源（結構化和非結構化）獲取知識的複雜問題。
    • 答案質量： 確保檢索到的文檔與用戶的查詢相關並完整地回答用戶的問題可能很困難。
  • 高級 RAG 技術： 介紹了一些高級 RAG 技術來提高 RAG 應用程序的質量和可靠性：
    • 更好的數據預處理： 使用 Llama Part 等專門為 LLM 設計的 PDF 解析器等工具可以顯著提高數據質量。
    • 重新排名檢索到的文檔： 而不是將所有檢索到的文檔都提供給 LLM，可以使用排名模型來識別最相關的文檔，從而提高答案的準確性和效率。
    • 混合搜索： 將向量搜索與關鍵字搜索相結合對於需要精確匹配的任務（例如電子商務產品搜索）很有用。
    • Agent RAG： 此技術利用代理來動態推理檢索過程。代理可以修改用戶的查詢，為複雜問題執行逐步檢索，並決定是從檢索到的文檔中生成答案還是進行額外的網絡搜索。
  • 構建本地 Agent RAG 應用程序： 影片講者演示了如何使用大型語言模型 Llama3 和向量數據庫工具 Goose3 構建本地 Agent RAG 應用程序。該應用程序從網站中檢索博客文章並使用它們來回答用戶的查詢。工作流程包括創建檢索模型、定義檢索條件、將條件邏輯納入以確定答案生成方法以及檢查答案的準確性。

影片最後總結 Agent RAG 和更簡單的 RAG 實現之間的權衡。Agent RAG 提供了卓越的質量和控制，但代價是響應速度較慢。

Page 33 of 49
1 … 31 32 33 34 35 … 49