Infer News

llama3-chinese 中文模型

Llama3-Chinese 以 Meta-Llama-3-8B為底座
使用 DORA + LORA+ 的訓練方法，在50w高質量中文多輪SFT數據 + 10w英文多輪SFT數據 + 2000單輪自我認知數據訓練而來的大模型。

LLaMA-Factory: 高效微調 LLM

相比ChatGLM，LLaMA Factory 的 LoRA 微調提供了 3.7 倍的加速
支持多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi

你可選用本地部處或使用 Colab Notbook

項目特色

  • 多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
  • 集成方法：（增量）預訓練、（多模態）指令監督微調、獎勵模型訓練、PPO 訓練、DPO 訓練、KTO 訓練和 ORPO 訓練。
  • 多種精度：32 比特全參數微調、16 比特凍結微調、16 比特 LoRA 微調和基於 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微調。
  • 先進算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微調。
  • 實用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
  • 實驗監控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
  • 極速推理：基於 vLLM 的 OpenAI 風格 API、瀏覽器界面和命令行接口。

權重量化簡介

標記為的 LLM Q2_Kⓘ, Q4_K_Mⓘ, Q5_0ⓘ， Q8_0ⓘ 等具有不同的“量化”程度。

量化是指能夠在有限資源的平台上運行模型的技術。這是一個活躍的研究領域。了解更多有關量化的資訊 ↗
選擇「最佳」量化等級通常需要在檔案大小、品質和效能之間進行各種權衡。較高的量化「位數」（4 位或更多）通常可以保留更多的質量，而較低的級別會進一步壓縮模型，這可能會導致質量的顯著損失。選擇與您的硬體功能相符並滿足任務效能需求的量化等級。如果您不確定要選擇哪個選項，請考慮嘗試幾個不同的選項並進行自己的評估。

Introduction to Weight Quantization
Reducing the size of Large Language Models with 8-bit quantization

OpenBioLLM 8B：Llama 3 生物醫學模型登陸iOS/macOS

Private LLM推出了OpenBioLLM-8B
一款適用於iPhone、iPad同Mac嘅尖端生物醫學AI模型。這款安全嘅設備端聊天機械人由Saama AI Labs開發，可在醫療和生命科學應用中提供无与伦比嘅性能。 立即試用，體驗高級私有AI嘅強大功能。

開放醫療 Open Medical-LLM 排行榜

比較多個開放式醫學應用智能程序
數據集涵蓋了醫學的各個方面，例如一般醫學知識、臨床知識、解剖學、遺傳學等。 它們包含多項選擇題和開放式問題，需要醫學推理和理解。

OpenBioLLM-8B | 基於 Llama3 的醫學模型

最先進的開源生物醫學大語言模型
模型由 Saama AI Labs 開發。

🏥生物醫學專業：OpenBioLLM-8B 專為醫學和生命科學領域獨特的語言和知識要求而量身定制。它在大量高品質生物醫學數據的基礎上進行了微調，使其能夠以特定領域的準確性和流暢性理解和生成文字。

🎓卓越的性能：OpenBioLLM-8B 擁有 80 億個參數，其性能優於其他規模相似的開源生物醫學語言模型。與 GPT-3.5 和 Meditron-70B 等更大的專有和開源模型相比，它在生物醫學基準測試中也表現出了更好的結果。

🧠高階培訓技術：OpenBioLLM-8B 建立在Meta-Llama-3-8B和Meta-Llama-3-8B模型的強大基礎之上。它結合了 DPO 數據集和微調配方以及自訂的多樣化醫療指導數據集。

Llama 3 的 10 個狂野應用範例

Meta 開放 Llama-3，令所有人都感到驚訝
(英)Meta 開放了 Llama-3，令所有人都感到興奮。AI 狂熱分子幾乎每日都想出 “癲” 嘅用例，以令人難以置信嘅方式把模型推向極限。

以下是一些 Llama 3 的具體用例：
編寫營銷文案： Llama 3 可用於生成引人入勝的營銷文案，例如產品描述、廣告標語和社交媒體帖子。
創建教育內容： Llama 3 可用於創建教育內容，例如課堂講義、測驗和練習題。
客戶服務聊天機器人： Llama 3 可用於開發客戶服務聊天機器人，這些聊天機器人可以回答客戶的問題並提供支持。
編寫創意內容： Llama 3 可用於編寫創意內容，例如詩歌、小說和腳本。
翻譯法律文件： Llama 3 可用於翻譯法律文件，例如合同和訴訟。

Page 33 of 49
1 … 31 32 33 34 35 … 49