這部影片是 Google I/O ’24 的主題演講，涵蓋了各種與 Google AI 工具相關的主題以及開發人員如何使用它們。

• 介紹 Gemini 1.5 Flash：Gemini AI 模型的新版本，旨在高效且低延遲。它非常適合需要快速響應時間的任務。
• Project Starfire：一個新工具，允許開發人員使用具有 200 萬個令牌上下文窗口的大型語言模型 (LLM)。這允許開發人員輸入更多信息並獲得更全面的結果。
• Project Astra：一個雄心勃勃的項目，旨在創建一個通用 AI 助手。該助手將能夠幫助用戶完成各種日常任務，例如安排約會、查找信息和控制智能家居設備。
• Google 如何使用 AI 改進 Web 開發：Google 正在開發多項新功能，這些功能將使開發人員更容易創建快速、無縫和用戶友好的 Web 應用程序。
• Google 如何使 AI 開發更易於訪問：Google 致力於使 AI 開發工具更易於所有開發人員使用。他們通過提供各種易於使用的工具和資源來做到這一點。

相比ChatGLM，LLaMA Factory 的 LoRA 微調提供了 3.7 倍的加速

支持多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi

你可選用本地部處或使用 Colab Notbook

項目特色

• 多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 集成方法：（增量）預訓練、（多模態）指令監督微調、獎勵模型訓練、PPO 訓練、DPO 訓練、KTO 訓練和 ORPO 訓練。
• 多種精度：32 比特全參數微調、16 比特凍結微調、16 比特 LoRA 微調和基於 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微調。
• 先進算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微調。
• 實用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 實驗監控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 極速推理：基於 vLLM 的 OpenAI 風格 API、瀏覽器界面和命令行接口。

標記為的 LLM Q2_Kⓘ, Q4_K_Mⓘ, Q5_0ⓘ， Q8_0ⓘ 等具有不同的“量化”程度。

量化是指能夠在有限資源的平台上運行模型的技術。這是一個活躍的研究領域。了解更多有關量化的資訊 ↗
選擇「最佳」量化等級通常需要在檔案大小、品質和效能之間進行各種權衡。較高的量化「位數」（4 位或更多）通常可以保留更多的質量，而較低的級別會進一步壓縮模型，這可能會導致質量的顯著損失。選擇與您的硬體功能相符並滿足任務效能需求的量化等級。如果您不確定要選擇哪個選項，請考慮嘗試幾個不同的選項並進行自己的評估。

Introduction to Weight Quantization

Reducing the size of Large Language Models with 8-bit quantization

最先進的開源生物醫學大語言模型

模型由 Saama AI Labs 開發。

🏥生物醫學專業：OpenBioLLM-8B 專為醫學和生命科學領域獨特的語言和知識要求而量身定制。它在大量高品質生物醫學數據的基礎上進行了微調，使其能夠以特定領域的準確性和流暢性理解和生成文字。

🎓卓越的性能：OpenBioLLM-8B 擁有 80 億個參數，其性能優於其他規模相似的開源生物醫學語言模型。與 GPT-3.5 和 Meditron-70B 等更大的專有和開源模型相比，它在生物醫學基準測試中也表現出了更好的結果。

🧠高階培訓技術：OpenBioLLM-8B 建立在Meta-Llama-3-8B和Meta-Llama-3-8B模型的強大基礎之上。它結合了 DPO 數據集和微調配方以及自訂的多樣化醫療指導數據集。