llama3-chinese 中文模型
LLaMA-Factory: 高效微調 LLM
相比ChatGLM，LLaMA Factory 的 LoRA 微調提供了 3.7 倍的加速
支持多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi
你可選用本地部處或使用 Colab Notbook
項目特色
- 多種模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
- 集成方法：（增量）預訓練、（多模態）指令監督微調、獎勵模型訓練、PPO 訓練、DPO 訓練、KTO 訓練和 ORPO 訓練。
- 多種精度：32 比特全參數微調、16 比特凍結微調、16 比特 LoRA 微調和基於 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微調。
- 先進算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微調。
- 實用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
- 實驗監控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
- 極速推理：基於 vLLM 的 OpenAI 風格 API、瀏覽器界面和命令行接口。
權重量化簡介
標記為的 LLM Q2_Kⓘ, Q4_K_Mⓘ, Q5_0ⓘ， Q8_0ⓘ 等具有不同的“量化”程度。
量化是指能夠在有限資源的平台上運行模型的技術。這是一個活躍的研究領域。了解更多有關量化的資訊 ↗
選擇「最佳」量化等級通常需要在檔案大小、品質和效能之間進行各種權衡。較高的量化「位數」（4 位或更多）通常可以保留更多的質量，而較低的級別會進一步壓縮模型，這可能會導致質量的顯著損失。選擇與您的硬體功能相符並滿足任務效能需求的量化等級。如果您不確定要選擇哪個選項，請考慮嘗試幾個不同的選項並進行自己的評估。
OpenBioLLM 8B：Llama 3 生物醫學模型登陸iOS/macOS
開放醫療 Open Medical-LLM 排行榜
OpenBioLLM-8B | 基於 Llama3 的醫學模型
🏥生物醫學專業：OpenBioLLM-8B 專為醫學和生命科學領域獨特的語言和知識要求而量身定制。它在大量高品質生物醫學數據的基礎上進行了微調，使其能夠以特定領域的準確性和流暢性理解和生成文字。
🎓卓越的性能：OpenBioLLM-8B 擁有 80 億個參數，其性能優於其他規模相似的開源生物醫學語言模型。與 GPT-3.5 和 Meditron-70B 等更大的專有和開源模型相比，它在生物醫學基準測試中也表現出了更好的結果。
🧠高階培訓技術：OpenBioLLM-8B 建立在Meta-Llama-3-8B和Meta-Llama-3-8B模型的強大基礎之上。它結合了 DPO 數據集和微調配方以及自訂的多樣化醫療指導數據集。
Llama 3 的 10 個狂野應用範例
以下是一些 Llama 3 的具體用例：
編寫營銷文案： Llama 3 可用於生成引人入勝的營銷文案，例如產品描述、廣告標語和社交媒體帖子。
創建教育內容： Llama 3 可用於創建教育內容，例如課堂講義、測驗和練習題。
客戶服務聊天機器人： Llama 3 可用於開發客戶服務聊天機器人，這些聊天機器人可以回答客戶的問題並提供支持。
編寫創意內容： Llama 3 可用於編寫創意內容，例如詩歌、小說和腳本。
翻譯法律文件： Llama 3 可用於翻譯法律文件，例如合同和訴訟。
RAG 整合 Streamlit 直接與你的文件交談
Chat with Documents Using LLM
Developing RAG and Streamlit chatbots with LLMs for document-based Q&A. Enhance user engagement and streamline information retrieval.
探討如何使用 RAG (Retrieval-Augmented Generation) 和 Streamlit 建立一個文件交談聊天機器人。這個聊天機器人可以回答使用者關於文件的問題，並提供相關的文件內容。
什麼是 RAG？
RAG 是一種自然語言處理 (NLP) 模型，它可以從大型文件集中檢索和生成文本。它可以用於各種應用，例如客服聊天機器人、文件摘要和文件搜尋等。
什麼是 Streamlit？
Streamlit 是一個 Python 框架，它可以用於建立交互式網頁應用程序。它可以用於資料科學、機器學習和資料視覺化等領域。
建立文件交談聊天機器人
以下是建立文件交談聊天機器人的步驟：
-
安裝 RAG 和 Streamlit
-
準備文件集
-
建立 RAG 模型
-
建立 Streamlit 應用程序
-
整合 RAG 和 Streamlit
結論
在這篇文章中，我們探討了如何使用 RAG 和 Streamlit 建立一個文件交談聊天機器人。這個聊天機器人可以回答使用者關於文件的問題，並提供相關的文件內容。我們希望這篇文章能夠幫助您建立自己的文件交談聊天機器人。
更多提示技巧 – Stable diffusion prompt
介紹更多 Stable Diffusion 的提示技巧。Stable Diffusion 是一個強大的圖像生成模型，但它可能很難使用，尤其是在沒有經驗的情況下。該網頁可以幫助您提高結果的質量和一致性。
關鍵要點包括：
- 使用描述性提示： 您的提示越描述性，Stable Diffusion 就越有可能生成您想要的圖像。嘗試使用具體的詞彙和短語來描述圖像的內容、風格和構圖。
- 使用參考圖像： 您可以向 Stable Diffusion 提供參考圖像來幫助它了解您想要生成的圖像類型。這對於生成具有特定風格或主題的圖像非常有用。
- 使用負面提示： 您可以使用負面提示來告訴 Stable Diffusion 您不希望在圖像中看到什麼。這對於避免生成您不想要的元素或特徵非常有用。
- 調整步驟數： 步驟數是 Stable Diffusion 用來生成圖像的迭代次數。更高的步驟數將產生更詳細的圖像，但也會更耗時。
- 調整學習率： 學習率是 Stable Diffusion 用來調整其參數的速率。更高的學習率將產生更具創造性的圖像，但也有可能導致不穩定性。
- 使用批處理： 您可以將多個提示分批提交給 Stable Diffusion 以提高效率。這對於生成大量圖像或實驗不同提示非常有用。
本文還介紹了一些更高級的提示技巧，例如：
- 使用控制網： 控制網是一種可以用於對 Stable Diffusion 生成的圖像進行精細控制的神經網絡。這對於生成具有特定屬性的圖像非常有用，例如特定面部表情或姿勢。
- 使用擴散模型： 擴散模型是一種可以用於生成具有特定風格或主題的圖像的技術。這對於生成創意或藝術圖像非常有用。
總體而言，https://machinelearningmastery.com/prompting-techniques-stable-diffusion/ 是一個很好的資源，可以了解使用 Stable Diffusion 生成圖像的更多提示技巧。這些技巧可以幫助您提高結果的質量和一致性，並生成更具創造性和藝術性的圖像。
以下是一些額外的提示，可以幫助您充分利用 Stable Diffusion：
- 在開始之前，請務必閱讀 Stable Diffusion 文檔。 文檔包含有關模型工作原理以及如何使用的許多有用信息。
- 從簡單的提示開始，然後再繼續使用更複雜的提示。 這將幫助您了解模型的工作原理並避免常見錯誤。
- 使用 Stable Diffusion 社區。 有許多很棒的在線資源可以幫助您，包括論壇、教程和示例。
- 耐心點。 Stable Diffusion 是一個強大的工具，但它可能很難使用。需要一些時間和練習才能掌握。