Absolute Zero 是由清華大學主導的一項創新語言模型訓練方法。這個方法最顯著的特點是不再需要由人類提供的數據進行訓練，而是自動生成問題，然後嘗試自動解決問題來進行學習。過往的監督學習，或者強化學習，一般都是由人類設定目標進行監管，而 Absolute Zero 可以透過自我對弈機制。能夠在數學和程式設計的領域中自動提升推理能力。研究顯示，這種模型不僅在這些領域達到了最先進的性能，甚至超越了由人類策劃的數據去訓練的模型。
Absolute Zero 無人訓練模型！
正確的 LLM 微調數據處理方法
【LLM大模型】如何整理训练数据以及微调优化建议
這部影片主要探討了大型語言模型（LLM）微調數據的整理方法，並針對微調優化提出了實用建議，核心問題包含：
- 微調數據集的形式： 應該如何整理微調數據集？
- AI 輔助數據整理： 是否能利用 AI 協助整理數據？
- 微調效果不佳的原因： 為什麼微調後模型效果不明顯？
- 業務場景數據來源： 實際業務中，微調所需的數據從何而來？
影片內容重點
- 基礎知識科普： 影片首先簡要介紹了大型語言模型的基礎概念，例如自迴歸模型和指令微調等。
- 數據格式探討： 深入討論了數據格式的重要性，並介紹了 llama factory 框架支持的兩種主要數據格式：Pack 和 saregpt。同時說明如何根據不同的微調任務（如指令微調、預訓練、Function Calling 等）選擇合適的數據格式。
- 微調優化建議： 分享了多項優化微調效果的建議，包括：
- 清晰定義任務目標
- 確保數據質量與多樣性
- 增加額外信息以豐富數據
- 靈活調整訓練策略
- 業務場景數據獲取： 探討了在實際業務場景中，如何獲取和標註微調數據，並強調了數據質量對模型性能的關鍵影響。建議觀眾在開始微調前，務必明確任務目標，並仔細整理和清洗數據。
總體而言，這部影片內容豐富且深入淺出，對於希望了解大型語言模型微調數據整理和優化方法的觀眾來說，具有相當高的參考價值。
DeepSeek R1 的冷啟動 1.5b 微調
影片主要講解了如何使用冷啟動技術來提升小型語言模型（LLM）的推理能力，特別是在數學問題上的表現。影片的核心在於重現 DeepSeek R1 模型論文中提到的冷啟動方法，即透過少量高品質的合成數據集，讓模型在強化學習前就能夠生成清晰且連貫的思考鏈。這些數據集利用數學編譯器來產生精確的步驟式解題過程，並使用大型語言模型生成自然語言解釋，進而微調一個只有 15 億（1.5b)參數的小型模型，使其能夠進行複雜的數學推理，並在思考（think）和回答（answer）標籤中呈現其推理過程，而最終結果顯示即使是小型模型，也能透過冷啟動技術達到令人印象深刻的推理能力。影片也強調了冷啟動數據集的多樣性，包括數學、程式碼和其他領域，才能使模型具有強大的通用能力。
DeepSeek R1 Coldstart: How to TRAIN a 1.5B Model to REASON
DeepSeek R1 模型的訓練過程
短片闡述 DeepSeek R1 模型的訓練過程，核心是基於人類回饋的強化學習。首先，短片解釋如何利用人類偏好訓練獎勵模型 (reward model)：收集人類對不同模型輸出的評分，透過例如 Softmax 函數和梯階降法，調整獎勵模型，使其給予人類偏好的輸出更高分數。短片亦說明如何使用近端策略最佳化 (PPO) 演算法，結合獎勵模型和價值模型 (value model) 來微調語言模型 (policy network)：根據獎勵模型給出的獎勵，以及評價模型預測的獎勵與預期差異 (advantage)，調整策略網絡，使其更傾向產生高獎勵的輸出。最後，短片特別介紹 DeepSeek R1 使用的群體相對策略最佳化 (group relative policy optimization)，這是一種改良的 PPO 方法，將獎勵與群體內其他輸出的平均獎勵相比，鼓勵產生優於平均水準的輸出，解決了傳統獎勵模型可能出現的「獎勵作弊」問題。
Reinforcement Learning in DeepSeek-R1 | Visually Explained
Prefixing – 簡易提升 RAG 準確度
在向量數據庫應用中，「prefixes」指的是在文本塊輸入嵌入模型之前，在文本塊前插入一段描述其目的的文本。「prefixes」是一個簡單但有效的技術，可以顯著提高向量數據庫應用的準確性達 200%。
在 Olama 官方庫中的五個嵌入模型中，只有三個支持「prefixes」，Nomic、Snowflake Arctic 和 Mixed Bread 等。
儘管傳統的 LLM 可能更大，但它們不適合生成嵌入。嵌入模型專為生成嵌入而設計，它們的速度要快得多，並且可以產生更好的結果。Prefixing」嘅簡單技巧嵌入技巧。
Don’t Embed Wrong!
手把手教你如何部署大型語言模型
如何使用 vLLM 框架部署大型語言模型。教學包含使用 8B 同 70B 兩個版本作示範，並說明如何在 NVIDIA GPU 上安裝 VLLM，以及如何處理記憶體限制。
台大資訊 深度學習之應用 | ADL TA Recitation: LLM Deployment 手把手教你如何部署大型語言模型
Ollama 簡易模型優化
您是否曾經被 AI 模型建立的複雜性所淹沒？想像一下，您站在一場令人興奮旅程的門檻上，原本令人畏懼的 AI 模型客製化任務，突然變得令人振奮。
我們探索了 Ollama 的 Modelfile 世界，這是一個強大的工具，旨在改變您與 AI 開發互動的方式。想像一下：您拿了一個普通的模型，比如 Llama3.2，並為它注入新的生命，只需幾行代碼就能定制它的行為。通過每個命令，您為您的模型解鎖新的能力，賦予它個性與目的。
但是，如果您想更深入，將一個 safetensors 模型轉換並整合到您的工作流程中呢？這才是令人興奮的部分！加入我們的旅程，穿越 AI 客製化複雜而迷人的領域。您準備好迎接挑戰了嗎？
The Path To Better Custom Models
