Infer News

DeepSeek-V3 國產超強模型

DeepSeek-V3 的架構，包含創新的多標記預測 (MTP) 目標函數和無輔助損失的負載平衡策略，以及基於Multi-Head Latent Attention (MLA) 和 DeepSeekMoE 的高效能設計。

DeepSeek-V3 是一種強大的專家混合 (MoE) 語言模型，總參數為 671B，每個令牌啟動 37B。為了實現高效的推理和經濟高效的訓練，DeepSeek-V3 採用了多頭潛在註意力（MLA）和 DeepSeekMoE 架構，這些架構在 DeepSeek-V2 中得到了徹底的驗證。在 14.8 兆個多樣化的高品質 Token 上對 DeepSeek-V3 進行預訓練，然後進行監督微調和強化學習階段，以充分利用其能力。綜合評估表明，DeepSeek-V3 的性能優於其他開源模型，並且達到了與領先的閉源模型相當的性能。儘管性能出色，DeepSeek-V3 僅需要 2.788M H800 GPU 小時即可完成完整訓練。此外，它的訓練過程非常穩定。在整個訓練過程中，沒有遇到任何不可恢復的損失高峰或執行任何回滾。

【人工智能】DeepSeek V3 53页技术报告快速解读 | 性能表现卓越 | 架构创新 | MLA | MoE架构 | DualPipe | 预训练 | 超参数设置 | MTP | 后训练
Categories: 開源, 模型

CAG – RAG 的替代方案

CAG (Cache-Augmented Generation ) 挑戰了目前廣泛使用的 Retrieval-Augmented Generation (RAG) 方法。RAG 方法透過即時搜尋外部知識庫來增強大型語言模型 (LLM) 的能力，但存在延遲、搜尋錯誤以及系統複雜度高等缺點。CAG 則利用具有長上下文窗口的 LLM，預先將所有相關資源載入模型的上下文並預計算關鍵值快取 (KV cache)，從而在推理過程中無需即時搜尋即可直接回答問題。透過實驗比較 CAG 和 RAG 在 SQuAD 和 HotPotQA 兩個問答數據集上的效能，結果顯示在知識庫規模有限的情況下，CAG 在效率和準確性上均優於 RAG，尤其在處理長篇文本時，CAG 的速度大幅提升。在特定應用場景下，特別是知識庫大小可控的情況下，CAG 提供了一個更簡潔、高效且準確的替代方案。

Goodbye RAG - Smarter CAG w/ KV Cache Optimization
Categories: RAG

bolt.diy 生成式網頁設計

bolt.diy 允許使用者使用任何大型語言模型 (LLM) 來建立、執行、編輯和部署全端網頁應用程式。它支援多種 LLM，例如 OpenAI、Anthropic 和 HuggingFace 等，並具備可擴展架構以支援更多模型。這裡包含專案的安裝說明、使用方法、支援的 LLM 列表、以及社群參與和未來發展規劃等資訊，目標是提供一個方便易用且高度彈性的 AI 程式碼輔助工具。

🎯 Let’s Hack Bolts! | Optimize Bolt.diy Using Prompt Engineering 🚀

MAC ImageWIN Image

Categories: Gemini, 教學, LLaMa, Ollama

Hunyuan 影片生成詳解

Fast Video Framework 大幅提升本地 AI 影片生成速度，同時維持高畫質。 透過 LCM 取樣和 LoRA 整合，讓 Hunyuan Video 和 Mochi One Preview 等模型在一般家用電腦上也能快速運作，並減少資源消耗。 片中以 ComfyUI 為例，逐步示範如何設定與使用，包含壓縮儲存、整合 LoRA 模型等步驟，讓使用者能輕鬆高效生成各種風格的影片。

Hunyuan Video In ComfyUI With FastVideo Framework To Optimize Performance For Local AI Video Model
Categories: ComfyUI, 教學, 影像處理

ComfyUI Flux 模型換衫教學

它能利用兩個新的 Flux 模型（Flux Fill 和 Flux Redux）將衣服穿戴在人物模型上。能精準且智慧地將各種服飾，例如襯衫、褲子、鞋子、眼鏡和帽子等，甚至多件服飾同時，完美地套用到圖片中的人物身上，實現以往難以達成的穿衣效果。

REVOLUTIONIZE Online Shopping with FLUX's ComfyUi!
Categories: ComfyUI, 教學

免費 AI 工具拍攝史詩電影！[ComfyUI 教程 + 免費工作流程]」

影片作者 Mickmumpitz 展示如何利用 ComfyUI，以及幾個開源 AI 影像模型 (例如 Co video x, LTX Video, Machi 1, Hyan)，將自家拍攝的影片轉化成具有電影感的史詩級畫面。影片重點在於如何使用這個 AI 工作流程，包含設定、模型選擇 (不同模型各有速度與畫質的優劣)以及控制網路 (Control Net) 的應用，以達到精準控制影像生成的目標，例如保留演員表情和動作，或轉換角色外貌。影片也提供免費及付費兩種工作流程，付費版本提供更進階的功能，例如臉部替換和更精細的畫面調整。最後，作者展示了一部以這個方法製作的短片，說明其應用實例。

Shoot EPIC MOVIES with this FREE AI Tool! [ComfyUI Tutorial + Free Workflow]
Categories: ComfyUI, 教學

Meta 推出「大型概念模型」(LCM)

突破傳統以單詞為單位的 LLM，LCM(Large Concept Model) 直接處理句子級別的語義表示，即「概念」。研究人員利用 SONAR 嵌入空間，訓練 LCM 進行句子預測，並探索了多種模型架構和訓練方法，最終在 1.6B 和 7B 參數規模的模型上取得了優異的多語言零樣本泛化能力，尤其在摘要和摘要擴展任務上表現突出。 該研究成果及程式碼皆已公開釋出。

Jepa (Joint Embedding Predictive Architecture) 是一種在嵌入空間中預測下一個觀察表示的方法，V-JEPA (Video-JEPA) 是 Jepa 的一種伸延，加入影像作為一種自我監督的方式來學習影片的表示。

Experts are STUNNED! Meta's NEW LLM Architecture is a GAME-CHANGER!

實戰：

Experimenting With LCM Models (Meta's Alternative To LLM Models)

Colab 測試

Categories: 新聞
Page 18 of 54
1 … 16 17 18 19 20 … 54