如何使用 vLLM 框架部署大型語言模型。教學包含使用 8B 同 70B 兩個版本作示範，並說明如何在 NVIDIA GPU 上安裝 VLLM，以及如何處理記憶體限制。
台大資訊 深度學習之應用 | ADL TA Recitation: LLM Deployment 手把手教你如何部署大型語言模型
手把手教你如何部署大型語言模型
Ollama 簡易模型優化
您是否曾經被 AI 模型建立的複雜性所淹沒？想像一下，您站在一場令人興奮旅程的門檻上，原本令人畏懼的 AI 模型客製化任務，突然變得令人振奮。
我們探索了 Ollama 的 Modelfile 世界，這是一個強大的工具，旨在改變您與 AI 開發互動的方式。想像一下：您拿了一個普通的模型，比如 Llama3.2，並為它注入新的生命，只需幾行代碼就能定制它的行為。通過每個命令，您為您的模型解鎖新的能力，賦予它個性與目的。
但是，如果您想更深入，將一個 safetensors 模型轉換並整合到您的工作流程中呢？這才是令人興奮的部分！加入我們的旅程，穿越 AI 客製化複雜而迷人的領域。您準備好迎接挑戰了嗎？
The Path To Better Custom Models
NanoGPT 快速訓練語言模型
OminiControl – FLUX.1 的通用控制器
SAMURAI – 視訊識別追踪
CAT4D: 以 4D 形式創建任何內容
ltx-video-2b-v0.9 即時產生高品質影片
LTX-Video是第一個基於DiT的視訊生成模型
可以即時產生高品質視訊。它可以產生分辨率為 768×512 的 24 FPS 視頻，速度比觀看視頻的速度還要快。該模型在各種影片的大規模資料集上進行訓練，可以產生內容真實且多樣化的高解析度影片。
ComfyUI LTXVideo: High Quality Realistic Video Generation in Real-Time
NEW VIDEO MODEL: LTXV day-1 Native Support in ComfyUI
We’re excited, as always, to share that LTX Video (LTXV), the groundbreaking video generation model from Lightricks, is natively supported in ComfyUI on Day 1! LTXV is ONLY a 2-billion-parameter DiT-based video generation model capable of generating high-quality videos in real-time. It produces 24 FPS videos at a 768×512
Agentic RAG with LlamaIndex Workflows
Agentic RAG with LlamaIndex Workflows
BiomedParse – 微軟最新醫學模型
MagicQuill 智慧型互動圖像編輯系統
又一國內手足大作 ! 香港科大有份幫手！開源並已經可以下載。
MagicQuill demo video
