手把手教你如何部署大型語言模型

如何使用 vLLM 框架部署大型語言模型。教學包含使用 8B 同 70B 兩個版本作示範，並說明如何在 NVIDIA GPU 上安裝 VLLM，以及如何處理記憶體限制。

台大資訊 深度學習之應用 | ADL TA Recitation: LLM Deployment 手把手教你如何部署大型語言模型

Categories: 工具, 教學, 模型, 模型訓練

---

Screenpipe – 記錄電腦活動的 API

擷取用戶桌面數據的 API

包括屏幕、語音、鍵盤、滑鼠同埋鏡頭錄影。內建一個基於 JavaScript 的插件系統，方便開發者建立更多功能。這項目近期獲不少關注同獎項，例如登上 GitHub 趨勢榜，獲 Founders, Inc. 支持等

Categories: 編程, 軟件

---

OpenVINO 2024.5 一體化智能開發

視覺、自動語音辨識、NLP 的深度學習

OpenVINO 是一個開源工具包，用於最佳化及部署從雲端到本機的深度學習模型。它利用來自 PyTorch、TensorFlow、ONNX 等流行框架的模型，加速各種深度學習推理，例如生成式 AI、視訊、音訊和語言。轉換和最佳化模型，並在本地和裝置上、瀏覽器或雲端中的各種英特爾® 硬體和環境中進行部署。

Categories: 工具, 軟件

---

opik – 最佳化部署深度學習模型

評估、測試和監控 LLM 的開源平台

追蹤開發期間所有的 LLM 調用和追蹤。透過使用 Python SDK 或 UI 記錄回饋分數來註解您的 LLM 呼叫。

Opik 旨在支援大量跟踪，使您可以輕鬆監控生產應用程式。在 Opik 儀表板中查看一段時間內的回饋分數、追蹤計數和令牌

Categories: 工具, TensorFlow, 軟件

---

Nvidia 開源項目專頁

Open-Source Projects

Collaborate with open-source communities to build and accelerate innovation.

Categories: 工具

---

Diffusion – 生成 3D 遊戲的擴散式世界模型

構成了一種以安全且樣本高效的方式訓練強化學習 💎

Categories: 3D, 多模態模型, 模型, 新聞, 軟件

---

diffusers-image-outpaint 零度解說

超強AI擴圖！完全免費開源，diffusers-image-outpaint，附詳細本地安裝教程！-

Diffusers Image Outpaint 是一種基於擴散模型的圖像生成方法。它根據現有圖像內容，生成圖像以外區域，使圖像看起來更自然和完整。

Categories: 工具, Image, 影像處理, 模型, 軟件

---

Autoarena – LLM 效能排行

對 LLM、RAG 設定和提示的輸出進行排名，以找到系統的最佳配置

使用自動一對一評估對法學碩士、RAG 系統和提示進行排名 – kolenaIO/autoarena

Categories: 工具, 軟件

---

本地部署 Flux.1 – Comfyui 一键安装

本地部署 Flux.1 最强文生图大模型！Comfyui 一键安装，简单又方便 – 零度解说

最近,由前 Stability AI员工创立的黑森林实验室推出了开源图像生成模型Flux.1,可谓名声大噪，爆火全网。零度刚才已经上手使用，效果确实让我大吃一惊，真的很强！！！

Categories: Stable Diffusion, 教學

---

DH_live 實時直播數字人

每个人都能用的数字人. Contribute to kleinlee/DH_live development by creating an account on GitHub.

Categories: 軟件

---