Ollama 結構化的輸出方案

「structured-outputs」,主要展示如何利用 OpenAI 和 Ollama 這兩個大型語言模型平台,以結構化的輸出方式驗證數獨遊戲的有效性。程式碼包含一個測試架構,示範如何使用不同的模型(例如 OpenAI 的 gpt-4o-mini 和 Ollama 的 phi4)以及相應的執行指令。專案目前只有 Python 程式碼,並有簡潔的 README 檔說明使用方法,但缺乏更詳細的專案描述和資源連結,星星數和關注度也都很低。 核心目的在於展示結構化輸出的應用,並提供 OpenAI 和 Ollama 的實作範例。

「structured-outputs」,主要展示如何利用 OpenAI 和 Ollama 這兩個大型語言模型平台,以結構化的輸出方式驗證數獨遊戲的有效性。程式碼包含一個測試架構,示範如何使用不同的模型(例如 OpenAI 的 gpt-4o-mini 和 Ollama 的 phi4)以及相應的執行指令。專案目前只有 Python 程式碼,並有簡潔的 README 檔說明使用方法,但缺乏更詳細的專案描述和資源連結,星星數和關注度也都很低。 核心目的在於展示結構化輸出的應用,並提供 OpenAI 和 Ollama 的實作範例。

Ollama Structured Outputs with Phi4 is KILLER - Get Started NOW!!
Categories: 開源, 教學, 工具, Ollama

ScrapeGraphAI 開啓智能數據抓取新時代!

用AI重塑數據提取方式!ScrapeGraphAI + LangChain + LangGraph 打造最強文章採集和寫作AI智能體!讓內容創作更簡單!

用AI重塑數據提取方式!ScrapeGraphAI + LangChain + LangGraph 打造最強文章採集和寫作AI智能體!讓內容創作更簡單!

ScrapeGraphAI颠覆传统网络爬虫技术!用AI重塑数据采集方式!支持ollama本地部署!LangChain+LangGraph打造最强全自动文章采集和内容创作AI智能体!让内容创作更简单!

Categories: 教學, 工具, LangChain, LangGraph

Word2Vec 詞嵌入技術

Word2Vec 是將文字轉換成電腦可理解之數值向量的詞嵌入技術,包含連續詞袋模型(CBOW)與跳字模型(Skip-gram)兩種主要架構。

Word Embeddings: Word2Vec

此技術廣泛應用於搜尋引擎、推薦系統與機器翻譯,但每個詞僅有單一固定向量,無法處理多詞片語語義。Word2Vec 有兩種主要模型:連續詞袋模型 (CBOW) 和跳字模型 (Skip-gram),透過反向算法,根據上下文預測目標詞或反之,從而學習詞語間的關係。

透過訓練,相似詞彙在向量空間中距離相近,並能進行類比推理,如「國王-男人+女人=王后」。此技術廣泛應用於搜尋引擎、推薦系統與機器翻譯,但每個詞僅有單一固定向量,無法處理多詞片語語義。

Categories: Embedding, 教學, 軟件

Prefixing – 簡易提升 RAG 準確度

在向量數據庫應用中,「prefixes」指的是在文本塊輸入嵌入模型之前,在文本塊前插入一段描述其目的的文本。「prefixes」是一個簡單但有效的技術,可以顯著提高向量數據庫應用的準確性達 200%。 在 Olama 官方庫中的五個嵌入模型中,只有三個支持「prefixes」,Nomic、Snowflake Arctic 和 Mixed Bread 等。 儘管傳統的 LLM 可能更大,但它們不適合生成嵌入。嵌入模型專為生成嵌入而設計,它們的速度要快得多,並且可以產生更好的結果。Prefixing」嘅簡單技巧嵌入技巧。

在向量數據庫應用中,「prefixes」指的是在文本塊輸入嵌入模型之前,在文本塊前插入一段描述其目的的文本。「prefixes」是一個簡單但有效的技術,可以顯著提高向量數據庫應用的準確性達 200%。

在 Olama 官方庫中的五個嵌入模型中,只有三個支持「prefixes」,Nomic、Snowflake Arctic 和 Mixed Bread 等。

儘管傳統的 LLM 可能更大,但它們不適合生成嵌入。嵌入模型專為生成嵌入而設計,它們的速度要快得多,並且可以產生更好的結果。Prefixing」嘅簡單技巧嵌入技巧。

Don’t Embed Wrong!
Categories: RAG, 模型, 模型訓練, 教學, 工具

手把手教你如何部署大型語言模型

如何使用 vLLM 框架部署大型語言模型。教學包含使用 8B 同 70B 兩個版本作示範,並說明如何在 NVIDIA GPU 上安裝 VLLM,以及如何處理記憶體限制。

如何使用 vLLM 框架部署大型語言模型。教學包含使用 8B 同 70B 兩個版本作示範,並說明如何在 NVIDIA GPU 上安裝 VLLM,以及如何處理記憶體限制。

台大資訊 深度學習之應用 | ADL TA Recitation: LLM Deployment 手把手教你如何部署大型語言模型
Categories: 模型, 模型訓練, 教學, 工具

Screenpipe – 記錄電腦活動的 API

擷取用戶桌面數據的 API 包括屏幕、語音、鍵盤、滑鼠同埋鏡頭錄影。內建一個基於 JavaScript 的插件系統,方便開發者建立更多功能。這項目近期獲不少關注同獎項,例如登上 GitHub 趨勢榜,獲 Founders, Inc. 支持等

Categories: 軟件, 編程

OpenVINO 2024.5 一體化智能開發

視覺、自動語音辨識、NLP 的深度學習 OpenVINO 是一個開源工具包,用於最佳化及部署從雲端到本機的深度學習模型。它利用來自 PyTorch、TensorFlow、ONNX 等流行框架的模型,加速各種深度學習推理,例如生成式 AI、視訊、音訊和語言。轉換和最佳化模型,並在本地和裝置上、瀏覽器或雲端中的各種英特爾® 硬體和環境中進行部署。

Categories: 軟件, 工具

opik – 最佳化部署深度學習模型

評估、測試和監控 LLM 的開源平台 追蹤開發期間所有的 LLM 調用和追蹤。透過使用 Python SDK 或 UI 記錄回饋分數來註解您的 LLM 呼叫。 Opik 旨在支援大量跟踪,使您可以輕鬆監控生產應用程式。在 Opik 儀表板中查看一段時間內的回饋分數、追蹤計數和令牌

Categories: TensorFlow, 軟件, 工具

Nvidia 開源項目專頁

Open-Source Projects Collaborate with open-source communities to build and accelerate innovation.

Categories: 工具


Page 14 of 21
1 12 13 14 15 16 21