KTransformers 克服資源限制

KTransformers 透過先進的核心優化技術來增強 Transformers 的體驗。KTransformers 特別為硬件資源有限的本地部署,並支援異構運算,例如量化模型的 GPU/CPU 卸載,令到不同的架構處理器可以協同工作。KTransformers 亦提供了一個 YAML 範本來呼叫特殊的優化指令。结果可以令 RTX 4090 本地運行 DeepSeek-R1、V3 的 671 B 满血版,以 24 Gig VRam 最高推理速度仍達到 14 tokens/s。當然,你亦需要保証足夠 D Ram。

Categories: 軟件, 工具

DeepSeek & Crawl4AI 爬蟲!

這影片教你如何使用 DeepSeek AI 和 Crawl4AI 驅動網頁爬蟲,甚至無需編寫任何程式,就能輕鬆地從任何網站收集結構化數據。影片同時亦展示了一個實際案例,講解點樣為公司尋找潛在客戶,包括地址、企業名稱和聯絡方式等資訊,然後將數據匯入試算表進行整理和分析。

Scrape Any Website for FREE & NO CODE Using DeepSeek & Crawl4AI! (Opensource)
Categories: 軟件, 工具, 開源

Transformer Lab 桌面 LLM 工作台

Transformer Lab 是個免費的開源 LLM 工作平台,方便進行微調、評估、匯出和測試,並支援唔同的推理引擎和平台。Transformer Lab 適用於擁有 GPU 或 TPU 的電腦,亦支援 MLX 的 M 系列的蘋果電腦。主要功能包括下載開源模型、智能聊天、計算嵌入、創建和下載訓練數據集、微調和訓練 LLM、以及使用 R A G 與文件互動。

MAC ImageWIN Image

Categories: 軟件, 工具, RAG, 開源

Crawl4AI 0.4.24x 抓取結構化網上資訊

Crawl4AI,一個開源且配合大型語言模型的網頁爬蟲和抓取工具。其核心功能是高速、精準地抓取網頁數據並轉換成適合大型語言模型使用的格式,例如 Markdown。Crawl4AI 強調速度快、靈活性高,且易於部署,並提供諸多功能,包括支援多種瀏覽器、處理JavaScript、提取結構化數據、以及與各種大型語言模型整合等。文件詳細說明了安裝方法、使用方法、進階應用範例以及未來的發展規劃,並強調其以開源和社群驅動的方式開發維護。其最終目標是透過將數位足跡轉換成結構化數據,建立一個公平的數據共享經濟體系,並促進AI的發展。

Turn ANY Website into AI Knowledge in SECONDS with Crawl4AI!
Categories: 軟件, 工具

Word2Vec詞嵌入技術

將文字轉換成電腦可理解的數值向量的方法。Word2Vec 有兩種主要模型:連續詞袋模型 (CBOW) 和跳字模型 (Skip-gram),透過反向算法,根據上下文預測目標詞或反之,從而學習詞語間的關係。訓練後的詞向量具有語義相似性的特性,相似的詞彙在向量空間中距離較近,並能透過向量運算進行類比推理,例如「國王-男人+女人=王后」。Word2Vec 應用廣泛,例如搜尋引擎、推薦系統和機器翻譯,但其局限性在於每個詞只有一個固定向量,無法處理多詞片語的語義。

Word Embeddings: Word2Vec
Categories: 軟件, Embedding, 教學

Screenpipe – 記錄電腦活動的 API

Categories: 軟件, 編程

OpenVINO 2024.5 一體化智能開發

Categories: 軟件, 工具

opik – 最佳化部署深度學習模型

Categories: TensorFlow, 軟件, 工具



Page 1 of 7
1 2 3 7