Top 0.1% AI Researchers – BYTES LLM Inputs

這是 AI 領域的「秘密突破」，僅有頂尖 0.1% 的研究者知曉：直接將原始位元組（raw bytes）輸入大型語言模型（LLMs），並使用代數拓撲（algebraic topology）分析，透過持久同調（persistent homology）揭示傳統模型無法察覺的隱藏資料結構。這可能改變 AI 處理多模態資料（如文字、影像、影片）的未來。

SECRET: Top 0.1% AI Researchers - BYTES LLM Inputs - Topology - Persistent Homology - Episode 1

(more…)

Categories: 編程, 庫, 教學, 深度學習, Embedding

---

DeepEP 高速通信庫

DeepEP 是一個針對（MOE）和專家並行性（EP）的混合通信庫。它提供了高通量和低延遲的全 gpu 內核，它們稱之為 MOE 調度和組合。同時支持低精度的操作，包括 FP8。DeepSeek 公佈本星期將會是開放源碼週（OpenSourceWeek），並將會相繼推出五個開源軟件庫。他們昨日已經開放第一個代碼庫 FlashMLA。DeepSeek 今日繼續開放創新的底層架構 DeepEP，是首個用於 MoE 模型訓練和推理的 EP 通信庫 。

Categories: 編程, 庫

---