Infer News

了解 Transformer “Attention is All You Need”

Attention is All You Need (Transformers)

Transformer 在 2017 年問世。筆者試圖解釋 Transformer 最具革命性的 「注意力」

---

文本嵌入 Text embeddings 的直覺

文本嵌入是將文本轉換為向量的關鍵

直覺對於理解一個概念非常重要

---

使用 Llama3 做 Embedding

Get Embeddings From Llama3

---

Ollama 擁有 OpenAI 兼容 API 測試

Finally Ollama has an OpenAI compatible API

---

人工智慧遊樂場 | 並排比較頂級人工智慧模型

(英) GPT-4o，Mistral 至 Llama3 的即時比較

Chat and compare OpenAI GPT, Anthropic Claude, Google Gemini, Llama, Mistral, and more.

---

Meta Chameleon – 多模態開源模型

(英)Meta 的 FAIR 團隊公開 Chameleon 模型於研究用

Chameleon 的成功在於其完全基於 Token 的架構。模型將會同時學習圖像和文字，進行聯合推理，這對於分開編碼器的模型來說，令推理更接近 Reasoning 的要求，儘管存在一些限制。

---

Florence-2 (Microsoft)開源模型 – 影像識別

(英)輕量級視覺語言模型

模型在字幕、物件偵測、接地和分割等任務中展示了強大的零樣本和微調功能。

繼 Meta 推出多模態 open source 模型，Microsoft 也不甘後人，推出影像識別 Open source Florence-2 模型

儘管尺寸很小，但它所取得的結果與大許多倍的模型（如 Kosmos-2）相當。該模型的優勢不在於複雜的架構，而在於大規模的 FLD-5B 資料集，其中包含 1.26 億張影像和 54 億個綜合視覺註釋。

---

KDNuggets – Python NLP 庫之旅

適用於資料工作流程的文字 Python 套件。

---

語音即時對話教學 Voice Assistant

How to build a real-time AI assistant (with voice and vision)

---

MoA : 合拼多模型

(英)MoA 允許您將多個小型模型（稱為「代理人」）组合成一個更強大的模型。

透過採用每層包含多個 LLM 代理程式的分層架構，MoA 僅使用開源模型，在 AlpacaEval 2.0 上的得分為 65.1%，顯著優於 GPT-4 Omni 的 57.5%！

---