InferNews

SeeQ 讓 VLM 學識自己出視覺問題

Cover Figure overview

現有 Vision-Language Models（VLMs）多數按「被動答題」範式訓練：人類或外部模型先提供問題，模型再學習回答。論文認為這種 fixed inputs 做法受制於靜態資料分佈，Visual Question Generation（VQG）亦容易卡在標註成本高、題目深度不足這兩個瓶頸，所以 SeeQ 提出 Self-Evolving Visual Questioner，用同一個 VLM 同時做 proposer 與 filter，自動從未標註圖片生產更難、更貼近畫面內容的問題。

這個項目屬於框架兼研究型工具，重點不是再做一個普通題庫，而是建立完整流水線：先生成 seed questions，再反覆改寫，提升 visual search、context 與 spatial reasoning 要求，之後再由模型自行過濾。作者同時加入 exploration diversity 控制，目標是避免訓練一路收窄，最後只剩單一風格題目。

如果你想試，較合理的做法是先準備圖片對應的 JSON 輸入，再分開看 generation 與 evaluation 兩部分輸出。倉庫內沒有附模型權重、數據集與快取，評測亦會用到 image-capable OpenAI evaluator 與 Qwen embedding models，所以較適合已經有 VLM 環境、想驗證自動出題流程的研究者或多模態團隊。

  • 以未標註圖片開始，自動生成、改寫、過濾視覺問題
  • 保留 Agentic evaluation，從 visual search、evidence coverage、context、spatial reasoning 評分
  • 另用 Qwen embedding models 檢查整體多樣性，不只看單題質素
  • 強調 zero external supervision，不依賴人工標註或 GPT-4V 這類外部 teacher models

創新點在於它不單止用 VLM 產生問題，還把「提問能力」當成可自我增強的訓練訊號，並且把 questioner 與 answerer 兩種模式一起考慮。按論文說法，這套方法在多個 backbone VLMs 上都能提升問題質素，亦把自動出題的難度邊界推高；同樣預算下，比直接用靜態來源資料訓練更有效，而模型的 answerer 能力亦未有明顯犧牲。

相關模型與元件方面，倉庫內容顯示生成流程可配合 Qwen2.5 3B 類型設定，評測會用 OpenAI 的可看圖評估器，以及 Qwen embedding models。若你關心多模態訓練、合成數據、或想建立能自己發問再自我改良的 Agentic workflow，SeeQ 的方法論比單純看分數更有參考價值。

GitHub： https://github.com/tianyi-lab/SeeQ

Paper： https://arxiv.org/pdf/2606.13929

Categories: 阿里巴巴, Qwen, OpenAI, Agentic, Image, 工具, AI productions, Embedding, IDE, Python, RAG, 多模態模型, 庫, 模型, 模型訓練, 視覺模型, Dataset 數據集, 框架

coreb：這個 code search 基準有咩特別？

Repository image for hq-bench/coreb

CoREB 係一個針對程式碼 embedding models 搜尋同 reranking 的評測基準，透過 LoRA 在混合重排序器語料庫上對Qwen3-Reranker-4B進行了微調。CoREB 分三種常見場景：用文字搵 code、用 code 搵相似 code，以及由 code 反推題目描述。一般人可以理解成：唔只測「搵唔搵到」，仲測「排位準唔準」。

實際使用上，你可以直接載入資料集，讀取 queries、qrels 同 code/text 語料，再用標準資訊檢索評分工具做評估；如果係模型開發者，亦可以接上兩階段流程，先做 embedding 檢索，再用 cross-encoder 重排。這個設計方便將現有搜尋模型快速放入同一把尺比較。

它最有價值的地方，係用三級相關性標註，將「真正答案」同「同題但錯嘅干擾項」分開，避免只係二元對錯。再加上問題切分唔重疊、涵蓋五種程式語言，令測試更貼近真實開發情境，而唔係只考記憶。

  • 支援 Text-to-Code、Code-to-Code、Code-to-Text 三類任務
  • 以三級相關性處理 hard negative，對排序更敏感
  • 涵蓋 Python、C++、Java、Go、Ruby
  • 訓練／測試分割避免題目重疊
  • 適合比較檢索模型同 reranker 的整體效果

如果你做的是程式碼搜尋、AI coding assistant，或者想評估向量檢索加重排的完整流程，CoREB 會幾有參考價值。特別係想避免資料污染、又想睇模型喺唔同語言同任務之間的差異，呢個基準算係比較務實的一種選擇。

Source: https://github.com/hq-bench/coreb

Categories: 開源, Embedding, 模型, 編程, 中國

Qwen3-VL-Embedding-2B

「Qwen3-VL-Embedding-2B」是 Qwen 家族中最新的多模態信息檢索和交叉模態理解模型。可在同一向量空間做相似度計算，方便做「跨模態檢索」與「圖文混合檢索」。

Embedding 維度可控：預設最高 2048 維，但支援使用者自訂輸出維度 64–2048，可依儲存成本與下游模型需求調整（例如 256/512 維用於向量 DB）。

模型規模與 context length：2B 參數，context 長度 32k，適合放在邊緣或低資源伺服器上，同時能處理長文檔、多 frame 影片描述等輸入。

模型Gemini Multimodal EmbeddingsQwen3-VL-Embedding (2B/8B)
模態支援文字、圖片、video（含 audio 軌道，1 FPS + 音頻特徵）文字、圖片、截圖、video（多 frame），混合任意組合
語言多語（英文主導）30+ 語言，強中文/多語對齊
維度固定 1408可自訂 64–4096（預設 2048）
ContextVideo 上限 1-3 小時32K tokens（長影片多 frame）
開源否（API）是（HF/GitHub，Apache 2.0）
成本$0.0001/1000 chars（text），更高 video/image免費本地，GPU 硬體成本
整合Vertex AI / Gemini API，易 scaleTransformers/vLLM，量化友好
  • 1. 圖像和文本檢索系統：可以用於基於文本描述搜索相關圖像，或者基於圖像內容搜索相關文本描述。
  • 2. 視頻推薦平台：將視頻和文本描述映射到共享表示空間，以提高視頻推薦的準確性。
  • 3. 多模態內容管理：對於包含圖像、文本和視頻的大型數據集，可以進行有效的內容聚類和組織。
  • 4. 社交媒體分析：分析和理解跨文本和圖像的用戶生成內容。
  • 5. 教育和培訓：藉助於視覺問答和多模態學習材料，提供個性化的學習體驗。
Categories: 開源, 阿里巴巴, Qwen, Embedding, 多模態模型, 視覺模型

Top 0.1% AI Researchers – BYTES LLM Inputs

這是 AI 領域的「秘密突破」，僅有頂尖 0.1% 的研究者知曉：直接將原始位元組（raw bytes）輸入大型語言模型（LLMs），並使用代數拓撲（algebraic topology）分析，透過持久同調（persistent homology）揭示傳統模型無法察覺的隱藏資料結構。這可能改變 AI 處理多模態資料（如文字、影像、影片）的未來。

SECRET: Top 0.1% AI Researchers - BYTES LLM Inputs - Topology - Persistent Homology - Episode 1
(more…)
Categories: Embedding, 庫, 教學, 深度學習, 編程

從零寫AI RAG 個人知識庫

影片中，作者使用了 Google 的 embedding 模型和 ChromaDB 向量資料庫來實現這個架構。

  • RAG 架構簡介 解釋了 RAG 的基本原理，即將長文章拆分成小片段，對每個片段進行 embedding，然後儲存到向量資料庫中，並在使用者提問時找出最相關的片段發送給大型語言模型。
  • 文章分塊 示範如何將一篇關於「令狐沖轉生為史萊姆」的虛構文章進行分塊處理。他首先使用雙回車符作為切分依據，然後進一步優化，將以警號開頭的標題與後續的正文合併。
  • Embedding 與資料庫儲存 介紹如何使用 Google 的 embedding 模型對分塊後的文本進行 embedding，並將這些 embedding 及其原始文本儲存到 ChromaDB 向量資料庫中。作者特別提到 Google embedding 模型的「儲存」和「查詢」兩種模式。
  • 查詢功能 說明如何透過查詢 embedding 模型並從 ChromaDB 中檢索出與使用者問題最相關的文本片段。
  • 整合大型語言模型 最後，展示如何將查詢到的相關文本片段與使用者問題一起發送給大型語言模型（Gemini Flash 2.5），以生成更準確的回應。

影片強調動手實作的重要性，鼓勵觀眾親自寫一遍程式碼以加深理解。

从零写AI RAG 个人知识库
Categories: 開源, Gemini, Embedding, RAG, 教學

最先進的文本嵌入模型 gemini-embedding-exp-03-07

Embedding 文字嵌入，意思是將文字轉換為有意義的向量數值。其主要目的是為了讓 A.I. 開發者能夠利用這些向量，實現更精準的語義搜尋，即使查詢與文本內容的詞彙不完全相同也能找到相關資訊。

Google 宣布推出一個新的實驗性 Gemini 文字嵌入模型，稱為 gemini-embedding-exp-03-07。這個模型繼承了語言和細微語境的理解，適合廣泛的應用。這個新模型超越了 Google 之前的最先進模型，並在多語言文本嵌入基準測試（MTEB）中名列前茅，同時還提供了更長的輸入長度等新功能。目前已經可以透過 Gemini API 開始使用。

Categories: Gemini, Embedding, 新聞

最先進的 Multimodal Embeddings

影片主要探討多模態嵌入模型 (Multimodal Embedding Models) 與檢索增強生成 (Retrieval-Augmented Generation, RAG) 的應用。作者討論了 Voyage AI 的多模態嵌入模型，並強調模型能有效地將圖像與文字等多種模態的資料整合到同一的嵌入空間，由於傳統的 CLIP 模型在多模態檢索和 RAG 應用中存在模態差距等問題，而 Voyage AI 可以直接將不同模態的資料轉換為 tokens 並輸入 Transformer 編碼器，解決了這些限制。

State-of-the-Art Multimodal Embeddings with Voyage AI


Categories: Embedding, 多模態模型

Word2Vec詞嵌入技術

將文字轉換成電腦可理解的數值向量的方法。Word2Vec 有兩種主要模型：連續詞袋模型 (CBOW) 和跳字模型 (Skip-gram)，透過反向算法，根據上下文預測目標詞或反之，從而學習詞語間的關係。訓練後的詞向量具有語義相似性的特性，相似的詞彙在向量空間中距離較近，並能透過向量運算進行類比推理，例如「國王-男人+女人=王后」。Word2Vec 應用廣泛，例如搜尋引擎、推薦系統和機器翻譯，但其局限性在於每個詞只有一個固定向量，無法處理多詞片語的語義。

Word Embeddings: Word2Vec
Categories: 軟件, Embedding, 教學

詞嵌入 (Word Embeddings) 的概念及其應用

詞嵌入將文字轉換成數值向量，讓機器學習模型能夠處理文字資料。相似的詞彙在向量空間中彼此靠近，距離和方向代表詞彙間的語義關係。 片中說明了詞嵌入在自然語言處理 (NLP) 中的關鍵作用，例如文字分類、命名實體辨識和問答系統等。接著，解釋了兩種主要的詞嵌入方法：基於詞頻的方法 (例如TF-IDF) 和基於預測的方法 (例如Word2Vec, GloVe)，並比較了它們的差異。最後，介紹了更先進的基於上下文的方法 (Transformer 模型)，它能根據上下文調整詞彙的向量表示，進一步提升 NLP 的效能。這視頻旨在說明詞嵌入技術如何有效地將人類語言轉換成機器可理解的數值形式，從而推動自然語言處理的發展。

What are Word Embeddings?
Categories: Embedding, 教學
Page 1 of 2
1 2