HeartMuLa 是個完全開放 source 的音樂基礎模型家族，整個系統把四個核心功能結合在一起：首先是 HeartCLAP，負責把音樂和文字換位成共享的嵌入空間，讓系統能夠精準地把音樂標籤對應到文字敘述，並支援跨模式檢索。接下來是 HeartTranscriptor，專門用來在實際音樂裡捕捉歌詞，即使在背景噪音或複雜編曲之下也能保持較低的錯字率。第三個組件是 HeartCodec，它以極低的頻率（每秒 12.5 次）進行音訊壓縮，卻仍保留細節，使得長篇音樂能夠在解壓時恢復高保真度，同時提供緊湊的離散表示，方便後續的 autoregressive 生成。最後是 HeartMuLa 本身，這是一個以大型語言模型為基礎的歌曲生成模型，接受使用者提供的文字風格描述、完整歌詞甚至參考音頻作為條件，並能在多種可控制維度上操作，例如指定段落的流派、情緒、節奏或其他音樂特徵。

它還提供兩個特別模式：一種適合當作短視訊背景音的快速生成，另一種則可以在全曲長度（最長可達六分鐘）上維持結構連貫性與風格多樣性，並允許使用者針對不同段落（如主歌、副歌）輸入自然語言指令，精細調整音樂風格。

Step3-VL-10B 是一款輕量級開源基礎模型，旨在重新定義緊湊高效與前沿多模態智能之間的權衡。儘管僅有 10B 參數，Step3-VL-10B 在視覺感知、複雜推理和人類對齊方面表現卓越。

該模型在 10B 規模以下的模型中始終表現最優，並能媲美甚至超越規模大 10×–20× 的開源模型（如 GLM-4.6V 106B-A12B、Qwen3-VL-Thinking 235B-A22B）以及頂級閉源旗艦模型（如 Gemini 2.5 Pro、Seed-1.5-VL）。

Demo: 根據表格推導”STEPFUN”的莫爾斯編碼

Thinking Process

用户现在需要把每个字母转换成莫尔斯电码，先看每个字母在表中的编码。首先分解"STEPFUN"每个字母：S、T、E、P、F、U、N。

S：看右边第三列第一个，S是···（三个点）。（一个短横）
T：第三列第二个，T是-。
E：左边第一列第五个，E是·（一个点）。
P：中间列（J到R）中P对应的符号是·--·点、短横、短横、点）。
F：最左侧列第六行，F的符号是··-·（两个点、一个短横、一个点）。
U：最右侧列第三行，U的符号是··-（两个点、一个短横）。
N：中间列（J到R）第五行，N的符号是-·一个短横、一个点）。
再将每个字母的编码按顺序拼接（字母间用空格分隔更清晰），"STEPFUN"的莫尔斯电码为：··· - · ·--· ··-· ··- -·

Final Answer
··· - · ·--· ··-· ··- -·

Step3-VL-10B 的成功源於兩大核心設計：高質量多模態語料庫的統一預訓練（1.2T tokens）與規模化多模態強化學習（超過 1,400 次 RL 迭代），並引入 Parallel Coordinated Reasoning (PaCoRe) 實現並行視覺探索的證據聚合。

CoF-T2I 模型透過漸進式視覺細化，將 CoF 推理整合到 T2I 生成過程中，其中中間幀作為顯式推理步驟，最終幀作為輸出。為了建立這種明確生成過程，CoF-T2I 建立了CoF-Evol-Instruct 資料集，該資料集包含從語義到美學的 CoF 軌跡，用於建模生成過程。為了進一步提高品質並避免運動偽影，CoF-T2I 對每一幀都進行了獨立編碼。實驗表明，CoF-T2I 的性能顯著優於基礎視訊模型，並達到了具有競爭力的水平。

MoCha 是一個專注於視頻角色替換的開源框架，旨在只需要單一參考即可完成角色替換，且不依賴任何結構化指導（如骨骼、深度圖或逐幀分割）。傳統的重建式方法往往必須提供完整的逐幀遮罩與額外的結構資訊，面對遮擋、複雜姿態或多角色互動時容易產生視覺雜訊與時間不穩定，而 MoCha 的設計則把這些限制全部排除，取而代之的是把不同條件統一為單一的 token 流，並通過條件感知的 RoPE（Rotary Positional Embedding）結合多參考圖像，支撐可變長度的影片生成。

Ministral 3 是 Mistral AI 推出的模型系列，這是一系列參數高效的小型語言模型，專為計算和記憶體受限的應用而設計，提供三種模型規模：3B、8B 和 14B 參數。對於每種模型規模，我們都發布了三個變體：用於通用用途的預訓練基礎模型、指令微調模型以及用於解決複雜問題的推理模型。此外，我們還介紹了透過級聯蒸餾（Cascade Distillation）來產生 Ministral 3 模型的方法，這是一種迭代剪枝和持續訓練的蒸餾技術。每個模型都具備影像(OCR)理解功能，所有內容均遵循 Apache 2.0 授權。

NexaSDK 是一個高性能的本地推理框架，可以在 NPU、GPU 和 CPU 上運行最新的多模態 AI 模型，支持 Android、Windows、Linux、macOS 和 iOS 設備。它只需幾行代碼，就能在設備上搭建最智能、最快的 AI 應用。NexaSDK 支持最新的模型，比如 Qwen3-VL、DeepSeek-OCR、Gemma3n 等，且比其他框架提前幾周或幾個月支持。。

使用 NexaSDK 建立真正的裝置端 AI 應用，將有獲得獎勵。（詳情)

另外，NexaSDK 還提供了一個簡單易用的命令列介面（CLI），讓使用者可以快速測試不同的模型。例如，你可以用一行指令就開始與 Qwen3 模型聊天，或者進行多模態任務，比如拖曳圖片到 CLI 裡進行處理。

VINO 是個統一的視覺生成工具，能同時處理圖像和影片的創作與編輯，無需針對每種任務去找不同的模型。它的核心架構是把視覺語言模型和多模態擴散轉換器（MMDiT）結合起來，讓文字、參考圖片或影片都能以同一套條件流動的方式被傳遞給擴散過程。

這裡的「可學習查詢 token」扮演的角色是把使用者的簡短指令轉化成模型能理解的細節向量，並在訓練時一起調整，讓指令更精確、模型更穩定。另一個關鍵在於把參考影像或影片所產生的特徵與它在 latent 空間的對應向量用同樣的開始與結束標記包起來，這樣模型就能在語意層面和潛在層面都把同一個參考資源針對地辨識出來，減少身份混淆或屬性遺漏的問題。