gpu-unlock-ada：RTX 4090 張量運算吞吐翻倍

2026 年 10 月 26 日 Share to X Facebook Copy link

Linux 核心模組可在 NVIDIA 驅動程式載入前啟用 Ada GPU 的 SM speed-select override，讓 RTX 4090 的 FP16、BF16 張量指令吞吐接近翻倍。實際 GEMM 增幅較小，量化推理甚至沒有受益。

想提升 RTX 4090 的 FP16、BF16 張量運算能力，這個 Linux 核心模組會在原廠 NVIDIA 驅動程式啟動前套用 SM speed-select override。它針對的是 FP32 累加的張量指令路徑，不是全面提高顯示卡效能；項目亦列出 RTX 4070 Ti SUPER 的實驗結果，Ada 系列支援仍須按型號和環境驗證。

測試中，RTX 4090 的 FP16/FP32 指令吞吐由約 160 TF/s 升至 320 TF/s，BF16/FP32 亦接近翻倍。不過，cuBLAS GEMM 的增幅按矩陣尺寸約為 12% 至 34%；量化混合專家模型推理測試則沒有加速，反映指令吞吐提升不等於應用程式整體提速。

模組須在 NVIDIA 驅動程式初始化前生效，因此項目提供 mkinitcpio 和 dracut 的 initramfs 設定方式，並附有 Quick Start、測試流程及各次硬件與驅動程式測試記錄。測試涵蓋 PCIe Function Level Reset、驅動程式交接和數值檢查，但不少結果來自單張顯示卡或單次配對測試，未足以證明長期穩定性。

• RTX 4090 的 FP16、BF16 張量指令吞吐接近翻倍。
• GEMM 增幅依矩陣形狀而異，量化推理未見收益。
• 支援依賴核心、顯示卡型號及 NVIDIA 驅動程式組合。
• 適合有 Linux GPU 測試環境、能自行核對結果的研究者與工程團隊。

對需要測試 NVidia RTX 4090 Ada GPU 張量指令上限的團隊，這項目提供了可查閱的測試流程與硬件證據；若工作負載主要依賴量化矩陣運算，或要求長時間穩定運行，現有結果並未證明它能帶來相應收益。

GitHub

Categories: 開源, 模型, NVIDIA, Linux, 庫

---

StateTree-Representation：讓 LLM 壓縮後仍保留 BF16 精度

2026 年 10 月 26 日 Share to X Facebook Copy link

StateTree 同時壓縮模型權重與 KV cache，減少記憶體佔用之餘，生成結果仍可逐 bit 對齊 BF16。

大型語言模型在長上下文或多請求場景，瓶頸往往不是算力，而是反覆讀取權重和 KV cache。StateTree 以約 12 bits 儲存原本 16-bit 的資料，屬於結合模型表示法與推理引擎的開源項目，處理的是記憶體流量、快取容量與生成速度之間的取捨。

它把每組權重表示成共享離散決策的 state tree，並以 fused CUDA kernels 直接在 vLLM 和 🤗 Transformers 中解碼；KV cache 則以每個 vLLM block 16 tokens、每個 KV head 四組 16 × 64 records 儲存。權重與 cached key/value 都能還原至 exact BF16 bits，不涉及 quantization、calibration 或精度換取壓縮率。

Qwen3-8B 在單張 A100-40GB、vLLM 0.32 的測試中，權重由 15.3 GiB 降至 12.8 GiB，KV cache 每 token 由 144 KiB 降至 112.5 KiB；同一 GPU 預算可容納 1.49 倍 tokens，batch 1 生成速度由 75.6 提升至 97.2 tok/s，完整回答快 1.10 至 1.28 倍。Decode attention 相對 FlashAttention-2 則達 1.21 至 2.46 倍，但結果會受 GPU、批次大小和上下文長度影響。

測試需要 NVIDIA sm_80 或更新架構、CUDA 12.6，以及項目列出的 PyTorch、vLLM 0.32 或 Transformers 5.0 環境；可先用 greedy generation、prefix-cache hit 和長 prompt chunk prefill 對比 BF16。teacher-forced top-1 token 一致率為 97.6% 至 99.8%，差異集中於近似機率的 token，適合重視容量和吞吐、又不能接受量化誤差的推理服務團隊。

• 權重及 KV cache 均可逐 bit 還原至 BF16
• 權重佔用減少 24%，KV cache 佔用減少 22%
• 支援 vLLM fused kernels、paged blocks 和 prefix caching
• 測試結果涵蓋小 batch、長上下文及多請求情境
• 需要相容的 NVIDIA GPU、CUDA 與指定框架版本

項目主頁 · GitHub

Categories: 開源, 模型, Qwen, NVIDIA, 框架, Python, 推理引擎

---

Verus-Insight 分析可見瑕疵：影片真假判斷有跡可尋

2026 年 10 月 24 日 Share to X Facebook Copy link

Verus-Insight 不只判斷影片是真還是假，亦會逐步規劃檢查項目、核實畫面證據，再整理成結構化結論。這套開源模型適合研究影片偽造分析及可解釋檢測的團隊評估。

檢查 AI 生成影片時，單有真假標籤未必足以說明判斷依據。Verus-Insight 是一個影片瑕疵檢測模型，會按影片內容制定檢查準則、核實畫面中是否看得到相關瑕疵，再把觀察結果整合成真假判斷，讓分析不只停留在分類結果。

模型建基於 Qwen3-VL-8B-Instruct，採用「檢查規劃、證據核實、證據整合」流程。訓練方法以人工標註作錨點，涵蓋 Context → Rubric → Audit → Aggregation；這套流程旨在讓模型按影片內容提出檢查項目，並以可見證據支持結論。程式庫提供的是推理版本，並非可直接執行的訓練套件。

Verus-Bench 包含 192 段真實及 AI 生成影片，各佔 96 段，另有 320 項人工標註瑕疵，分屬 17 個類別。資料集可用來檢視模型能否找出細節瑕疵，但目前提供的資訊沒有列出具體評測分數，因此不宜據此判斷它比其他模型準確多少。

程式庫支援 Transformers、vLLM 推理，亦提供影片、圖片或影格序列輸入，以及批次推理與結果續跑功能。使用者可按文件準備 Linux、CUDA 環境並下載模型；Transformers 測試配置使用一張 H100 80GB GPU，但這只是已驗證配置，並非最低硬件要求。程式庫沒有提供訓練指令或訓練配方。

• 適合研究影片偽造、視覺瑕疵分析及可解釋檢測的團隊。
• 可由單一輸入測試，也可批次處理已整理的資料清單。
• Verus-Bench 提供人工標註，方便檢視瑕疵定位與影片層級判斷。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, NVIDIA, Video, Image, Linux, 庫, Dataset 數據集

---

TextRIRO：修改文字內容並保留原始風格

2026 年 10 月 23 日 Share to X Facebook Copy link

讓圖片中的文字換內容、留風格，但處理範圍限於裁切文字區域，項目暫時只是作為研究，因此生成解像度亦有限制。我仍為這研究有助 Diffusion Model 發展更多的應用

招牌或包裝上的字換了，仍希望保留原有外觀；TextRIRO 以條件擴散模型處理場景文字編輯（Scene Text Editing，STE），輸入裁切文字圖及替換內容，輸出改字後的圖像。

它以 Shuffle&Crop 打亂真實影像的文字語意，同時保留風格線索，讓每張圖形成自身的配對監督，毋須合成編輯前後配對或字元分割。多尺度風格編碼器配合以場景文字辨識（Scene Text Recognition，STR）預訓練的文字編碼器，分別提供外觀與字元條件。

「Real-only」只涵蓋編輯監督及文字編碼器預訓練。生成骨幹仍採用 Stable Diffusion（SD）1.5 的 U-Net 與 scheduler，以及 SD 2.1 的變分自編碼器（Variational Autoencoder，VAE）。

• 可透過 Hugging Face Demo 試改文字。
• 本地推理需 CUDA、模型權重及相關組件；儲存庫列出 Python 3.8／PyTorch 1.13 環境。
• 生成解像度為 64 × 256，再還原來源尺寸，細節仍受限制。
• RIROCommon 測試等長及變長改字；所附資訊未提供分數，不能判斷領先幅度。

文字辨識研究團隊亦可利用 TextRIRO-3M 的三百萬張長文字影像。這批資料由篩選後的編輯圖與原圖拼接而成，屬合成資料；完整照片改字流程，仍需另行處理文字區域裁切及回貼。

GitHub · 模型

Categories: 開源, 模型, 模型訓練, NVIDIA, Stable Diffusion, Image, Python, 庫, Dataset 數據集

---

RubatoCodec：深入神經音訊編碼 – 殘差向量量化（RVQ）與高保真重構架構

2026 年 10 月 22 日 Share to X Facebook Copy link

固定長度切分未必適合語音的每個片段；RubatoCodec 按訊號變化分配事件，並可逐段解碼，面向低位元率語音處理與串流生成。

語音片段的資訊密度各有不同，若一律按固定長度切分，便難以按內容分配編碼資源。RubatoCodec 是神經語音編碼器，會把語音轉成帶有離散碼索引和持續時間的可變長事件，並支援逐段重建波形，適合需要控制碼率或串流輸出的語音系統。

它在 50 Hz 潛在表示上，參考多尺度潛在特徵差異和波形頻譜通量，累積分配事件；預設目標比例為 0.25，整段語音的事件數則按公式精確控制。這種做法毋須另設邊界預測器、邊界標籤或 rate loss，但仍需把事件持續時間一併納入編碼，不能只看碼索引的位元率。

量化器採用 16 層混合式殘差結構：首層是接受語義監督的 FSQ，其後 15 層使用 DAC-style residual VQ。解碼時可選用 1 至 16 層的任意前綴深度，名義碼索引位元率約為 150 至 2,400 bit/s，另加持續時間資訊；模型以約每秒 12.5 個事件表示語音，輸入為 16 kHz，因果串流解碼器輸出 44.1 kHz。

每個事件代表約 80 毫秒音訊，在 H200 上解碼約需 11 毫秒，具備逐事件或分批解碼的條件。這是硬件與模型設定下的速度數據，不能直接當成其他設備上的延遲保證；現有資訊亦未提供足以比較音質取捨的具體評測結果。

研究人員、語音模型開發團隊，以及需要低碼率儲存或即時音訊處理的系統，可用公開模型和 Python API 載入語音、編碼，再按指定深度解碼。重點包括：
– 事件長度按語音訊號變化調整，整段事件數受目標比例控制。
– 支援逐事件或分批串流解碼。
– 可選不同量化器深度，在碼率與表示容量之間調整。
– 編碼資訊除離散碼索引外，亦包括事件持續時間。
– H200 上每事件約需 11 毫秒解碼，其他硬件表現未有提供。

基本使用範例（推論與重構流程）

專案通常遵循標準 PyTorch 神經編解碼介面，基本 Python 處理流程如下：

Copy

import torch
import torchaudio
from rubatocodec import RubatoCodec

# 1. 載入模型與權重
device = "cuda" if torch.cuda.is_available() else "cpu"
model = RubatoCodec.from_pretrained("third-intelligence/RubatoCodec").to(device)
model.eval()

# 2. 讀取並預處理音訊（重取樣至模型支援之採樣率）
waveform, sample_rate = torchaudio.load("input.wav")
if sample_rate != model.sample_rate:
    resampler = torchaudio.transforms.Resample(sample_rate, model.sample_rate)
    waveform = resampler(waveform)

waveform = waveform.unsqueeze(0).to(device)  # [Batch, Channels, Time]

# 3. 編碼：提取離散 Tokens (RVQ Codes)
with torch.no_grad():
    # tokens 形狀通常為 [Batch, Num_Quantizers, Frames]
    tokens = model.encode(waveform)

# 4. 解碼：由離散 Tokens 還原音訊波形
with torch.no_grad():
    reconstructed_waveform = model.decode(tokens)

# 5. 儲存重構音訊
torchaudio.save("reconstructed.wav", reconstructed_waveform.squeeze(0).cpu(), model.sample_rate)

GitHub · 模型

Categories: 開源, 模型, NVIDIA, API, Audio, Python, 語音, Dataset 數據集

---

JCA 讓文字生成可重播的 3D 動作與影片

2026 年 10 月 22 日 Share to X Facebook Copy link

文字提示不只生成畫面，JCA 亦同步產生可重播的 3D 動作，並支援場景及關鍵影格控制。

文字生成影片時，動作通常只留在畫面裏，難以直接套用到指定的 3D 角色，或放回原有場景。NVIDIA Research 的 Joints, Camera, Action!（JCA）同步生成影片、3D 骨架動作與鏡頭資訊，讓動作可以重播，並對應到 3D 場景。

JCA 支援不同骨架結構，不限於人形角色。輸入圖片可令動作回應周邊環境，加入少量關鍵影格則可控制動作軌跡；模型亦支援由影片還原骨架動作，或由骨架動作生成影片，適合 3D 資產動畫、場景化影片製作和動作擷取。

• 文字提示可生成同步的影片與 3D 動作。
• 輸入圖片和關鍵影格可提供場景及動作控制。
• 支援不同骨架結構，並可進行影片與動作之間的轉換。

模型以圖編碼器描述骨架，並讓獨立的動作模型與預訓練影片生成器透過少量 cross-attention layers 交換資訊。動作模型可先利用較易取得和擴增的純動作資料學習；它亦會定位影片中的關節，以推算鏡頭位置，協助把 3D 動作放回場景。

訓練資料接近 20 萬組配對，涵蓋人類與機械人影片，以及經整理、確保動作有效的 3D 資產場景影片。研究團隊表示，評估中 JCA 比以影片生成為先的流程更貼合文字描述，動作也能回應場景；原文沒有列出量化指標，效果幅度仍難以比較。

項目主頁

Categories: AI productions, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Image, World-Action Model, 教學, 3D, 動畫

---

Mistral 與 NVIDIA 以 Physics AI 加速工業設計

2026 年 10 月 22 日 Share to X Facebook Copy link

Mistral 與 NVIDIA 合作建立 Physics AI 工作流程，串聯設計、3D 模擬與 AI 訓練，縮短航空、汽車和半導體產品的驗證週期。

工程師處理複雜產品設計時，往往要在修改方案、執行物理模擬和整理結果之間來回切換。Mistral 與 NVIDIA 正合作建立 Physics AI 工作流程，將設計、模擬及 AI 訓練連接起來，縮短航空、汽車和半導體項目的驗證週期。

合作內容結合語言模型 Mistral Large 4、Mistral 的 physics AI，以及 NVIDIA CUDA-X、Warp 軟件庫和 Omniverse 3D 模擬平台。語言模型負責理解工程軟件和設計要求，物理 AI 則用於處理模擬相關工作；原始資料未交代完整操作流程，因此不能視為即時可用的安裝方案。

Mistral Large 4 約有一萬億參數，使用 3,800 枚 Grace Blackwell GPU 在歐洲訓練，預計於十月底以 open-weight 模型形式推出。合作雙方亦計劃公開 benchmark 和 open dataset，用來測試及比較 Physics Model，以及能夠操作工程軟件的 AI agents。

這個方向對需要大量模擬迭代的工程團隊較有吸引力，但成效仍取決於物理模型的準確度、工程資料質素，以及 AI 能否可靠地使用專業軟件。現階段較清楚的重點包括：

• 把設計、3D 模擬和 AI 訓練放進連續工作流程
• 結合 Mistral Large 4 與 Mistral physics AI
• 使用 NVIDIA CUDA-X、Warp 及 Omniverse 支援工程模擬
• 針對航空、汽車和半導體設計場景
• 透過公開 benchmark 和 open dataset 比較模型及 AI agents

項目主頁

Categories: NVIDIA, 新聞

---

StreamingSwap 把影片換臉推向 20 FPS 即時串流

2026 年 10 月 21 日 Share to X Facebook Copy link

StreamingSwap 針對長片換臉的身份穩定與速度取捨，透過較短上下文支援單卡即時處理。

長時間影片換臉最難維持的不是單幀效果，而是身份一致、原有動作和畫面細節能否一路穩定。StreamingSwap 是一個參考圖像引導的影片換臉模型框架，處理把來源身份轉移到目標影片、同時保留目標人物屬性與動態的問題。

它分兩個階段改善速度與穩定性。Face-RoI Generation 只集中處理臉部區域，配合按噪聲程度調整身份與重建比重的 Joint Rec-ID Loss；其後以 Short-Context Rollout Training 使用模型生成的歷史畫面，減少串流生成中的誤差累積。這套方法針對換臉只改變身份、其他視覺內容大致不變的特性，補足單靠 flow-matching supervision 對身份差異不夠敏感的問題。

提供的結果包括：
– 單張 NVIDIA RTX 4090 達到 21.174 FPS 的端到端吞吐量
– 評估影片最長達 10 分鐘，並展示 19 分鐘、20 FPS 取樣的直播串流測試
– HumanFaceVid 包含 1,000 小時電影風格訓練資料，以及各 200 段短片和長片評估集
– 研究結果在身份轉移和視覺質素之間取得具競爭力的平衡，但資料建構程式和訓練資料仍標示為準備中

電影後期、直播特效和長片角色替換等情境，較能受惠於這種空間與時間上下文都較節省的做法；單卡 RTX 4090 的測試結果亦令即時串流更接近可行範圍。項目提供的是研究模型與展示資料，原始資訊未交代完整安裝指令、未有直接下載的模型權重或訓練資料，因此不宜當成已可隨意下載使用的成品。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, NVIDIA, Video, Image, 框架, Dataset 數據集

---

Deepseek Recipe 幫本地推論後端連接多格式 API

2026 年 10 月 20 日 Share to X Facebook Copy link

在本地跑 DeepSeek 模型、想同時提供 Messages、Chat Completions 與 Responses 三種 API 格式？這個 Rust + Python 工具庫把格式轉換、prompt 渲染與 token 編碼一條龍包辦。

對想自建 DeepSeek 推論服務嘅開發者來說，最頭痛往往唔係模型本身，而係點樣令自家後端兼容外界各種 API 格式。deepseek-recipe 就係針對呢個痛點而來——它用 Rust 寫核心邏輯，再提供 Python bindings，專門負責將 Messages、Chat Completions 同 Responses 三種主流請求格式統一轉換成 DeepSeek 內部嘅 Conversation 結構，再渲染成模型識讀嘅 prompt，最後用附帶嘅 tokenizer 編碼成 token ID。

呢個庫定位相當清晰：佢只處理格式轉換同 prompt 拼裝，模型推論、工具執行、HTTP 傳輸呢啲都交返俾呼叫方自己負責。換句話講，開發者可以揀任何推論引擎，再喺外面搭一層 recipe 做「翻譯員」，咁就可以用同一個後端撐起多個對外 API 端點。對於正在從 Ollama、vLLM 或自家 CUDA 服務過渡到 DeepSeek 模型嘅團隊嚟講，等於慳咗大量重複開發。

它對 DeepSeek V4 同 V4.1 有針對性處理：V4.1 支援圖像（會用 OpenCV 預處理），V4 則會把圖片替換成 [Unsupported Image] 字串，避免下游出錯。Thinking mode 方面亦照顧周到，無設定時自動補 8192 tokens，開啟 thinking 預設 65536，開到 max effort 就去到 131072。Structured output 同樣齊全，Chat Completions 嘅 json_schema、regex，以至 Responses 嘅 text.format 都做咗驗證同轉寫，並會喺 InferenceOptions 揀選對應嘅 OutputConstraint，畀呼叫方決定要唔要開 constrained decoding。

工具支援亦係重點之一。Function tools 全部覆蓋，V4.1 仲額外支援 Messages 嘅 deferred tool loading 同 Responses 嘅 client-executed tool search，對做 agent 框架嘅人特別有用。串流方面，token usage 會回報 reasoning_tokens，logprobs 喺 Responses 格式下亦會被轉成 InferenceOptions。不過要留意，圖片抓取組件 ReqwestImageFetcher 預設連任何地址都得，如果服務面向不可信來源，記得裝返 DestinationFilter。

GitHub

Categories: 開源, Agentic, 模型, NVIDIA, DeepSeek, API, Image, 框架, 工具, Ollama, Python, 庫, Tokenize

---

DeepInfer 開放 DeepSeek 離線推理核心

2026 年 10 月 20 日 Share to X Facebook Copy link

DeepInfer 把 DeepSeek 大規模服務的離線推理核心開源，涵蓋高效 kernels、並行排程與解碼加速，但未包括完整線上服務組件。

對需要自行建立高效模型服務的團隊，DeepInfer 提供了一條更接近 DeepSeek 生產環境的技術路徑。這個框架負責離線推理，處理模型執行、批次排程與輸出生成；KV cache 系統、Prefill／Decode 分离及跨資料平行副本負載平衡則須另行整合。

• 支援 DeepSeek-V4.1-Flash，涵蓋模型與 sampler runtime、FlashMLA、DeepGEMM、DeepEP 等最佳化 kernels。
• 以 DSpark draft tokens 配合信心度排程驗證，減少解碼階段等待；預設最大 draft 長度為 5。
• 支援 MoE EP、EPLB、Attention DP、balanced CP，以及 CPU 與裝置執行重疊的非同步批次排程。
• 提供 SWA bounded replay、structured outputs、batch-invariant inference 與 deterministic sampling，方便控制成本和重現結果。

它與一般模型框架的分別，不在新增模型能力，而在於把 DeepSeek 線上服務累積的低延遲機制整理成可編譯的推理框架，代價是硬件與整合門檻較高。環境要求包括 Linux、Python 3.12、GCC 13 或以上；NVIDIA 路線使用 CUDA 13 及 SM100 GPU，另有 Huawei Ascend 950 NPU 版本，部分功能只支援 NVIDIA。

對吞吐量、推理成本和結果一致性敏感的 AI 平台團隊，DeepInfer 的價值較明顯。它提供 batch-invariant inference、regex、JSON schema 與 EBNF grammar 約束，但官方未提供吞吐量或延遲數據；公開內容亦未涵蓋完整部署指南與線上服務元件，較適合具備 GPU、NPU 及分散式系統經驗的團隊從源碼整合。

GitHub

Categories: 開源, 華為, 模型, NVIDIA, DeepSeek, 框架, 線上服務, Linux, Python

---