MedJev:快速有效理解醫學影像的系統一視覺語言決策模型

MedJev-4B 看完醫學影像便直接替選項評分,省去生成答案的時間;速度優勢,換來的是明確的任務邊界。

overview

MedJev-4B 是醫學影像決策模型,將影像、問題及全部候選答案放進同一個 prompt。模型只運算一次便為各選項評分,再以選項編號作答,將工作集中在有固定答案範圍的影像判斷。

這個選擇直接改變了應用程式接收答案的方式。MedJev-4B 不生成 token,即逐步輸出的文字單位,因此程式毋須等待整段回覆,也不用從句子抽取答案。輸出的編號必定對應候選選項,但格式正確不代表判斷正確;需要描述病灶或交代判斷理由的流程,仍不能只靠這個輸出完成。

MedJev-4B 建基於 Qwen3.5-4B,削減的是語言處理深度。原有 32 層中,首 23 層完整保留,第 24 至 31 層刪除,最後一層只留下 query 和 key projections,即計算問題與選項匹配程度的部分。影像編碼與整合結構則維持原樣,並保留整合後的每個影像單位,避免裁剪時移除細小病灶。省下語言運算、保住影像細節,是理解這次改動的核心。

項目文件報告,在 4 個 benchmark、1 張 H20、batch size 1 的條件下,MedJev-4B 的準確率高於全部 20 個 4B 至 9B 通用及醫療模型。除最小的模型外,其餘對照模型也較慢;與 Qwen3.5-4B 相比,平均準確率高 7.93 個百分點,作答速度為其 6.04 倍。測試前會先合併 LoRA adapter,即訓練所得的模型調整部分,避免額外運算推高延遲。這些結果支持指定硬件與測試集上的優勢,不能直接當成其他設備或工作負載的速度承諾。

準備接入工作流程前,可以先核對以下邊界:

  • 輸入必須附上候選答案,不能只交影像要求自由撰寫報告。
  • 資料準備程式只保留有 2 至 7 個候選答案的樣本。
  • 每宗樣本的所有影像都必須能解碼,參考答案亦須唯一對應一個選項。
  • 輸出可直接接入選項判斷流程,但不附帶文字推理過程。
  • 評測會逐例留下選項概率與延遲,方便追查錯誤集中在哪些個案。

準備好資料後,先用 scripts/prepare_data.py 建立樣本清單並核對剔除數量,再以 scripts/evaluate.sh 產生逐例 JSONL 與 summary.json。要對照公布結果,應在閒置 H20 上以 batch size 1 測試;其他硬件需求與維護節奏未有交代,正式接入前仍須量度自己的延遲與錯誤率。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, NVIDIA, Image, Medical醫學, Python, 庫, LoRA

Weight-Space Programming:毋須 Transformers 編寫另一個模型的權重

讓 LLM 直接寫權重,結果卻走向查表。WSP 把知識放進可追查的資料行,也重新檢視 Transformer 的角色。

Overview of weight-space programming and our associative-memory-based model

權重可以直接寫,卻未必需要 Transformer。Weight-Space Programming(WSP)是研究項目,讓大型語言模型(LLM)直接編寫目標模型的權重,不經 gradient training。研究把問題轉向知識如何存放:當權重由 LLM 決定,模型能否用更容易追查的結構回答問題?

研究讓 Claude Opus 5.5、GPT-6.1 Sol 和 GPT-6 Astra 擔任 writer,即負責寫模型的一方。三者各獲十道附答案的 ARC 題目及 sandbox,這個隔離執行環境讓它們測試程式。實驗容許它們填寫固定架構的權重,或自行設計模型,藉此檢視限制是否來自指定架構。

LLM(writer)自由設計模型的 ARC 準確率主要差異
Claude Opus 5.550.8% → 54.4%將一句事實同時作為 key 與 value
GPT-6.1 Sol44.6% → 47.4%寫成「線索 → 答案」配對
GPT-6 Astra42.7% → 46.2%寫成「情境線索 + 支持/反駁答案」

設計時,三者都把詞語映射至 concepts,再將文字事實編譯成 sparse tables,即只記錄相關概念的稀疏表。回答時,模型為每個選項找出最匹配的幾行,再加入手寫規則評分。三者的資料分法不同:Claude 用同一句子兼作查找線索和內容,Sol 分開線索與答案,Astra 則記錄支持和反對哪些答案。writer 也會在 sandbox 自編練習題,檢查錯誤後補寫資料行或規則。

採用資料表的理由,是讓錯誤能追溯至具體一行,並檢查修改會否牽連其他答案。Claude 的模型每個選項只保留最佳資料行,表現仍接近完整模型;刪除一行平均改變 0.5 至 1.8 個答案。手寫 Transformer 的對應數字為 4.8 及更多,說明兩種結構的修改影響範圍不同,但資料表仍未做到修改完全互不影響。

  • 權重由 LLM 直接編寫,目標模型不經 gradient training。
  • 自由設計的模型以文字事實建表,再按題目與選項查找。
  • 錯誤可追查至資料行,但刪改仍可能影響其他答案。
  • 架構比較限於這套手寫權重流程,不能推廣至所有模型。

ARC test 包含 3,530 題,隨機猜測準確率為 25%。Claude 設計的模型在 generation 5 達到 54.4%;另有一個自由設計模型,超越同一 LLM 寫出的最高準確率 released Transformer,參數約少 1,800 倍。這個比較支持「手寫權重未必要沿用 Transformer」,但不能解讀成它勝過經一般訓練的 Transformer,因為比較對象同樣由 LLM 寫入權重。

模型在這批 ARC 題目中仍有相當部分答錯,不能直接當作可靠的科學問答服務。當題目需要表中未涵蓋的事實,或概念未能匹配,查表流程便可能失去足夠依據;項目沒有提供這類情況的獨立結果。需要逐條核對知識的研究團隊,可以從資料行追查問題,但仍須自行測試目標題目。

跑前要準備 Linux、Python 3.11、bubblewrap bwrap,以及 requirements.txt 指定的依賴。讀者可先用 harness.score_model 建立 models/ 內的模型,在隔離環境中對 ARC validation 和 test 評分,再核對 result.json。若要讓 writer 產生新模型,還需 Claude Code CLI 及已登入的 profile;WSP_DATA_ROOT 必須設定,否則首次使用會報錯。

硬體需求要按實驗路線分開看:edited lm-* checkpoints 的評分需要一張 CUDA GPU,而 2B 至 2.6B 模型的起始準備曾使用 64 GB RAM。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Linux, Python, 編程, Anthropic

Marimba:讓短音訊只回答最後八秒

Marimba 是一個音訊決策工具,能回答「是否說完」「使用哪種語言」等問題。它不是語音辨識模型。

marimba

即時語音系統常遇到一個矛盾:想判斷對話狀態,卻不想為每個問題重新處理整段音訊。Marimba 的做法很直接,集中分析音訊視窗最後 8 秒,再以同一份音訊編碼結果回答多個結構化問題。

Marimba 屬於音訊分類與推論工具,實際處理的是「音訊發生了甚麼」而非「音訊說了甚麼」。它可以判斷是否有人說話、說話者是否完成一輪、語言選項、關鍵詞出現與否,以及說話者是否轉換;它不是 speech-to-text(把說話內容轉成文字)系統,也不會辨識個人身份或建立時間線。

首次載入模型時,系統會按 marimba.weights.DEFAULT_MODEL_REVISION 固定的版本下載權重及 Qwen3-ASR-0.6B 編碼器,並以 SHA256 校驗檔案。之後可把音訊檔、位元組或陣列交給 model(audio, questions);大量檔案可使用 batch 或 Hugging Face datasets 的 map_fn,即一次處理資料集中的多段音訊。

它把問題分成三種輸出:Question.noul 回傳布林值,Question.score 回傳機率,Question.choice 回傳選項及各選項機率。同一視窗的所有問題共用一次凍結的 Qwen3-ASR-0.6B encoder pass,之後由小型 readout、question-conditioned head(按問題調整輸出的模組)和凍結 decoder 產生答案。這種分工減少重複編碼,也讓同一份音訊可同時追問多項狀態。

Marimba 的幾個重點如下:

  • 已驗證工作包括 turn_end、voice_activity、language、term、same_speaker、speaker_change 與 speaker_count。
  • 可處理單一音訊、batch、Hugging Face datasets、即時串流,以及 encoder/decoder 分工排程。
  • 串流輸入須為 mono 16 kHz;hop_seconds=0.25 每次推送 4,000 個 float32 樣本。
  • 提供 OpenAI-compatible server、Pipecat、LiveKit Agents、Vapi、本機 demo、Runpod Serverless decoder worker、Space 與 benchmarks。
  • pii 仍是 experimental,須由呼叫端提供文字偵測器;audio_class 則沒有可用安裝路徑。
  • 不可用功能會回傳 None,不會以其他預測冒充答案。

在 NVIDIA L4、bf16、batch one 與 8 秒視窗的公開 API 測試中,turn end 的 p50/p95 latency(延遲中位數與第 95 百分位)為 12.23/13.31 ms,voice activity 為 14.40/15.77 ms。language 明顯較慢,為 153.67/160.80 ms;term 更達 1399.44/2349.14 ms。項目沒有宣稱即時處理保證,適合與等候時間較長的工作流結合。

Accent、language、noise、overlap、microphone 及 domain shifts 都可能改變決定,語言選項中的 Other 亦只是聚合其他受支援語言,並非 unknown-language detector。實際接入時,可用 model.calibrate(windows, labels, question) 以自家資料校準,再透過 marimba serve 供路由器或 OpenAI SDK 使用。這個版本更適合需要快速判斷對話狀態的語音代理、客服流程與 LiveKit/Pipecat 整合,而非需要完整逐字稿、身分確認或安全關鍵決策的系統。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, NVIDIA, OpenAI, API, Audio, 工具, Python, 語音, 安全, Dataset 數據集

MovieRoll:讓長影片生成減少走樣

MovieRoll 將持續生成、事件控制與模型蒸餾放在同一框架,嘗試減少長影片後段褪色、變形與語意漂移。

MovieRoll: And... Action!

通常影片越長,角色走樣越明顯。MovieRoll 是一套長影片生成框架,針對的正是生成持續到後段後容易褪色、變形及失去劇情連貫的問題,並同時提供 Base 與 Distilled 兩條模型路徑。

  • 兩種模型定位:MovieRoll-Base 偏重品質與可控性,MovieRoll-Distilled 以更少步數加快生成。
  • 支援 T2V 與 I2V:可由文字生成影片,也可從圖片出發,另可使用有序 event prompt 序列加入多個事件。
  • 降低長片退化:joint window denoising、hierarchical KV caching 與 cache recomputation 共同支援持續生成。
  • 更快版本:MovieRoll-Distilled 的 denoising steps 為 5,Base 則需要 50 步並使用 AnnealCFG。
  • 評測覆蓋較長時長:HeliosBench 測試 10、30、60 秒單事件影片,以及 30 秒/3 events、60 秒/6 events 多事件影片。

MovieRoll-Base 以 window-wise teacher forcing 訓練,讓模型在較長生成期內逐步維持前後關係。進入推論階段後,它結合 joint window denoising、hierarchical KV caching 和 cache recomputation,針對持續滾動生成時容易累積的品質損耗逐段處理。AnnealCFG 會逐步降低 guidance,讓結果靠近 clean endpoint。

Distilled 版本則走另一條路。ODE initialization 配合 cumulative long tuning(CuLT-DMD)製成 MovieRoll-Distilled,把原本 50 個 denoising steps 壓至 5 個,而且不再使用 CFG(Classifier-Free Guidance)。這個取捨很直接:想要較快試不同 prompt、鏡頭與事件安排,Distilled 較合適;團隊若要優先研究 Base 模型的控制方法,便有另一條路可走。兩者均提供 text-to-video(T2V)及 image-to-video(I2V)checkpoint。

長影片通常會描述多過一個事件。MovieRoll 可用單一 prompt,也可按次序輸入多個 event prompt,讓同一場景繼續發展,同時引入新動作。HeliosBench 的多事件評測正針對這項能力:30 秒版本包含 3 個 events,60 秒版本包含 6 個,single-event 與 multi-event 分別使用 200 及 100 個 prompts。

評測結果由 MovieRoll-Distilled 取得各個已報告設定中的最高 total score,評分涵蓋視覺品質、動態、平滑度、語意對齊、自然度,以及隨時間累積的 drift。

另有 59 名專業人士參與 paired study,對同一 prompt 產生的影片選擇偏好影片或 tie,每對影片至少由 3 名專家評估。項目文件同時提供 5 個相同 prompt 與目標時長的比較案例,並列出 Base 與 Distilled 版本,讓團隊可以觀察蒸餾前後的取捨,而不只依賴單一總分。

安裝與模型下載需要 Python 3.12、支援 CUDA 的 PyTorch,以及已安裝的 FlashAttention kernels。FlashAttention-3 要從 flash-attention 的 hopper/ 目錄建置,並需要 Hopper(sm90)GPU,例如 H100;開始長時間生成前,應先確認 kernel build 支援所用 GPU。

模型權重在 Hugging Face 的 yunyangge/MovieRoll,下载前需要接受存取條件並完成認證。單一 checkpoint 仍須配備 HunyuanVideo-1.5 的 VAE、Qwen2.5-VL-7B-Instruct、byt5-small 與 Glyph-SDXL-v2。這些不是可省略的提示詞工具,而是完整推論管線的共用元件。

硬體門檻是 MovieRoll 目前的明顯限制。Quick Start 的單 GPU 設定要求整條 pipeline 能放入 GPU,文件列出的 96 GB GPU 可容納整條管線;8 GPU 設定則採用分散式與序列平行。--sp-size 必須同時整除 GPU 數及模型的 16 個 attention heads,8 GPU 範例使用 --sp-size 8 與 --shard-world 8。單程序推論不使用 FSDP(Fully Sharded Data Parallel)。

原生 inference entry point 尚未支援 CPU offload,RTX 4090、RTX 5090 等 consumer GPU 亦列於 TODO。Gradio、串流播放與 inference efficiency 改善仍未完成,因此這套模型現階段較適合具備大型 GPU 環境的影片研究與製作團隊,而非一般消費級電腦。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 北京大學, 騰訊, AI productions, 模型, 視頻模型, 模型訓練, Qwen, Google, NVIDIA, Stable Diffusion, API, Video, Image, 提示詞, 框架, 香港, 工具, Python

VoxMel:直接以頻譜簡化語音生成

少一層語音編碼,不等於少一層難題。VoxMel 捨棄 learned acoustic tokenizer,直接從頻譜生成語音。

VoxMel TTS

VoxMel 是一種無需聲學分詞器的連續自回歸文本轉語音(TTS)框架,通過固定且精確可逆的雙軸 Haar 變換直接建模梅爾頻譜。語言模型骨幹與流匹配預測頭以自回歸方式生成 Coarse-Mel,兩個非自回歸殘差層依次恢復時間和頻率細節,且不會將這些殘差反饋至自回歸歷史。獨立的 Vocos 聲碼器將重建的梅爾頻譜轉換為語音。

✨ 主要亮點
– 直接建模梅爾頻譜 — 無需學習聲學分詞器或壓縮聲學潛空間;文本前端使用 Qwen2.5 分詞器。

  • 精確可逆分解 — 沿頻率和時間軸的 Haar 分解保留全部梅爾系數。精確可逆指變換本身,並不保證生成音頻或聲碼器重建無損。

  • 僅對粗粒度分量自回歸 — 先生成 Coarse-Mel,再按依賴順序生成時間殘差和頻率殘差;殘差細節不進入自回歸歷史。

  • 中英文零樣本聲音克隆 — 使用參考音頻及其轉錄文本合成語音,論文配置輸出 24 kHz 音頻。

  • 後訓練 — 凍結預測頭的 GRPO 改善了全部四項 Seed-TTS 指標。

  • 直接生成 mel-spectrogram,不需 learned acoustic tokenizer。

  • 固定雙軸 Haar transform 保留全部 mel coefficients。

  • 提供 VoxMel-0.6B 與 VoxMel-0.3B 兩個模型。

VoxMel 使用 10 萬小時 Emilia 數據訓練,並在英語和中文零樣本聲音克隆任務上評測。0.6B 監督模型在 Seed-TTS-eval test-en 上達到 1.51% WER / 0.738 SIM;凍結預測頭的 GRPO 將結果提升至 1.15% WER / 0.753 SIM。對比結果和評測協議見評測。

VoxMel 的核心不是把梅爾頻譜再壓縮,而是重新安排資料的生成次序。系統先以 decoder-only transformer 和 flow-matching head 逐步產生 Coarse-Mel,再按 dependency order 預測 temporal residual 與 frequency residual。兩層 residual 均以 non-autoregressive 方式處理,而且不會回饋到 Coarse-Mel 的 autoregressive history。

VoxMel 把高維連續語音的難題集中在高階結構,而不是先學習一套壓縮 acoustic representation。Haar transform 可逆,代表頻率與 temporal splits 沒有自行丟失 mel coefficients,但這個保證不延伸到生成音訊或 Vocos reconstruction。換言之,數學上的可逆分解,但並不等於輸出音訊可以無損重建。

在 24 kHz 設定下使用 100-channel log-mels、1024-point FFT/window 與 256-sample hop。完整 mel 的 frame rate 是 93.75 Hz,Coarse-Mel 則降至 46.875 Hz。模型以 Emilia 的 100K hours 訓練,最後由凍結的 24 kHz Vocos vocoder 把重建的 mel-spectrogram 轉成波形。

英語結果是這套方法最突出的部分。VoxMel-0.6B 在 Seed-TTS-eval test-en 錄得 1.51% WER 和 0.738 SIM,數字低於 CosyVoice 的 3.39%、CosyVoice 2 的 2.57%、Qwen3-TTS 的 1.66%及 DiTAR 的 1.69%。加入 frozen-head GRPO post-training 後,結果改善至 1.15% WER 和 0.753 SIM。

安裝需要 Python 3.10–3.12,並按硬件選擇相容的 PyTorch 與 torchaudio 版本。原始環境採用 torch/torchaudio 2.4.1 和 CUDA 12.1,程式碼以 editable package 方式安裝,requirements.txt 會共用套件安裝設定。CPU 與 Apple Silicon 需要使用相應的 PyTorch build;device="auto" 會依次選擇 CUDA、MPS、CPU,但 MPS 的 operator support 與 performance 仍要按 checkpoint 驗證。

執行推理前,要準備 config.yaml、model_L_final.pt,以及指定 Vocos 目錄內的 config.yaml 和 pytorch_model.bin。VoxMel-0.6B 與 0.3B 可從 Hugging Face 取得,但只有 0.6B 做過 frozen-head GRPO,0.3B 並沒有相同的后訓練流程。

Python API 以 model.generate() 合成語音,能獨立調整 text guidance、speaker guidance、residual solver steps、duration bounds 與 random seed,並回傳 mono float32 NumPy waveform。CLI 可輸出 WAV;Web Demo 提供播放、下載與本地示例,預設採用 32 個 coarse 和 residual solver steps,Text CFG 與 Speaker CFG 分別為 3.5 和 3.0,隨機 seed 固定為 42。

項目主頁 · GitHub · 模型

Categories: 開源, 文字轉語音, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, API, Audio, 框架, Clone, Mac, Python, 語音, 蘋果, Tokenize

VoiceStudio:廣東話本地生成的聲音複製、配音與轉錄

VoiceStudio 將聲音複製、影片配音、語音設計和轉錄放進同一個本機工作流,支援 646 種語言。

logo

VoiceStudio 是一個開源、完全本機運行的 AI 語音工作室,處理聲音複製、影片翻譯配音、語音設計、聽寫、轉錄和有聲書製作,目標是把依賴網上語音服務的流程移回自己的電腦。項目文件標示支援 646 種語言,實際效果則取決於所選引擎、參考錄音和可用硬件。

它並不是單一模型,而是一個容納多個語音引擎的桌面應用程式。預設引擎是由 k2-fsa/OmniVoice 驅動的 VoiceStudio,Model Manager 亦可選擇其他引擎,並只下載需要的模型。這個安排比固定綁定一個模型更有彈性,但也代表不同引擎的聲音質素、速度、硬件支援和操作結果不能一概而論。

實際工作流可以由一段乾淨的參考錄音開始,複製出相近聲線,再輸入文字生成語音;若要做影片配音,系統會先翻譯內容,再令配音時間貼近原片。Voice design 則改用文字描述聲音,例如指定語氣和特徵後生成語音,適合尚未有固定配音員錄音的內容。浮動聽寫小工具和本機轉錄,則把語音輸入延伸到日常寫作與紀錄。

對需要大量內容的團隊,故事、有聲書和排隊工作比單次生成更實用。VoiceStudio 支持 Local API、MCP(Model Context Protocol)、可重用 recipes 和 watch folders,讓工作可以由其他工具觸發,或在指定資料夾出現檔案後自動處理。這使它較接近一個可編排的媒體工作流,而不只是聲音預覽工具。

VoiceStudio 支持多種平台發行版本:包括 Windows x64、Windows ARM64(experimental)、macOS Apple Silicon、macOS Intel、Linux x64、Android 和 iPhone。下載桌面版本後,再在 Model Manager 取得所需引擎;項目文件沒有提供模型大小、下載容量或最低硬件需求,因此不能預先準確估算儲存空間與等待時間。

硬件差異會直接影響本機部署。Windows ROCm 支援仍屬 experimental,只涵蓋部分 RDNA 2 RX 6000 GPU,目標為 gfx1030、gfx1031 或 gfx1032,RX 6500 XT 的 gfx1034 不包括在內;RX 6700 XT 的測試涵蓋原生 Torch 語音生成及 PyTorch Whisper。若 GPU 初始化失敗,實際可用能力可能退回 CPU,而文件也沒有提供所有引擎的完整效能數據,所以不能只憑顯示卡型號推斷生成速度。

建議先用短錄音測試聲音複製,再用一段需要同步的影片檢查配音時間,最後才把文字批次送入有聲書或排隊工作。測試時應分開比較 VoiceStudio 與 Model Manager 中的其他引擎,因為預設的 k2-fsa/OmniVoice 並不代表整個應用程式的聲音表現;錄音雜音、語言、句子長度和本機資源不足,都可能令結果退化。

幾個關鍵取捨:
– 聲音複製、語音設計、影片配音與轉錄集中在同一個本機工作流。
– VoiceStudio 以 k2-fsa/OmniVoice 為預設,亦容許在 Model Manager 改用其他引擎。
– Local API、MCP、recipes 和 watch folders 可接入批次及自動化流程。
– Windows ROCm 仍是實驗性支援,RX 6500 XT 明確不在支援範圍。
– v0.5.8 提供多平台下載,但部分 Windows、ARM64 和 iPhone 版本有簽署或實驗性限制。

需要處理敏感錄音、長篇旁白或內部轉錄的團隊,會較容易發現本機運行的價值,因為免費桌面應用程式不需要帳戶,資料亦可留在自己的硬件。VoiceStudio Pro 是閉源版本,需要帳戶,面向跨多部裝置的付費客戶工作,單一使用者最多可同時在 3 部裝置使用;VoiceStudio Cloud 則推出的託管語音及配音 API,文件稱不需要 GPU。項目未交代 release 節奏、完整最低配置或各引擎的統一評測,採用前仍應以目標平台和實際素材做小規模驗證。

GitHub · GitHub

Categories: 開源, AI productions, MCP, 模型, 微軟, NVIDIA, API, Video, Audio, 工具, Medical醫學, Mac, Linux, Python, 語音, 蘋果

spillway:智能體免被攻擊工具,鎖定在用戶指定目標

SPILLWAY 在工具執行前核對收件人與資源目標。標準攻擊測試中,2,847 組攻擊未有一次把操作導向用戶未指定的目標…

SAINT Machines

SPILLWAY 1.0.0 是一款即時安全防護工具,供 AI 智能體在執行操作前,核對收件人、帳戶或資源目標是否來自用戶任務。它處理的是提示詞注入 (Prompt Injection) 造成的越權操作,不是替模型判斷所有內容是否可信。

它先用結構化規則決定是否放行,再把工具回傳中有類型標記的欄位,與用戶的目標作集合比對。當電郵或網頁內的攻擊文字要求智能體把資料送往另一個地址,這個地址若只出現在攻擊者提供的文字,而不在用戶任務中,lookup 就會拒絕相關呼叫。

SPILLWAY 先依固定規則和目標比對作決定。管理者可選擇讓 local judge 檢查部分被拒呼叫,也可啟用 identity-target recovery;兩者在預設的 Guard(task) 中均關閉。

使用 AgentDojo v1.2.2 的標準攻擊測試涵蓋 Banking、Slack、Travel、Workspace 四個 suite,配合 gpt-4o-mini、qwen3-coder:30b、qwen3:8b 三個 backbone,共 2,847 組攻擊配對。SPILLWAY 在 12 個測試格中都沒有觀察到範圍內攻擊成功。這個結果表示測試中的攻擊沒有把操作導向用戶未指定的目標。

測試範圍亦包括 ChatInject 的 forged chat template 攻擊,共 665 組配對;以及 AutoDojo 的 389 組已發布、由最佳化器生成的攻擊配對。AutoDojo 結果被文件標註為 descriptive,且所提供內容沒有列出其限制細節。這些數字應視作特定測試集的觀察,不宜延伸成對未知攻擊的保證。

安裝需要 Python 3.10 或以上,項目文件提供的套件版本為 spillway-guard 1.0.0,可用 pip 安裝。安裝後,團隊仍需把防護接入智能體的工具呼叫流程,讓規則在操作執行前檢查目標;文件亦提供瀏覽器試用入口。對已有工具型智能體、且需要限制外發地址或資源操作的團隊,測試時應先用自己的任務與工具回傳驗證規則,再確認 judge 和 recovery 是否符合安全政策。

  • 先以用戶任務和 typed tool returns 比對目標,再按固定規則決定是否放行。
  • Local judge 與 identity-target recovery 均為可選功能,預設關閉。
  • AgentDojo 標準攻擊測試中,12 格均沒有範圍內攻擊成功,UAU 平均值為 .489。
  • ChatInject 測試涵蓋 665 組配對;AutoDojo 涵蓋 389 組,後者結果屬描述性資料。
  • 安裝要求 Python 3.10+;歷史成本數據未有為 1.0.0 重跑。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, Qwen, Gemini, 工具, 安全

gpu unlock:讓 RTX GPU 倍速運算

解鎖運算速度,不代表模型回答快一倍。gpu-unlock 的收益取決於工作負載,量化推理與遊戲未必受惠。

gpu-unlock: full-speed tensor cores for GeForce RTX

運算上限解開,模型也未必快一倍。gpu-unlock 是 Linux kernel module,即在系統核心運作的模組,會在開機時、原裝 NVIDIA driver 載入前解除部分運算速度限制。它改動的是顯示卡運算能力的可用範圍,模型本身毋須更換。

GeForce 的 Tensor Cores 運算單元在特定精度組合下受半速限制。涉及 FP16(16-bit Floating Point)、BF16(Brain Floating Point 16)及 TF32(TensorFloat-32),並以 FP32(32-bit Floating Point)累加結果;簡單理解,就是以較低精度計算,再用較高精度累積答案。同晶片的 RTX A-series 或專業卡則以全速運行,而解除限制毋須修改 NVIDIA driver 或刷寫顯示卡韌體,文件亦稱更新 driver 後毋須重做。

先看自己的工作內容,再決定是否測試,會比單看「解鎖」更有意義。項目列出的收益分布相當不平均,以下數字均屬項目提供的典型加速幅度:

  • Large Language Model(LLM)讀取提示內容的階段,加速 +25–55%;這與之後逐字生成答案是不同工序。
  • BF16 的 Low-Rank Adaptation(LoRA)及完整微調,加速 +25–50%;兩者分別更新少量附加參數和模型整體參數。
  • FP16/BF16 圖像生成,加速 +30–55%,較貼近需要反覆產圖的工作流程。
  • LLM 逐字生成答案,以及遊戲,均標示為 No change,不能把運算吞吐量當成整體體驗的增幅。

這些幅度來自使用者提交的相容性報告,並非每套模型與硬件都會重現。項目稱解鎖前後輸出逐位元一致,但測試時仍應固定模型、輸入及設定,分開量度提示處理和答案生成時間。顧問替客戶估算效益時,也應按實際工序計時,不能把某個階段的加速直接套在整個服務上。

功率是另一道限制,即使運算單元可以跑得更快,也未必有足夠供電空間。RTX 4090 在原裝功率限制下處理大型矩陣乘法,增幅遠低於峰值速率所示。工作中相關精度的矩陣運算比例愈低,解鎖能影響的部分也愈少;評估批量訓練或生成工作時,應量度整項任務的完成時間。

硬件支援亦有成熟度之分:Ampere(RTX 30)標示為 Stable,已有 100+ 份使用者報告。Ada Lovelace(RTX 40)與 Turing(RTX 20)仍屬 Experimental,Blackwell(RTX 50)則不受支援。挑選測試機時,不能只看卡名屬於 GeForce;先核對支援型號及狀態,才能判斷是在驗證收益,還是在試驗相容性。

部署前要有 Linux、受支援顯示卡,以及修改核心開機參數的條件。安裝完成後,仍須透過 gpu_unlock.targets 明確啟用,可選全部支援卡,或指定個別卡的完整硬件地址;未啟用時模組不會解鎖。解鎖也必須趕在 driver 綁定顯示卡之前,已被 driver 接管或已斷電的卡會被跳過,因此它不是開機後隨時切換的加速按鈕。

手提電腦的難題是獨立顯示卡可能在閒置時完全斷電,令解鎖狀態重設。關閉相關動態電源管理只對部分型號有幫助,不能假設開機測試成功後便一直有效。準備採用的團隊應先在目標機器完成一次工作測試,再讓機器閒置後重測,核對日常電源行為會否令收益消失。

GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Image, Linux, LoRA

LongCat-Video-Avatar 1.6:讓長片嘴形更自然

人物影片可以生成超過十分鐘,嘴形與身份能否保持穩定,才是這次更新的看點。

Hero image preview

影片能延長,人物卻不能愈演愈走樣。LongCat-Video-Avatar 1.6 是建基於 LongCat-Video 的開源音訊驅動人物影片生成模型,讓人物隨聲音說話及活動。這次更新集中改善嘴形自然度,以及長片中人物外觀與動作的連貫性,直接影響持續觀看的體驗。

項目文件稱,模型支援生成超過 10 分鐘的影片,並減少 autoregressive video continuation 期間的誤差累積。這個術語指影片按已有內容逐段往後生成,前段的偏差可能延續到後段。因此,長片測試不能只看開場是否逼真,還要檢查後段是否仍像同一個人,嘴部動作有沒有逐漸變得不自然。

與 LongCat-Video-Avatar 1.5 的比較採用相同輸入,讓版本差異較容易辨認。項目文件稱,1.6 減少誇張或繃緊的嘴部動作、過紅的唇色,以及嘴部區域隨時間出現的不穩定情況。這些改動處理的是觀看時容易察覺的細節:嘴巴即使跟着聲音動,也可能因幅度或外觀變化而顯得生硬。

聲音處理由 Whisper-large Audio Encoder 負責,把音訊轉成模型可用的特徵。它能改善音素表徵,也就是更清楚地捕捉發音單位,讓嘴部動作更準確、流暢。另一項方法 Per-Frame Optimization 會逐幀調整聲音與影像的對齊,將同步修正落到每一格畫面,而不只籠統處理整段影片。

幾個可觀察的變化:

  • 說話時嘴部開合是否自然,有沒有持續繃緊或過度張開。
  • 嘴部外觀能否保持連貫,避免唇色與局部畫面忽然變化。
  • 影片延長後,人物身份與動作是否仍然穩定。
  • 比較 1.5 與 1.6 時,沿用相同輸入,觀察差異是否持續出現。

人類偏好研究提供了示範以外的比較依據。研究涵蓋六個系統、15 組模型配對,共收集 33,051 張有效個別選票;1.6 的 Bradley–Terry Elo 分數為 1068.1,排名第二。這套計分方式把兩兩比較的偏好整理成排名,結果落後於 OmniHuman-2.0,領先 1.5、HeyGen、OmniHuman-1.5 及 Kling Avatar 2.0,但不能當成每類輸入都勝出的保證。

超過 10 分鐘的生成能力,也不代表長時間續接已消除退化。項目文件的措辭是「減少」誤差累積,因此需要長段人物影片的製作團隊,仍應檢查片尾與跨段位置,不能只憑短片預覽判斷整段品質。提供的資料未列出硬件需求、記憶體需求或具體推論耗時,亦不足以判斷本地製作的等待時間與資源成本。

授權則要分清模型與展示內容。Hugging Face 的模型識別碼為 meituan-longcat/LongCat-Video-Avatar-1.6,License 標示為 MIT;展示內容的倫理說明另外列明,部分圖像及音訊取自真實影片,生成內容只限學術用途,不准商業使用。準備把示範片段放入客戶提案或公開作品前,應先核對相關素材與生成內容的授權範圍,不能單憑模型的授權標示判斷。

設定RTX 4090 適用情況
BF16 推理VRAM 是主要限制。
FlashAttention-2建議使用;模型設定預設已啟用。
INT8 DiT(--use_int8)最適合單張 4090;官方提供 base_model_int8 權重。
FP8(--use_fp8)Ada 架構理論上支援 FP8,但官方要求先安裝支援 CUDA 的 Transformer Engine;FP8 與 INT8 不可同時使用。
官方 Avatar 範例使用 --nproc_per_node=2 --context_parallel_size=2,即需要兩張 GPU;單張 4090 需自行調整啟動參數,並可能要降低記憶體用量。
FlashAttention-3不適用:它針對 Hopper 架構 GPU,例如 H100/H200/H800,並非 4090。

建議的 4090 設定

優先使用 8 步蒸餾及 INT8,而不是完整 BF16:

torchrun --nproc_per_node=1 \
  run_demo_avatar_single_audio_to_video.py \
  --context_parallel_size=1 \
  --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 \
  --stage_1=ai2v \
  --input_json=assets/avatar/single_example_1.json \
  --use_distill \
  --lora_path loraB/lora.safetensors \
  --model_type avatar-v1.6 \
  --use_int8 \
  --mix_steps=4 --mix_alpha=1.0

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, Image, Audio, Python, 語音, 動畫

Axiom大師班-智能體工程(ADK & MCP)

GoTech World 2026 的一日實作課以 Antigravity IDE 和 Gemini 3.5 Flash… Axiom Masterclass:把程式代理納入人手把關的工程流程

Repository image for gsans/axiom-masterclass-gotech-world-2026

讓 coding agent 改程式碼時,工作可以在獨立 Git worktree 進行,再交由人手批准、確定性檢查和獨立 reviewer 把關。Axiom Masterclass 是一日實作課,面向 GoTech World 2026 的參加者,聚焦 Agentic Engineering(智能體工程)及 ADK(Agent Development Kit)與 MCP(Model Context Protocol);活動於 Tue 10 Nov 的 10:00–17:00,在布加勒斯特 ROMEXPO Pavilion B1 舉行。

課程提供 Antigravity IDE 的 code labs,參加者可在每個時段開始時更新 repo,取得當日發布的 lab。notebooks/ 內有各 block 的唯讀參考筆記,適合跟着內容核對,而不是直接當作可執行練習。項目文件沒有列出 labs 的具體發布時間,亦未交代各 block 的詳細課程安排。

正式活動前,參加者要安裝 Antigravity IDE (Standalone),並以個人 Gmail 登入;另外還要在 Google AI Studio 建立 API key。兩者用途不同:IDE 登入本身不會提供 code labs 所需的 API 存取權。API key 需要放在本機環境設定中,並避免貼到聊天或提交至 Git。

一般環境需要 Node.js v20 或更新版本,以及 Git。安裝依賴會下載約 380 MB,宜在網絡穩定時預先完成;之後執行 npm run verify,由 verify.mjs 檢查 API key,成功會顯示 Ready for Tuesday,失敗則提示需要修正的內容。項目文件亦提供 setup guide 和 Slow Engineering Field Manual 兩份 PDF,供參加者事前準備。

免費 API key 配合 Gemini 3.5 Flash Lite 約有每日 60 requests,而每次向 lab agent 提問會消耗 2 至 6 requests。免費層每週 quota 亦較少,因此文件要求參加者在 Tuesday 前不要於 Antigravity 執行 agents;這會限制預先試跑的次數,測試時應先保留額度給課堂練習。文件沒有說明每日配額是否適用於其他模型。

收尾示範 Mission Control,展示一個 coding agent 如何在獨立 Git worktree 內工作,再由 human gate、人手可控的批准點、deterministic checks 和 independent reviewer 分別把關;操作可用 clicks 或 voice。這套流程比單靠 agent 自行完成更重視審核與可檢查結果,但多了人工關卡和檢查步驟,工作流程也較複雜。

  • Antigravity IDE 與 Google AI Studio API key 必須分開準備。
  • 執行一般 code labs 需要 Node.js v20 或更新版本及 Git。
  • npm run verify 可在活動前確認 API key 是否可用。
  • 每個 block 開始時以 git pull 取得新 lab;發布時間未有說明。
  • Mission Control demo 另需 Python,並有獨立 setup;Python 版本要求未列明。

這項課程較適合想親手走過 coding agent 開發流程、並了解人手審批與自動檢查如何分工的工程師及團隊。要自行執行 Mission Control,除 Node.js 外還要準備 Python;而 repo 的一般安裝步驟只明確列出 Node.js v20 或更新版本及 Git。項目文件沒有提供發布節奏或維護活動資料,參加者宜按活動安排預先完成環境檢查,並把免費配額留到課堂使用。

GitHub

Categories: 開源, Agentic, MCP, 模型, Google, Gemini, API, Vibe Coding, IDE, Python, 編程, 語音

Page 1 of 193
1 2 3 … 193