InferNews

HyperFrame 配合 Claude Code 製作 Vox 風格影片

Og image

現有資料主要來自 YouTube 標題與簡短描述，資訊不算完整，但仍可看出內容圍繞 HyperFrame 與 Claude Code 兩個工具，示範如何做出接近 Vox 風格的解說影片。讀者可先把它理解為一個 AI 輔助影片製作項目：由工具協助處理腳本、畫面規劃或製作流程，而不只是單一步驟生成。

這類項目想處理的問題，很可能是把資料整理、敘事結構、畫面設計與影片產出連成一條工作流。相比只用單一影片生成模型，這種做法更接近內容製作流程本身，重點不只是「出片」，而是如何把想法變成有節奏、有資訊層次的短片。

從標題判斷，Claude Code 可能負責文字、結構或流程協調，HyperFrame 則可能用於畫面或影片製作環節。不過頁面未提供更詳細技術內容、模型名稱或量化結果，因此未能確認兩者各自負責的步驟，也不能判斷成品質素是否穩定。

可先留意幾個重點：
– 這是一個偏向工作流整合的影片製作項目
– 目標風格是資訊密度較高的 Vox 式解說內容
– 適合內容創作者、營銷製作與短片腳本規劃
– 現有頁面缺少性能數據、成本與時間比較

如果想進一步測試，較可行的方法是先觀看原片，記錄它如何拆分腳本、旁白、畫面節奏與素材安排，再用同類工具重建其中一小段。以目前資料來看，這項內容較適合作為工作流觀察，而不是完整教學或技術評測。

項目主頁： https://www.youtube.com/watch?v=XVsGK99E9FA

Categories: Video, 工具, Content Creator, AI productions, Vibe Coding, 教學, 編程, Anthropic

Apple container：Mac 原生容器新選擇

Containerization logo

container 是一個工具，用來在 Mac 上建立及執行 Linux containers，做法更接近把容器當成輕量虛擬機處理；它要解決的，是 Mac 開發者在本機跑 Linux 工作負載時，如何兼顧隔離、速度與 OCI 相容性。

這個項目最明顯的取向，是 Apple 自己用 Swift 編寫，並且針對 Apple silicon 優化，同時依賴 Containerization 這個 Swift package 處理較底層的 container、image 與 process 管理。跟不少人熟悉的 Docker Desktop 或其他 Mac 容器方案相比，它不是強調整合一大堆開發配套，而是集中做好原生執行、標準映像相容，以及 Apple 平台能力。

安裝不算複雜：官方提供已簽署的安裝包，裝好後要啟動 system service，並且整個項目只支援 Apple silicon 與 macOS 26。這代表門檻很清楚：如果你仍在舊版 macOS，或者團隊有 Intel Mac，這個項目暫時就不會是通用解法。

Apple Just Built WSL for the Mac (Container Machines)

它支援讀寫 OCI-compatible container images，所以可以從標準 container registry 拉取映像、建立映像，再推回其他 OCI-compatible application 可用的環境。對開發團隊來說，這點很重要，因為它不是把流程鎖死在 Apple 自家格式，而是保留與現有容器生態互通。

  • 針對 Apple silicon 與 macOS 26，平台限制明確
  • 支援 OCI-compatible container images，可接標準 registry
  • 底層建基於 Containerization，偏向原生與輕量路線
  • 較適合 Mac 開發、測試、映像建置，不是全功能平台替代品

效能方面，暫時沒有提供完整官方基準數字，但外部已有文章把它放到 Docker Desktop、OrbStack 一類方案旁邊看 CPU、記憶體、啟動時間與 I/O。即使未能單靠儲存庫內容下定論，仍可合理判斷：Apple 想做的不是「功能最多」，而是在自家硬件上提供更貼近系統能力的容器執行方式。較受惠的會是以 Mac 為主要開發機、需要 OCI 相容流程、又願意接受新平台限制的工程團隊。

這個項目不是 AI 模型；若要說相關技術組件，主要是 OCI-compatible container images 與 Containerization。

GitHub： https://github.com/apple/container

項目： https://developer.apple.com/videos/play/wwdc2026/389/

Categories: 開源, 工具, Linux, Mac, 庫, 蘋果

SpatialAvatar-0：人像重建高質 4D 頭像

SpatialReal

SpatialAvatar-0 針對的是 4D head avatar 重建：只靠一張或少量 source portraits，就生成可配合時間變化的頭像表示，適合 telepresence、AR/VR 同 digital-human interaction。它採用 FLAME-mesh-bound Gaussian 表示，核心是把 feed-forward generator 同 per-subject refinement 放入同一套結構，減少以往兩類方法各自為政的問題。

常見做法通常分成兩路：一類是可直接預測的模型，速度快，但容易受訓練數據領域限制；另一類是按單一人物慢慢微調，質素高但迭代很長，還會因 adaptive densification 打亂原本 Gaussian 佈局。SpatialAvatar-0 的差異，在於加入 parameter-free K-source mean-pool，支援可變數量輸入，並用 monocular-temporal 到 multi-view-spatial 的兩階段訓練，嘗試減少 identity-prior collapse。

微調部分也有明顯取向：它不是走 300K 至 600K iterations 的長流程，而是保留佈局的 10K-iter refinement loop，凍結 FLAME 綁定與 Gaussian 數量，再以 three-component anti-spike regularization 取代 densification。對想保留上游表示、又想做人物級細修的工作流，這種設計會較容易接軌。

已公開資料顯示，它在 VFHQ、HDTF 的 cross-domain zero-shot 測試中，PSNR 比 GAGAvatar 高 1.5 dB，而且模型未有在這兩個測試領域訓練；在 SplattingAvatar monocular benchmark，亦全面領先已報告指標，較 300K-iter 的 GeoAvatar 高 1.3 dB PSNR，同時把單人物微調流程縮短至最多 60 倍。數字反映它著重的是泛化能力與重建效率的平衡，但具體效果仍要視輸入人像質素與場景條件而定。

  • 支援一張或多張人像輸入，重建高質 4D 頭像
  • 統一 feed-forward generator 與 per-subject refinement 的表示方式
  • 10K-iter 微調流程，比常見長迭代方法短得多
  • 在 VFHQ、HDTF、SplattingAvatar 基準上有明確成績提升

頁面暫未提供 Code 與 🤗 Model 入口。對 3D Gaussian Splatting（3DGS）、數字人、AR/VR 內容製作有興趣的讀者，可以先從示範效果理解它的輸出風格，再留意它如何處理少樣本輸入與跨資料域表現。文中引用模型包括 GAGAvatar、GeoAvatar。

項目主頁： https://spatialwalk.github.io/SpatialAvatar-0/

Paper： https://arxiv.org/pdf/2606.15659

Categories: 開源, Image, 3D, 模型, 數字人, 視覺模型

MemSlides 把簡報生成變成可記憶代理

MemSlides hierarchical memory and localized revision overview

不少簡報生成工具仍然走 one-shot source-to-slides conversion：丟一份材料進去，整份投影片一次生成，之後每次修改又大範圍重做。MemSlides 把問題改寫成 stateful authoring process，核心不是單次輸出，而是記住你是誰、這一輪想改甚麼，以及過往哪些工具操作較可靠。

這是一個 Agent Framework，目標是解決 personalized slide generation 與 multi-turn local revision 兩個常見痛點。它把記憶拆成 user profile memory、working memory、tool memory：前者保存跨工作重覆出現的偏好，中段記住當前簡報的限制與暫時要求，後者則保留工具鏈執行經驗，方便之後做相似修改時少走彎路。

跟同類做法相比，最需要留意的是它不主張每次收到新意見就重生整副 deck，而是做 scoped slide-local revision，只更新受影響的最小區域。這種取向的好處是修改更穩定，較易保留原本好的內容；代價是整體品質會依賴記憶管理與局部編輯判斷是否準確。

從倉庫資訊看，這個項目較適合研究 presentation agents、企業內部簡報自動化，或要反覆為不同角色產出版本的團隊。倉庫亦提供 Docker Hub、網站、示範影片與論文連結，理解方式可先看 demo，再決定用容器部署還是按 Python 3.11 與 Node 20 的環境自行搭建；不過公開資訊未見完整量化基準，現階段較像研究型框架，而非已標準化的產品方案。

  • 把簡報生成由一次性輸出改成有狀態的寫作流程
  • 分層記憶是重點：user profile memory、working memory、tool memory
  • 修改時傾向局部修補，不是整份重生成
  • 適合需要 persona-aware 內容、反覆修訂、多人協作的情境
  • 相關元素包括 presentation agents、multi-turn revision、localized editing、tool-chain execution

GitHub： https://github.com/huohua325/Memslides

項目主頁： https://memslides.github.io/

Categories: 開源, Agentic, 工具, IDE, Python, Python NLP, 庫, 框架, 清華大學

AI 代理將入侵門檻再拉低

Og image

一份由 OALABS（Open Analysis）研究人員分析的報告指出，一名技術水平不高的攻擊者，利用 Anthropic 的 Claude Code 和 OpenAI 的 Codex，在 14 間公司相關環境中進行入侵活動。資料來自一部被入侵伺服器上超過 1,000 段 agent sessions，讓研究人員得以看到提示、工具調用、large language model（LLM）內部過程，以及違反政策的紀錄。

事件反映的問題很直接：過往需要具備偵察、找漏洞、寫 exploit code、驗證存取權限和擷取資料等能力，現在可以由 AI agents 代做大部分步驟。攻擊者很多時只需輸入含糊而低技術含量的 prompts，再用「授權紅隊演習」或「網絡安全研究」的說法包裝意圖，便可能繞過部分 guardrails。

這宗個案與一般對 AI 輔助編碼的理解不同，焦點不在提升工作效率，而是降低 offensive cyber operations 的技術門檻。報告亦顯示，攻擊者不是正式安裝 Claude agent，而是直接複製他人已安裝的實例到目標主機；工作目錄內還有其他被盜用的 Claude instances 與 7-Zip 壓縮檔，顯示劫持及重用別人 AI agent 安裝，可能是其慣常做法。

讀者可從這些公開資訊先理解兩層風險：一是模型輸出可補上攻擊者知識缺口，二是本地代理部署本身也可能成為被接管資產。對保安團隊、系統管理員和使用本地 AI 工具的開發者來說，這比單純討論模型是否「安全」更貼近日常防護需要。

  • 低技術攻擊者可用模糊 prompts 推動完整入侵流程
  • guardrails 可能被「授權研究」等話術繞過
  • 本地 AI agent 安裝與工作目錄可成為證據與風險來源
  • 報告核心價值在於真實 session logs，而非理論推測

現有內容未提供完整技術指標或標準化基準測試，但案例證據已足以說明：AI agents 在網絡攻擊上的可用性正在上升。使用 Claude Code、Codex 一類工具的團隊，除了留意模型政策，也要檢查主機權限、憑證保護、安裝檔流向與日誌暴露問題。

項目主頁： https://www.helpnetsecurity.com/2026/06/17/ai-agents-offensive-cyber-operations-claude-codex/

Categories: OpenAI, Agentic, 安全, 新聞, Anthropic

可控制生成 3D 腦 MRI 的 BrainG3N

Og image

BrainG3N是一個面向3D腦部 MRI 的生成模型，重點不只是「生成影像」，而是按指定條件產生帶有臨床訊息的合成掃描。它先用凍結的 3D MAE encoder 處理資料，再由 conditional flow-matching DiT 在潛在空間生成新樣本，最後用 fine-tuned CNN decoder 轉回 voxel 影像。

這類方法要解決的，是醫學影像生成常見的「生成到，但控制不準」問題。BrainG3N聲稱可按 disease、age、sex、modality、site、IDH1 status 等條件控制輸出，亦支援病人縱向變化預測，對研究病程模擬與稀有群組補數據尤其有用。

和一般直接在像素或 voxel 空間生成的做法相比，它把生成放在 clinically grounded latent space 內進行，目標是令合成結果更容易保留指定屬性。頁面列出的結果顯示，從生成掃描中可重新探測出目標條件，例如年齡相關性達 Pearson r=0.93，反映控制訊號並非只停留在文字或標籤層面。

同一個 frozen encoder 本身亦被當作 foundation model 使用，在 21/23 個 linear-probing tasks 上達到或超過 BrainIAC、BrainSegFounder、MedicalNet；其中 IDH1 AUC 0.937、brain-age MAE 4.43 years，而且無需 fine-tuning。對醫學 AI 研究者來說，這代表同一套架構可同時支援表徵學習與合成數據生成。

  • 可控制條件包括 disease、age、sex、modality、site、IDH1 status
  • 支援 patient-specific longitudinal forecasting
  • 生成流程包含 3D MAE encoder、conditional flow-matching DiT、CNN decoder
  • 可用於 under-represented cohorts 補充、counterfactual disease trajectories、privacy-preserving synthetic data sharing

目前頁面只提供論文簡介，model、code 與 synthetic dataset 尚未釋出，所以現階段較適合先了解方法設計與指標表現。若你關注 Medical醫學影像、合成數據或可控生成，這個項目很值得留意。

項目主頁： https://huggingface.co/papers/2606.19651

Paper： https://arxiv.org/pdf/2606.19651

Categories: Image, 3D, Medical醫學, 模型, 模型訓練, Dataset 數據集

GateMem：測試 AI 記憶有冇分寸

GateMem logo

現有記憶基準多數集中問一件事：代理可唔可以正確記住資料；GateMem 改問更接近部署環境的問題：同一個 shared memory 俾多個 principal 共用時，代理能否按角色、授權範圍同刪除要求去管理資訊。作者批評舊範式偏向 single-user recall，未能反映多方協作場景入面最常見的越權讀取、過度披露同刪除後重建資訊風險。

GateMem屬於Benchmark / Dataset 數據集項目，用來評估 memory-augmented LLM agents 在 multi-principal shared-memory agents 情境下，是否同時做到 Utility、Access Control 同 Active Forgetting。它把 persistent memory 視為 governed shared state，而唔係私人快取，這個 framing 令測試重點由「記得幾準」轉去「幾時應該答、幾時唔應該答」。

資料規模唔算細：4 個場景、91 個 long-form episodes、2,218 個 hidden checkpoints，涵蓋 Medical、Office、Education、Household。評分核心有一個 MGS 指標：MGS = U · (1 − A) · (1 − F)，即係授權下要有用，未授權時要少洩漏，刪除後亦唔可以被確認、還原或旁敲側擊重建。

要理解點樣測，重點係用它提供的 benchmark toolkit、dataset 同 leaderboard 去跑代理，再對照 hidden checkpoints 睇表現。較受用的會係做 Agentic 系統、長期記憶代理、企業內部助理、醫療或教育流程自動化的團隊，因為呢類系統最怕的通常唔係答錯一次，而係記對咗但講錯人聽。

  • 核心差異：由單人記憶召回，轉成多角色共享記憶治理
  • 三個評測面向：Utility、Access Control、Active Forgetting
  • 場景貼近機構流程，包含授權、關係變化、刪除請求
  • 相關模型背景包括 memory-augmented LLM agents、persistent memory agents，同頁面亦提到測過 6 backbone LLMs、7 memory baselines，但具體型號需以論文或排行榜為準
  • 限制係它主要衡量治理表現，唔等於完整覆蓋所有真實政策、法規或系統整合成本

GitHub： https://github.com/rzhub/GateMem

項目主頁： https://rzhub.github.io/GateMem/project.html

Paper： https://arxiv.org/pdf/2606.18829

Categories: 開源, Agentic, Medical醫學, 安全, 模型, 框架, Dataset 數據集

PerceptionDLM：多區域圖像描述加速方案

icon

現時不少 Multimodal Large Language Models (MLLMs) 做區域描述時，仍然依賴 autoregressive (AR) 逐段生成：一張圖有幾多個 mask，就要逐個區域慢慢解讀。PerceptionDLM 提出的方向很明確，改用 Multimodal Diffusion Language Model，同一輪 denoising process 內同時輸出多個區域描述，目標是解決多區域感知在延遲上隨數量線性上升的問題。

這是一個偏向模型加基準測試的開源項目：核心是 PerceptionDLM 與 PerceptionDLM-Base，另加 ParaDLC-Bench、PerceptionDLM-Data 和 Bee / Honey 系列訓練資料配方。作者點名批評舊範式主要卡在 autoregressive region captioning，因此加入 efficient prompting 與 structured attention masking，讓平行生成不只停留在概念，而是落到 sequence level 同 token level。

從公開資料看，這個項目較適合以 Hugging Face 已釋出的模型、資料集與 evaluation suite 來理解和測試；想重現結果的人，亦可沿住訓練資料配方、Training 與 Evaluation 流程部署。對一般開發團隊而言，最有參考價值的不是安裝細節，而是它示範了 diffusion VLM 怎樣處理「多區域同時描述」這種以往較少由 DLM 承擔的任務。

  • 單次 denoising pass 可同時描述多個 masked regions，官方稱在密集多區域情境可有最高 3.4× throughput speedup
  • PerceptionDLM-Base 據稱在 16 個 multimodal benchmarks 之中，15 個勝過 LLaDA-V
  • ParaDLC-Bench 不只看 caption quality，也把 inference efficiency 一併納入
  • 已公開 code、model weights、training data recipe、evaluation suite，重現門檻比只放論文低

它較適合做視覺理解、圖像標註、自動資料整理，或者需要一次看多個區域的研究團隊。限制也很清楚：目前公開資訊主力強調 benchmark 與吞吐提升，對一般產品場景的記憶體需求、延遲分佈與部署成本仍要再看實測；相關模型則包括 PerceptionDLM、PerceptionDLM-Base，以及其 backbone LLaDA-8B-Instruct，對比對象則有 LLaDA-V。

GitHub： https://github.com/MSALab-PKU/PerceptionDLM

項目主頁： https://msalab-pku.github.io/projects/PerceptionDLM/index.html

項目： https://huggingface.co/collections/MSALab/perceptiondlm-model-zoo

Categories: 開源, 字節跳動, Stable Diffusion, 多模態模型, 提示詞, 模型, 模型訓練, 視覺模型, Dataset 數據集, 北京大學

PermaVid 令影片修改後仍然連貫

teaser

很多影片生成方法處理編輯任務時，會把過往畫面當成單一記憶來源；一旦做了 style、season、weather 或 time 這類修改，舊記憶就可能變成過時參考，之後生成的鏡頭容易出現人物變樣、場景走位錯亂，或者視角切換後對不上。PermaVid 提出的方向，是把「外觀語意」同「幾何結構」分開保存，避免一次編輯令全部上下文一齊失效。

這是一個影片生成框架，核心工作是讓 edited video 在跨時間、跨視角、跨多次修改之下，仍保持內容連貫。它使用 disentangled context memory：RGB context memory 負責記錄 semantic appearance，depth context memory 則保留 geometry-only structure，再配合 edit-aware memory update and retrieval，把新修改過的資訊逐步寫回記憶。

和一般只靠單一記憶庫或單一路徑條件控制的方法相比，PermaVid 的取捨很清楚：系統更複雜，也要同時處理 RGB 與 depth 兩種脈絡，但換來的是編輯之後的長期一致性。從儲存庫資訊看，項目亦提供 dataset、paper 及 demo，並依賴 Wan2.1-VACE-14B、Qwen-Image-Edit、Qwen3-VL-8B-Instruct 等模型，顯示它不是輕量玩具，而是偏研究型、多模組組合的完整流程。

  • 支援相機移動控制，例如 direction-frames-speed 這類格式
  • 編輯類型涵蓋 style、season、weather、time 等全局變化
  • 重點不只是生成單段片，而是修改之後仍維持後續片段一致
  • 需要較完整環境配置，包含 PyTorch、CUDA 與額外訓練／推理依賴

如果你是做 instruction-based video editing、reference video generation，或者想研究 Computer Vision 同多模態記憶如何影響長片段一致性，這個項目很有參考價值。現有資料提到它在長期 semantic 與 structural consistency 上明顯優於 state-of-the-art methods，但公開資訊未列出完整量化分數；較穩妥的理解，是它的亮點在方法設計與 benchmark 表現方向，而不是即裝即用的消費級工具。

GitHub： https://github.com/YS-IMTech/PermaVid

項目主頁： https://ys-imtech.github.io/projects/PermaVid/

Paper： https://arxiv.org/pdf/2606.16449

Categories: 開源, 阿里巴巴, Qwen, 香港, 香港中文大學, NVIDIA, Video, Image, 工具, Python, 庫, 影像處理, 視覺模型, 視頻模型, Dataset 數據集, 框架

UME 可回饋力度的機械人遙操作外骨骼

蚂蚁集团标志(英) 正色

Universal Manipulation Exoskeleton（UME）是一個上肢外骨骼遙操作項目，重點不只是在遠端控制機械人，更是在操作期間即時提供 haptic torque feedback，並同步記錄整條手臂姿態與關節 torque 訊號。頁面指出，它想解決的核心問題是：很多機械人示範數據流程只記到動作，卻記不到接觸時的力與扭力，令模型較難學會順應環境的 compliant 行為。

與常見只靠視覺或位置控制的做法相比，UME 把「人手感受到的阻力」直接帶回操作者身上。這種透明 torque feedback 令操作者即使蒙眼，也能完成例如抽出受運動限制物件這類任務；對需要接觸、擠壓、推動或在狹窄空間內調整角度的工作，差異尤其明顯。

UME 配備 embedded IMU，可支援 mobile manipulation，並配合 universal retargeting algorithm，把同一套操作映射到不同機械臂，包括 7DoF OpenArm、7DoF Franka 與 6DoF X-ARM。整套 UME system 成本為 1900 美元，詳細成本拆解可在論文中找到，這對研究團隊或自建實驗平台的人來說，是很實際的參考點。

  • 可記錄 whole-arm configurations 與 joint torque signals，用於訓練 active compliant policies
  • 支援 bimanual、whole-body 及 long-horizon mobile manipulation 任務
  • 已展示雪櫃取飲品、箱子翻轉、遮擋下推箱、狹窄桌面操作等情境
  • 頁面提供 Paper、Video，Code 標示為 coming soon，現階段較適合先理解方法與看示範

最受用的會是做 Robotic、teleoperation、模仿學習與機械人數據收集的人。性能方面，頁面以多個 autonomous policy 示範強調高成功率與抗干擾能力，亦有與 UMI、No-torque 設定的比較，但若要判斷完整指標、成本細節與評測方式，仍需回到論文原文核實。

項目主頁： https://ume-exo.github.io/

Paper： https://arxiv.org/pdf/2606.14218

Categories: 開源, Robotic, 框架
Page 1 of 99
1 2 3 … 99