處理長影片時，視覺語言模型 (VLM) 一次只能看幾幀畫面，於是「要挑哪幾幀」就成了影片標題生成的瓶頸。PEEK 這個開源項目正是為了解決這個問題：它是一個 query-free 的影格挑選器，專為低預算 (low-budget) 影片標題任務而設計。

PEEK 的運作分為兩階段。第一階段由凍結的 SigLIP2 SO400M patch14 384 雙編碼器擔任教師模型，利用真實標題與每一幀計算餘弦相似度，並做最小最大正規化 (min-max normalization)，產生幀級相關性分數。第二階段是一個 2 層 Transformer 學生模型，接收凍結的 MobileCLIP2-S0 幀嵌入，以 ListMLE 排序損失 (listwise ranking loss) 學習重現教師的排序。推論時學生模型只需看畫面，無需任何標題或文字編碼器介入。

選幀策略採用「分組取最大」(stratified argmax)：將影片均分成 k 個時間區段，每段挑出分數最高的幀，以兼顧時間分佈。當 k=1 時則退化為全影片取最大。

實驗結果顯示，單一在 ActivityNet 訓練的 PEEK 權重在多個影片標題 VLM 上，於一幀與兩幀設定的 CIDEr 分數均優於均勻取樣，且預算越緊、省下的時間越多。論文亦報告 PEEK 在標題生成流程中僅增加 5.2% 時間，相比 CSTA 的 65.4% 與 MaxInfo 的 211.9% 更為輕量。

適合需要快速處理大量影片的研發團隊、影片摘要系統開發者，以及想為現有 VLM 加上智能取樣的研究者。倉庫已提供教師分數生成、蒸餾訓練、單段影片推論 CLI 與 Python API，並於 Hugging Face 釋出 ActivityNet 訓練的 base 權重。

重點摘要

• 問題：VLM 處理影片時，如何在極少影格預算下挑出最有資訊量的畫面。
• 方法：以 SigLIP2 為教師產生排序標籤，再以 MobileCLIP2 + 2 層 Transformer 學生模型做知識蒸餾 (knowledge distillation)。
• 推論：無需文字查詢，僅靠視覺證據；採用 stratified argmax 兼顧時間覆蓋。
• 效率：額外開銷僅約 5.2%，遠低於 CSTA 與 MaxInfo 等自適應方法。
• 資源：開源訓練與推論代碼，並提供 Hugging Face 預訓練權重。

GitHub： https://github.com/momentslab/peek

項目： https://www.killian-steunou.com/peek/

AdaState 是一個用於 Streaming Video Generation 的方法，目的是改善自回歸影片 diffusion 模型過度依賴第一幀的問題。原有做法會把首幀當成固定參考，令後續內容雖然一致，卻容易出現畫面過於靜止、鏡頭難以自然移動、場景變化被壓抑的情況。

項目的核心是用一個會隨內容更新的 adaptive state 取代凍結的 first-frame anchor。這個隱藏狀態會在每個 chunk 與內容一同 denoise，但本身不會直接輸出成畫面，模型改為參考上一個 state 與目前內容，逐步形成會演化的場景錨點。

對一般讀者來說，可以把它理解為：模型不再死跟開頭那一格畫面，而是一路保存一個會成長的「場景記憶」。這樣做有助支援更長的 rollouts，也更容易產生連續 camera motion 和自然的 scene progression，同時不需要額外外接模組。

重點可先留意以下幾點：
– 解決首幀長期主導 attention cache 的限制
– 以 adaptive state 建立可持續更新的隱藏參考
– 採用 relative time 的生成觀念，每一步看到相似的位置結構
– 把 recurrence 引入生成流程，並以 denoising 作為狀態轉移
– 項目頁面表示可提升影片 dynamics、motion 與長時段連貫性

AdaState 的優勢集中在 richer dynamics、longer rollouts 與 coherence 之間的平衡；長片段內容延展、虛擬鏡頭運動的研究。

項目： https://adastate.github.io/

這項研究由中國復旦大學提出，聚焦自動駕駛在部分可觀察環境中的難題：前方或路口被遮擋時，系統看不到潛在車輛或行人，但仍要提早規劃安全路線。現有方法通常走兩個方向，一類根據可到達狀態估算風險，往往過於保守；另一類用學習方法預測隱藏目標軌跡，但在高遮擋不確定性下未必夠準。

項目首先提出一個 URM (Unified Risk Map)，把交通流風險與碰撞風險放入同一個時空框架建模。前者從 multimodal trajectory distributions 估算密度，後者則透過模擬 ego vehicle 軌跡，找出不同時間與位置的高風險區域，令系統不只知道「可能有東西」，亦知道「哪裏更危險」。

為了補足遮擋互動場景不足的問題，研究同時加入 diffusion-based scenario generation framework，生成既真實又帶挑戰性的情境，用來訓練 unified risk map。整體框架把風險建模、學習與規劃串連起來，目標是在 partial observability 下支援 risk-aware planning。

重點可概括為：
– 把 traffic flow risk 與 collision risk 合併成單一風險表示
– 針對 occlusion-aware prediction 的盲點，提供更細緻的時空風險判斷
– 用 diffusion-based scenario generation framework 製造稀缺的遮擋互動情境
– 在 Waymo Open Motion Dataset 上，較現有 occlusion-aware baseline 有明顯提升

這個方法在 Waymo Open Motion Dataset 上，把 minimum time-to-collision 改善 0.78 倍，average time-to-collision 改善 1.67 倍，顯示系統能更早避開高風險情況。這個項目較適合關注 autonomous driving、Planning under Uncertainty、Integrated Planning and Learning 的研究者與工程團隊；如果你想了解自動駕駛如何處理視線死角，這套方法提供了相當具體的方向。

Paper： https://arxiv.org/pdf/2605.22189

EarlyTom 是一個針對 Video Large Language Models（Video-LLMs）而設的 token 壓縮項目，目標很清晰：在不重新訓練模型的前提下，減少影片理解時要處理的視覺 token 數量。它主要處理推理速度慢、計算量高這個痛點，尤其是影片內容比圖片更長、更重，模型很容易在前段編碼就耗掉大量時間。

這個項目的核心想法，不是等資料全部進入模型後才壓縮，而是更早在 vision encoder 階段動手。EarlyTom 會利用早期 transformer layers 的 attention 訊號，先找出冗餘 token，再做裁剪；另有可選的 inner compression，會在 LLM backbone 指定層以 DPC-KNN 做 token 合併。這種早期壓縮方式，重點在於連 vision encoder 的負擔都一併減少。

使用上，項目是建基於 LLaVA-NeXT，並可包裝 LLaVA-OneVision 模型；程式層面是把已載入的模型再套用 EarlyTom。對已經在跑影片問答、影片描述或多模態理解流程的人來說，這代表可在原有模型管線上加入壓縮機制，而不一定要改動整個訓練流程。

• 免訓練（training-free）壓縮，部署門檻相對較低
• 分為 outer compression 與 optional 的 inner compression
• 重點改善 Time-to-First-Token（TTFT）、throughput 與 FLOPs
• 依賴早期 attention 訊號挑走冗餘視覺 token
• 相關模型與框架包括 LLaVA-NeXT、LLaVA-OneVision、Qwen2

從公開資料看，作者以 lmms-eval 進行評測，並在論文內容提到會比較 MVBench、EgoSchema、LongVideoBench 與 VideoMME 等常見影片理解基準。結果描述顯示，它在維持接近 full-token 方法準確度的同時，TTFT 最多可降至 2.65×，亦有更高 throughput；不過不同模型大小、影片長度與硬件配置下，實際增益仍要分開看。

這個項目較適合已經使用 Video-LLMs 的研究者、工程團隊，或想在資源有限環境中提升影片理解效率的人。若你關心的是模型答得準之餘，也要更快開始輸出結果，EarlyTom 的價值就在於它把壓縮時機提早，直接針對最花時間的部分下手。

GitHub： https://github.com/viridisGreen/EarlyTom

項目： https://viridisgreen.github.io/EarlyTom/