KATok 處理嘅係影片生成入面一個常見但少有人拆開嚟解決嘅問題：傳統影片 VAE 用固定壓縮比，無論係一張幾乎唔郁嘅定鏡，或者主體快速移動嘅場面，每段都會被切成同一個 token 數。呢種做法喺靜態片段上明顯浪費頻寬，令擴散模型要做好多無意義嘅工作。
佢嘅做法係喺 transformer VAE 嘅 latent bottleneck 加一個可學習嘅 keep-or-drop 決策，對每個 token 估計要唔要保留，仲會一齊學 latent 表示。遮罩同時控制 latent 值同 decoder 嘅注意力，decoder 用 coarse-to-fine 結構由稀疏 token 重建細節，因此 token 數變成內容嘅結果，而唔係預設參數，亦唔需要推理時搜索。
喺 Panda-70M 256²×16 設定下，平均 366 個 token 就可以達到 31.24 PSNR 同 5.12 rFVD；喺 UCF-101 嘅稀疏生成實驗中達到 61.53 gFVD，比 dense transformer tokenizer 訓練快 6.9 倍。代價係當 token 被丟棄後空間佈局會被打亂，所以佢哋仲設計咗 cascaded mask prior 同 joint content–position 變體，幫下游擴散模型補返結構。
值得留意嘅重點：
- 自適應 token 化，內容決定 token 數，無需推理時搜索或人手調參
- 喺 Panda-70M 用 366 個 token 達到 31.24 PSNR / 5.12 rFVD
- UCF-101 稀疏生成快 6.9 倍訓練速度，質素達 61.53 gFVD
- 提供 inference code 同權重（仍在內部審核），訓練碼暫未開源
- 直接用 PyTorch SDPA 即可行，安裝簡單
如果你嘅團隊需要處理大量冗餘嘅影片片段，又想慳運算量畀下游生成模型，呢種由內容決定 token 數嘅做法比起單純壓解像度更貼近問題本質。