Skywork 是一個創新的研究團隊，致力於推動法學碩士和多模式理解。它們的使命是透過視覺和語言開發並實現無縫互動的尖端模型和資料集來突破人工智慧的界限。模型支援文字到視訊（T2V） 和圖像到視訊（I2V） 任務，並且可以在同步和非同步模式下進行推理。

影片長度限制的突破：雖然像 LTXV 和 HuanYun 等模型在速度或品質方面表現出色，但它們通常限制生成約 5 到 10 秒的短片。Frame pack 可以生成高達 60 秒的高品質影片，但 60 秒是其最大長度。Skyreels V2 透過其稱為「擴散強制 (diffusion forcing)」的技術，可以讓您生成長達 60 秒甚至可能更長的影片。技術上，擴散強制模型可以透過不斷訓練一個擴散強制取樣器並在最後組合每個結果來無限延長影片長度。

最佳優先搜尋 (BFS Best-First Tree Search) 是一種樹狀搜尋演算法，它透過優先從機率最高的節點來運作，屬於簡單和效率演算法，但普遍認為對於證明定理並不是最理想的方法。 BFS-Prover 挑戰了傳統觀點，
提出一種可擴展的專家疊代框架，主要包含了三個創新點：一是策略性數據過濾，二是利用編譯回饋進行直接偏好優化 (DPO) Direct Preference Optimization，三是長度正規化。

一個以視覺為中心的多模態基礎模型，用於圖像和影片理解。其核心設計理念是優先利用高品質的圖像文字數據，而非大規模的影片文字數據進行訓練。模型採用四階段訓練流程：視覺對齊、視覺語言預訓練、多任務微調以及影片中心微調。此外，VideoLLaMA3 的架構設計能根據影像大小動態調整視覺 token 數量，並在影片處理中減少冗餘的視覺 token，以提升效率和準確性。最終，VideoLLaMA3 在圖像和影片理解基準測試中取得了令人信服的成果。(HuggingFace)

大幅提升大型語言模型 (LLM) 的推理速度

Cerebras 和 Groq 等公司利用此技術，在 Llama 模型上取得遠超傳統 GPU 的效能表現，速度提升達數倍。文章詳細解釋了如何取巧進行推理解碼的原理：使用較小的模型快速生成初步答案，再由較大的模型校驗其準確性，類似「助理先打草稿，老闆再審核」的流程。文章後半部提供了使用 Llama.cpp 實作推測解碼的步驟，並說明了其各個參數的意義，以及在實際應用中可能遇到的挑戰，例如偶爾出現的延遲問題，但整體而言，推測解碼能有效提升 LLM 的效能，尤其適用於需要大量運算的應用情境，例如結合思考鏈 (CoT) 的複雜任務。

高效能語言模型推論引擎

它以 Rust 編寫，支援多種模型、量化方法 (GGML, GPTQ, HQQ 等) 和加速器 (CUDA, Metal, CPU)，並提供 便捷的 Python API 和 OpenAI 相容的 HTTP 伺服器。 核心功能包括 快速推論、多種量化技術 以提升效能，以及對 LoRA、X-LoRA 等模型調整技術的支援。 附詳細說明安裝、建置、模型取得和使用方法，並提供豐富的範例程式碼與效能基准測試結果。(支援 Mac M 系列)