這是個高質量視頻生成框架，使用級聯潛在擴散模型（Cascaded Latent Diffusion Models）進行文本到視頻（Text-to-Video）生成，是Vchitect視頻生成系統的主要組成部分。項目提供了使用PyTorch實現的LaVie的官方代碼。
您可以從GitHub頁面下載。通過文本描述，生成與文本相對應的視頻。項目還提供了預訓練模型和示例代碼，助您進行推理和生成自己的視頻。
LaVie是一個基於機器學習的視頻生成框架，它使用了一種稱為級聯潛在擴散模型（Cascaded Latent Diffusion Models）的技術。這種模型可以通過將文本描述轉化為視頻序列來實現文本到視頻的生成。
LaVie項目的GitHub頁面還提供了示例代碼和相關配置文件，可以幫助您更好地理解和使用該框架。您可以根據示例代碼進行自己的實驗和應用。
請注意，LaVie的使用可能需要具備一定的機器學習和深度學習知識，以及相應的計算資源。如果您對LaVie感興趣，建議您仔細閱讀項目的文檔和代碼，並根據需要進行相應的學習和實踐。
Stability 示範 ：https://clipdrop.co/stable-diffusion-turbo
SDXL-Turbo 不使用 guidance_scale 或 negative_prompt，因此我們停用它並設定 guidance_scale=0.0。模型產生尺寸為 512×512 的圖像，但更高的圖像尺寸也可以。只需一個步驟就足以產生高品質的影像。
SDXL-Turbo 是SDXL 1.0 的精煉版本，經過即時合成訓練。SDXL-Turbo 基於一種稱為對抗擴散蒸餾 (ADD) 的新穎訓練方法（請參閱 技術報告），該方法允許在高影像品質下以 1 到 4 個步驟對大規模基礎影像擴散模型進行取樣。這種方法使用分數蒸餾來利用大規模現成的影像擴散模型作為教師訊號，並將其與對抗性損失相結合，以確保即使在一個或兩個取樣步驟的低步驟狀態下也能確保高影像保真度。
雖然 AppStore 上已有多個 Apps 以 Stable Diffusion 作為基楚應用，例如 Diffusion Bee, 但新版 Draw Things 可算是目前最齊功能、最接近 GitHub 上的 Automatic 1111 的 GUI 版，它甚至內建 ControlNet, 直接執行 SD 1.4, 1.5 及 XL Checkpoint 及 Lora 模型。
你亦可於 App 內直接下載上千個模型並自動轉換成支援 Apple 的 Core ML 引擎，優化執行 Transformer 架構模型。出圖速度比直接執行 Stable Diffusion WebUI 版更快。
#蘋果神經引擎
第一代 Apple 神經引擎 (ANE – Apple Neural Engine) 作為我們 2017 年旗艦機型 iPhone X 中 A11 晶片的一部分發布。它在半精度浮點數資料格式下的峰值吞吐量為 0.6 兆次浮點運算 (TFlops) （ float16 或FP16），並且它有效地支援了設備上的ML 功能，例如Face ID 和Memoji。
到 2021 年，第五代 16 核 ANE 的處理能力是原來的 26 倍，即 15.8 TFlops。神經引擎的可用性也從 2017 年的 iPhone 擴展到從 A12 晶片開始的 iPad，從 M1 晶片開始擴展到 Mac。Apple 神經引擎的演變。iPhone 13 Pro 上的 A15 Bionic 晶片上的 16 核神經引擎的峰值吞吐量為 15.8 teraflops，比 iPhone X 提升了 26 倍。
GeneFace是一個通用且高保真的音訊驅動3D說話人臉合成模型，該模型的官方 PyTorch 實現程式碼可以在 GitHub 上的 yerfor/GeneFace 存儲庫中找到（https://github.com/yerfor/GeneFace)。
GeneFace 的目標是生成具有良好的嘴唇同步和表情表達能力的說話人臉。該模型的推論流程非常直觀，並且能夠在不同音訊域中實現更好的嘴唇同步效果。您可以觀看 GeneFace 與以前基於 NeRF 的方法進行的清晰嘴唇同步比較的視頻，以更好地了解其效果。同時，您也可以訪問該項目的頁面以獲取更多詳細信息。
如果您想要快速開始使用 GeneFace，存儲庫中提供了預訓練模型和處理過的數據集。您可以按照存儲庫中的指南進行操作，進行模型推論或使用自己的目標人物視頻進行訓練。同時，存儲庫還提供了有關環境準備、數據集準備和模型訓練的詳細說明。
除了存儲庫中提供的 May.mp4 視頻外，GeneFace 還提供了其他 8 個目標人物視頻，這些視頻也是在實驗中使用的。您可以根據存儲庫中的指南，使用這些視頻進行自己的訓練。
互動式工作流程，其中人工智慧生成僅用作繪畫時的一種協同工具。
[英文] 詳細教學：
2023 年 11 月 21 日
上圖評估了使用者對 GEN-2 和 PikaLabs 上的 SVD-Image-to-Video 的偏好。 就視訊品質而言，SVD-Image-to-Video 受到很多人青睞。 有關用戶研究的詳細信息，請參閱研究論文
再次証明 Prompt 對 GPT 的重要性。想進一步了解 Semantic Guidance 的運作，可參考 huggingface
AnimateDiff 是一個由上海人工智能實驗室、香港中文大學和美國史丹福大學聯合開發的項目。它提供了一個能夠以視覺方式呈現 GitHub 倉庫差異的工具。你可以使用 Stable Diffusion 或單獨運作此工具。
安裝和使用 AnimateDiff 的詳細教程可以在以下鏈接中找到：
此外，如果你更喜歡通過視頻來學習，你還可以在以下鏈接中找到中文的 YouTube 教學：
希望這些資源能幫助你了解和使用 AnimateDiff。
網站暫時只能夠提供生成 8 個 Frames 嘅 GIF 動畫。
如果你有興趣想產生更長嘅動畫，你可以去呢度下載完整套件：
如果想安裝 Web 介面版本，可以去呢度下載：
