本地部署 Flux.1 – Comfyui 一键安装



StableSwarmUI 支援 Stable Diffusion 3

Install Stable Diffusion 3 Locally: Step-by-Step with StableSwarmUI & ComfyUI
安裝教學及測試


1 步出圖 SD Turbo 及 SDXL Turbo

Stability 示範 :https://clipdrop.co/stable-diffusion-turbo

SDXL-Turbo 不使用 guidance_scalenegative_prompt,因此我們停用它並設定 guidance_scale=0.0。模型產生尺寸為 512×512 的圖像,但更高的圖像尺寸也可以。只需一個步驟就足以產生高品質的影像。

SDXL-Turbo 是SDXL 1.0 的精煉版本,經過即時合成訓練。SDXL-Turbo 基於一種稱為對抗擴散蒸餾 (ADD) 的新穎訓練方法(請參閱 技術報告),該方法允許在高影像品質下以 1 到 4 個步驟對大規模基礎影像擴散模型進行取樣。這種方法使用分數蒸餾來利用大規模現成的影像擴散模型作為教師訊號,並將其與對抗性損失相結合,以確保即使在一個或兩個取樣步驟的低步驟狀態下也能確保高影像保真度。


Stability 推出 Stable Diffusion SVD 視頻模型

2023 年 11 月 21 日

  • Stability 出於研究目的發佈了穩定視頻擴散(Stable Video Diffusion),一種圖像到視頻的模型:
    • SVD:該模型經過訓練,可以在給定相同大小的上下文幀的情況下產生分辨率為 576×1024 的 14 幀。我們使用 SD 2.1 中的標準影像編碼器,但用時間感知的 deflickering decoder.
    • SVD-XT:與架構相同,SVD但針對 25 幀生成進行了微調。
    • 我們提供了一個 Streamlit 演示scripts/demo/video_sampling.py和一個獨立的 Python 腳本scripts/sampling/simple_video_sample.py,用於兩個模型的推理。

上圖評估了使用者對 GEN-2PikaLabs 上的 SVD-Image-to-Video 的偏好。 就視訊品質而言,SVD-Image-to-Video 受到很多人青睞。 有關用戶研究的詳細信息,請參閱研究論文

Stable Video Diffusion Install


[免費] AnimateDiff 動畫

AnimateDiff 是一個由上海人工智能實驗室、香港中文大學和美國史丹福大學聯合開發的項目。它提供了一個能夠以視覺方式呈現 GitHub 倉庫差異的工具。你可以使用 Stable Diffusion 或單獨運作此工具。

安裝和使用 AnimateDiff 的詳細教程可以在以下鏈接中找到:

此外,如果你更喜歡通過視頻來學習,你還可以在以下鏈接中找到中文的 YouTube 教學:

希望這些資源能幫助你了解和使用 AnimateDiff。


T2I-Adapter – 類似 ControlNet 的可控性模型

T2I-Adapter

兼容 Stable Diffusion 1.6 及 XL 版。支援 T2I(Text-to-Image)、草圖、canny、線稿圖、深度圖以及 OpenPose 骨骼圖 …

T2I-Adapter 由騰訊 ARC 團隊開發,並於 2023 年 3 月在 GitHub 上開源。T2I-Adapter 是一個基於深度學習的模型,可以將文字轉換為圖像,同時保持一定的可控性。

T2I-Adapter 的工作原理是使用一個生成式對抗網路 (GAN) 來生成圖像。GAN 由兩個模型組成:一個生成器和一個判別器。生成器負責生成圖像,判別器負責判斷圖像是真是假。

T2I-Adapter 在一個包含大量文字和圖像的數據集上訓練。訓練過程中,生成器學習生成與文字描述相匹配的圖像。判別器學習區分真實圖像和生成圖像。

T2I-Adapter 可以生成各種圖像,包括風景、人物、物體等。它還可以生成具有特定風格的圖像,例如卡通、油畫等。

T2I-Adapter 的開發團隊由以下人組成:

  • 劉宇軒,騰訊 ARC 團隊的工程師
  • 劉洋,騰訊 ARC 團隊的工程師
  • 王鑫,騰訊 ARC 團隊的工程師
  • 王子航,騰訊 ARC 團隊的工程師
  • 張立峰,騰訊 ARC 團隊的主管

T2I-Adapter 是一個強大的工具,可用於各種創意應用,例如圖像生成、藝術創作等。


ControlNet SDXL 模影下載