Genmo 創意研究實驗室

Genmo 致力於建立跨模式創作和分享生成藝術的工具。 我們正在推動生成模型能力的前沿。 如今的免費平台只需單擊即可社交創作無限量的影片。 Genmo 目前處於測試階段,將來會添加更多內容。

Replay v0.2 announcement: image-to-video, longer length, high resolution

除此,Genmo 亦提供生成圖片,文字對話等。

Categories: Video, Image, 線上服務

SeamlessM4T v2- 即時語音翻譯模型

無縫 M4T

Meta 三個月前公佈的 SeamlessM4T (Massively Multilingual and Multimodal Machine Translation model) ,目前已更新到 v2,於 GitHub 開放下載最新的源碼。SeamlessM4T v2 採用 UnitY2 架構的更新版本。與 SeamlessM4T v1 相比,此新模型在品質以及語音生成任務中的推理延遲方面有所改進。

M4T 是一體式大規模多語言和多模式的機器翻譯模型可為近 100 種語言的語音和文字提供高品質翻譯。

SeamlessM4T 模型支援以下任務:

  • 語音轉語音翻譯 (S2ST)
  • 語音轉文字翻譯 (S2TT)
  • 文字轉語音翻譯 (T2ST)
  • 文本到文本翻譯 (T2TT)
  • 自動語音辨識 (ASR)
(more…)
Categories: 文字轉語音, 軟件


1 步出圖 SD Turbo 及 SDXL Turbo

Stability 示範 :https://clipdrop.co/stable-diffusion-turbo

SDXL-Turbo 不使用 guidance_scalenegative_prompt,因此我們停用它並設定 guidance_scale=0.0。模型產生尺寸為 512×512 的圖像,但更高的圖像尺寸也可以。只需一個步驟就足以產生高品質的影像。

SDXL-Turbo 是SDXL 1.0 的精煉版本,經過即時合成訓練。SDXL-Turbo 基於一種稱為對抗擴散蒸餾 (ADD) 的新穎訓練方法(請參閱 技術報告),該方法允許在高影像品質下以 1 到 4 個步驟對大規模基礎影像擴散模型進行取樣。這種方法使用分數蒸餾來利用大規模現成的影像擴散模型作為教師訊號,並將其與對抗性損失相結合,以確保即使在一個或兩個取樣步驟的低步驟狀態下也能確保高影像保真度。

Categories: Stable Diffusion, 軟件

Krita-ai-diffusion 實時 A.I. 生成式人工智慧繪圖

互動式工作流程,其中人工智慧生成僅用作繪畫時的一種協同工具。

  • Inpaint:使用 Krita 的選擇工具標記區域並刪除或取代影像中的現有內容。簡單的文字提示可用於指導生成。
  • Outpaint:擴展畫布,選擇空白區域並自動填入與現有影像無縫融合的內容。
  • 生成:透過用文字或現有圖像描述它們,從頭開始創建新圖像。支援SD1.5和SDXL。
  • 優化:使用強度滑桿優化現有影像內容,而不是完全取代它。這也非常適合透過繪製(粗略)近似值並以高強度進行細化來為影像添加新內容!
  • 即時繪畫:讓人工智慧即時解讀您的畫布以獲得即時回饋。影片
  • 控制:直接使用草圖或線條藝術指導圖像創建。使用現有影像或 3D 場景的深度或法線貼圖。從快照傳送角色姿勢。使用分割圖控制構圖。
  • 決議:在任何決議下都能有效率地工作。該插件將自動使用適合 AI 模型的分辨率,並縮放它們以適合您的圖像區域。
  • 升級:將影像升級並豐富至 4k、8k 以上,而不會耗盡記憶體。
  • 作業佇列:根據硬體的不同,影像產生可能需要一些時間。該插件允許您在處理圖像時排隊和取消作業。
  • 歷史:並非每張圖像都會成為傑作。隨時預覽結果並瀏覽前幾代和提示。
  • 強大的預設設定:多功能的預設樣式預設允許簡單的 UI 覆蓋許多場景。
  • 自訂:建立您自己的預設 – 選擇穩定擴散檢查點、新增 LoRA、調整取樣器等。

[英文] 詳細教學:

This One Simple Plugin Adds Realtime AI Assistance to Krita

Categories: Image, 軟件, 工具, 教學

Stability 推出 Stable Diffusion SVD 視頻模型

2023 年 11 月 21 日

  • Stability 出於研究目的發佈了穩定視頻擴散(Stable Video Diffusion),一種圖像到視頻的模型:
    • SVD:該模型經過訓練,可以在給定相同大小的上下文幀的情況下產生分辨率為 576×1024 的 14 幀。我們使用 SD 2.1 中的標準影像編碼器,但用時間感知的 deflickering decoder.
    • SVD-XT:與架構相同,SVD但針對 25 幀生成進行了微調。
    • 我們提供了一個 Streamlit 演示scripts/demo/video_sampling.py和一個獨立的 Python 腳本scripts/sampling/simple_video_sample.py,用於兩個模型的推理。

上圖評估了使用者對 GEN-2PikaLabs 上的 SVD-Image-to-Video 的偏好。 就視訊品質而言,SVD-Image-to-Video 受到很多人青睞。 有關用戶研究的詳細信息,請參閱研究論文

Stable Video Diffusion Install
Categories: Stable Diffusion, 軟件


[免費] AnimateDiff 動畫

AnimateDiff 是一個由上海人工智能實驗室、香港中文大學和美國史丹福大學聯合開發的項目。它提供了一個能夠以視覺方式呈現 GitHub 倉庫差異的工具。你可以使用 Stable Diffusion 或單獨運作此工具。

安裝和使用 AnimateDiff 的詳細教程可以在以下鏈接中找到:

此外,如果你更喜歡通過視頻來學習,你還可以在以下鏈接中找到中文的 YouTube 教學:

希望這些資源能幫助你了解和使用 AnimateDiff。

Categories: 香港中文大學, Stable Diffusion, 軟件

Seaart.ai 藝術創作平台

適合

  • Create Art – 創作藝術
  • Train or upload models – 訓練或上傳模型
  • Discussion with partners – 與合作夥伴討論
  • (I am a model creator) – 我是模型創作者
  • Want to see beautiful creations – 想看美麗的作品
  • Chat with Character AI – 與角色 AI 聊天
Categories: Image, 線上服務

[免費] 文字創建成 GIF 動畫

網站暫時只能夠提供生成 8 個 Frames 嘅 GIF 動畫。

如果你有興趣想產生更長嘅動畫,你可以去呢度下載完整套件:

如果想安裝 Web 介面版本,可以去呢度下載:

Categories: Video, 線上服務

Page 18 of 21
1 16 17 18 19 20 21