背景信息

本文為您介紹以下兩種視頻生成的方式：

· 方式一：使用DSW

DSW是為算法開發(fā)者量身打造的一站式AI開發(fā)平臺，集成了JupyterLab、WebIDE、Terminal多種云端開發(fā)環(huán)境，其中，Gallery提供了豐富的案例和解決方案，幫助您快速熟悉研發(fā)流程。您可以打開DSW Gallery中的案例教程，實現(xiàn)一鍵式運行Notebook，完成基于EasyAnimate的視頻生成模型的推理和訓(xùn)練任務(wù)，也可以進行模型推理和微調(diào)等二次開發(fā)操作。

• 方式二：使用快速開始

快速開始集成了眾多AI開源社區(qū)中優(yōu)質(zhì)的預(yù)訓(xùn)練模型，并且基于開源模型支持零代碼實現(xiàn)從訓(xùn)練到部署再到推理的全部過程，您可以通過快速開始一鍵部署EasyAnimate模型并生成視頻，享受更快、更高效、更便捷的AI應(yīng)用體驗。

費用說明

如果您的賬號為DSW或EAS的新用戶，可以免費試用相應(yīng)產(chǎn)品。關(guān)于免費試用的額度、領(lǐng)取方式及注意事項等詳細信息，請參見新用戶免費試用。

說明：在本教程中，僅支持使用DSW免費資源類型ecs.gn7i-c8g1.2xlarge。

如果您的賬號非新用戶，使用DSW和EAS會產(chǎn)生相應(yīng)費用。更多計費詳情，請參見交互式建模（DSW）計費說明、模型在線服務(wù)（EAS）計費說明、快速開始（QuickStart）計費說明。

前提條件

• 創(chuàng)建PAI工作空間。具體操作，請參見開通PAI并創(chuàng)建默認工作空間。

• （可選）開通OSS或NAS。具體操作，請參見開始使用OSS、NAS入門概述。

方式一：使用DSW

步驟一：創(chuàng)建DSW實例

1. 進入DSW頁面。

a. 登錄PAI控制臺。

b. 在概覽頁面選擇目標地域。

c. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁面中單擊目標工作空間名稱，進入對應(yīng)工作空間內(nèi)。

d. 在工作空間頁面的左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練>交互式建模（DSW），進入DSW頁面。

2. 單擊創(chuàng)建實例。

3. 在配置實例向?qū)ы撁?，配置以下關(guān)鍵參數(shù)，其他參數(shù)保持默認即可。

4. 單擊確定。

步驟二：安裝EasyAnimate模型

1. 打開DSW實例。

a. 登錄PAI控制臺。

b. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁面中單擊目標工作空間，進入對應(yīng)工作空間。

c. 在頁面左上方，選擇使用服務(wù)的地域。

d. 在左側(cè)導(dǎo)航欄，選擇模型開發(fā)與訓(xùn)練>交互式建模（DSW）。

e. 單擊目標DSW實例操作列下的打開，進入DSW實例的開發(fā)環(huán)境。

2. 在Notebook頁簽的Launcher頁面，單擊快速開始區(qū)域Tool下的DSW Gallery，打開DSW Gallery頁面。

3. 在DSW Gallery頁面中，搜索EasyPhoto: 基于EasyAnimate的AI視頻生成示例，單擊在DSW中打開，即可自動將本教程所需的資源和教程文件下載至DSW實例中，并在下載完成后自動打開教程文件。

4. 下載EasyAnimate相關(guān)代碼和模型并進行安裝。

在教程文件easyanimate.ipynb中，單擊開始按鈕運行環(huán)境安裝節(jié)點命令，包括定義函數(shù)、下載代碼和下載模型。當成功運行一個步驟命令后，再順次運行下個步驟的命令。

步驟三：推理模型

方式一：使用代碼進行推理

單擊開始按鈕運行模型推理>使用代碼進行推理節(jié)點的命令進行模型推理。您可在/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos目錄中查看生成結(jié)果。

您可以修改不同的參數(shù)來達到不同的效果，參數(shù)說明：

方式二：使用WebUI進行推理

1. 單擊開始按運行模型推理>UI啟動節(jié)點的命令，進行模型推理。

2. 單擊生成的鏈接，進入WebUI界面。

3. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑、微調(diào)后的基模型和LoRA模型，設(shè)置LoRA權(quán)重，其它參數(shù)按需配置即可。

4. 單擊Generate（生成），等待一段時間后，即可在右側(cè)查看或下載生成的視頻。

步驟四：微調(diào)LoRA

EasyAnimate提供了豐富的模型訓(xùn)練方式，包括DiT模型的訓(xùn)練（LoRA微調(diào)和基模型的全量微調(diào)）和VAE的訓(xùn)練。關(guān)于Gallery中內(nèi)置的LoRA微調(diào)部分，更多信息，請參見EasyAnimate。

準備數(shù)據(jù)

單擊開始按鈕執(zhí)行模型訓(xùn)練>數(shù)據(jù)準備節(jié)點的命令，即可下載示例數(shù)據(jù)，用于模型訓(xùn)練。您也可以按照如下格式要求自行準備數(shù)據(jù)文件。

文件數(shù)據(jù)格式如下。

其中，JSON文件數(shù)據(jù)格式和參數(shù)說明如下。

訓(xùn)練模型

1. 將對應(yīng)的訓(xùn)練腳本中的DATASET_NAME及DATASET_meta_NAME設(shè)置為訓(xùn)練數(shù)據(jù)所在目錄及訓(xùn)練文件地址。

2. 單擊開始按鈕執(zhí)行啟動訓(xùn)練>LoRA訓(xùn)練節(jié)點的命令。

3. 訓(xùn)練完成后，將生成的模型移動至models/Personalized_model文件夾，即可在UI界面中選擇，或單擊開始按鈕執(zhí)行LoRA模型推理節(jié)點的命令，指定lora_path進行視頻生成。

方式二：使用快速開始

步驟一：部署模型

1. 進入快速開始頁面。

a. 登錄PAI控制臺。

b. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁面單擊目標工作空間名稱，進入對應(yīng)工作空間內(nèi)。

c. 在左側(cè)導(dǎo)航欄單擊快速開始，進入快速開始頁面。

2. 在快速開始頁面，搜索EasyAnimate 高清長視頻生成，然后單擊部署，配置相關(guān)參數(shù)。

EasyAnimate目前僅支持使用bf16進行推理，請選擇A10及其以上的顯卡。

3. 單擊部署，在彈出的計費提醒對話框中，單擊確定，頁面將自動跳轉(zhuǎn)到服務(wù)詳情頁面。

當狀態(tài)變?yōu)?strong style="overflow-wrap: break-word;">運行中時，即表示模型部署成功。

步驟二：使用模型

模型部署完成后，您可以使用WebUI及API兩種方式調(diào)用服務(wù)來生成視頻。

WebUI方式

1. 在服務(wù)詳情頁面，單擊查看WEB應(yīng)用。

2. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑，其它參數(shù)按需配置即可。

3. 單擊Generate（生成），等待一段時間后，即可在右側(cè)查看或下載生成的視頻。

API方式

1.在服務(wù)詳情頁面的資源詳情區(qū)域，單擊查看調(diào)用信息，獲取調(diào)用服務(wù)所需的信息。

2. 通過接口更新Transformer模型，可在DSW實例或本地Python環(huán)境中執(zhí)行。

如果已經(jīng)在WebUI中選擇模型，則無需發(fā)送請求重復(fù)調(diào)用。如遇請求超時，請在EAS日志中確認模型已加載完畢。加載完成，日志中將提示Update diffusion transformer done。

Python請求示例如下。

其中：

○ <eas-service-url>：替換為步驟1中查詢到的服務(wù)訪問地址。

○ <eas-service-token>：替換為步驟1中查詢到的服務(wù)Token。

3. 調(diào)用服務(wù)，生成視頻或圖片。

• 服務(wù)輸入?yún)?shù)說明

• Python請求示例

服務(wù)返回base64_encoding，為base64結(jié)果。

您可以在/mnt/workspace/demos/easyanimate/目錄中查看生成結(jié)果。

其中：

○ <eas-service-url>：替換為步驟1中查詢到的服務(wù)訪問地址。

○ <eas-service-token>：替換為步驟1中查詢到的服務(wù)Token。