背景信息
本文為您介紹以下兩種視頻生成的方式:
DSW是為算法開發(fā)者量身打造的一站式AI開發(fā)平臺,集成了JupyterLab、WebIDE、Terminal多種云端開發(fā)環(huán)境,其中,Gallery提供了豐富的案例和解決方案,幫助您快速熟悉研發(fā)流程。您可以打開DSW Gallery中的案例教程,實現(xiàn)一鍵式運行Notebook,完成基于EasyAnimate的視頻生成模型的推理和訓(xùn)練任務(wù),也可以進行模型推理和微調(diào)等二次開發(fā)操作。
快速開始集成了眾多AI開源社區(qū)中優(yōu)質(zhì)的預(yù)訓(xùn)練模型,并且基于開源模型支持零代碼實現(xiàn)從訓(xùn)練到部署再到推理的全部過程,您可以通過快速開始一鍵部署EasyAnimate模型并生成視頻,享受更快、更高效、更便捷的AI應(yīng)用體驗。
費用說明
如果您的賬號為DSW或EAS的新用戶,可以免費試用相應(yīng)產(chǎn)品。關(guān)于免費試用的額度、領(lǐng)取方式及注意事項等詳細信息,請參見新用戶免費試用。
說明:在本教程中,僅支持使用DSW免費資源類型ecs.gn7i-c8g1.2xlarge。
如果您的賬號非新用戶,使用DSW和EAS會產(chǎn)生相應(yīng)費用。更多計費詳情,請參見交互式建模(DSW)計費說明、模型在線服務(wù)(EAS)計費說明、快速開始(QuickStart)計費說明。
前提條件
• 創(chuàng)建PAI工作空間。具體操作,請參見開通PAI并創(chuàng)建默認工作空間。
• (可選)開通OSS或NAS。具體操作,請參見開始使用OSS、NAS入門概述。
方式一:使用DSW
步驟一:創(chuàng)建DSW實例
1. 進入DSW頁面。
a. 登錄PAI控制臺。
b. 在概覽頁面選擇目標地域。
c. 在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面中單擊目標工作空間名稱,進入對應(yīng)工作空間內(nèi)。
d. 在工作空間頁面的左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練>交互式建模(DSW),進入DSW頁面。
2. 單擊創(chuàng)建實例。
3. 在配置實例向?qū)ы撁?,配置以下關(guān)鍵參數(shù),其他參數(shù)保持默認即可。
4. 單擊確定。
步驟二:安裝EasyAnimate模型
1. 打開DSW實例。
a. 登錄PAI控制臺。
b. 在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面中單擊目標工作空間,進入對應(yīng)工作空間。
c. 在頁面左上方,選擇使用服務(wù)的地域。
d. 在左側(cè)導(dǎo)航欄,選擇模型開發(fā)與訓(xùn)練>交互式建模(DSW)。
e. 單擊目標DSW實例操作列下的打開,進入DSW實例的開發(fā)環(huán)境。
2. 在Notebook頁簽的Launcher頁面,單擊快速開始區(qū)域Tool下的DSW Gallery,打開DSW Gallery頁面。
3. 在DSW Gallery頁面中,搜索EasyPhoto: 基于EasyAnimate的AI視頻生成示例,單擊在DSW中打開,即可自動將本教程所需的資源和教程文件下載至DSW實例中,并在下載完成后自動打開教程文件。
4. 下載EasyAnimate相關(guān)代碼和模型并進行安裝。
在教程文件easyanimate.ipynb中,單擊開始按鈕運行環(huán)境安裝節(jié)點命令,包括定義函數(shù)、下載代碼和下載模型。當成功運行一個步驟命令后,再順次運行下個步驟的命令。
步驟三:推理模型
方式一:使用代碼進行推理
單擊開始按鈕運行模型推理>使用代碼進行推理節(jié)點的命令進行模型推理。您可在/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos目錄中查看生成結(jié)果。
您可以修改不同的參數(shù)來達到不同的效果,參數(shù)說明:
方式二:使用WebUI進行推理
1. 單擊開始按運行模型推理>UI啟動節(jié)點的命令,進行模型推理。
2. 單擊生成的鏈接,進入WebUI界面。
3. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑、微調(diào)后的基模型和LoRA模型,設(shè)置LoRA權(quán)重,其它參數(shù)按需配置即可。
4. 單擊Generate(生成),等待一段時間后,即可在右側(cè)查看或下載生成的視頻。
步驟四:微調(diào)LoRA
EasyAnimate提供了豐富的模型訓(xùn)練方式,包括DiT模型的訓(xùn)練(LoRA微調(diào)和基模型的全量微調(diào))和VAE的訓(xùn)練。關(guān)于Gallery中內(nèi)置的LoRA微調(diào)部分,更多信息,請參見EasyAnimate。
準備數(shù)據(jù)
單擊開始按鈕執(zhí)行模型訓(xùn)練>數(shù)據(jù)準備節(jié)點的命令,即可下載示例數(shù)據(jù),用于模型訓(xùn)練。您也可以按照如下格式要求自行準備數(shù)據(jù)文件。
文件數(shù)據(jù)格式如下。
其中,JSON文件數(shù)據(jù)格式和參數(shù)說明如下。
訓(xùn)練模型
1. 將對應(yīng)的訓(xùn)練腳本中的DATASET_NAME及DATASET_meta_NAME設(shè)置為訓(xùn)練數(shù)據(jù)所在目錄及訓(xùn)練文件地址。
2. 單擊開始按鈕執(zhí)行啟動訓(xùn)練>LoRA訓(xùn)練節(jié)點的命令。
3. 訓(xùn)練完成后,將生成的模型移動至models/Personalized_model文件夾,即可在UI界面中選擇,或單擊開始按鈕執(zhí)行LoRA模型推理節(jié)點的命令,指定lora_path進行視頻生成。
方式二:使用快速開始
步驟一:部署模型
1. 進入快速開始頁面。
a. 登錄PAI控制臺。
b. 在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面單擊目標工作空間名稱,進入對應(yīng)工作空間內(nèi)。
c. 在左側(cè)導(dǎo)航欄單擊快速開始,進入快速開始頁面。
2. 在快速開始頁面,搜索EasyAnimate 高清長視頻生成,然后單擊部署,配置相關(guān)參數(shù)。
EasyAnimate目前僅支持使用bf16進行推理,請選擇A10及其以上的顯卡。
3. 單擊部署,在彈出的計費提醒對話框中,單擊確定,頁面將自動跳轉(zhuǎn)到服務(wù)詳情頁面。
當狀態(tài)變?yōu)?strong style="overflow-wrap: break-word;">運行中時,即表示模型部署成功。
步驟二:使用模型
模型部署完成后,您可以使用WebUI及API兩種方式調(diào)用服務(wù)來生成視頻。
WebUI方式
1. 在服務(wù)詳情頁面,單擊查看WEB應(yīng)用。
2. 在WebUI界面選擇預(yù)訓(xùn)練的模型路徑,其它參數(shù)按需配置即可。
3. 單擊Generate(生成),等待一段時間后,即可在右側(cè)查看或下載生成的視頻。
API方式
1.在服務(wù)詳情頁面的資源詳情區(qū)域,單擊查看調(diào)用信息,獲取調(diào)用服務(wù)所需的信息。
2. 通過接口更新Transformer模型,可在DSW實例或本地Python環(huán)境中執(zhí)行。
如果已經(jīng)在WebUI中選擇模型,則無需發(fā)送請求重復(fù)調(diào)用。如遇請求超時,請在EAS日志中確認模型已加載完畢。加載完成,日志中將提示Update diffusion transformer done。
Python請求示例如下。
其中:
3. 調(diào)用服務(wù),生成視頻或圖片。
• 服務(wù)輸入?yún)?shù)說明
• Python請求示例
服務(wù)返回base64_encoding,為base64結(jié)果。
您可以在/mnt/workspace/demos/easyanimate/目錄中查看生成結(jié)果。
其中: