Je vous explique dans ce tuto Comment créer des animations avec Deforum Stable Diffusion. C’est très simple à faire. Il est possible de faire des vidéos 2D, 3D ou par interpolation.
Table des matières
- Récupérer le modèle Stable Diffusion
- Google Colab
- Comment configurer Deforum Stable Diffusion
- Changer les paramètres
- Quelques exemples d’images
- Explication en vidéo pour comment créer des animations avec Deforum Stable Diffusion
Récupérer le modèle Stable Diffusion
Tout d’abord, il faut récupérer le dernier modèle disponible sur huggingface.co/CompVis/stable-diffusion.
Il faut le copier sur votre Google Drive dans AI\models (ou un autre si vous changez le lien)
<img width="1024" height="467" src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable-1024x467.jpg" alt="Comment créer des animations avec Deforum Stable Diffusion" class="wp-image-42025" srcset="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable-1024x467.jpg 1024w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable-300x137.jpg 300w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable-770x351.jpg 770w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable-293x134.jpg 293w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable-390x178.jpg 390w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable.jpg 1269w" sizes="(max-width: 1024px) 100vw, 1024px" />
Google Colab
Dans notre cas, nous utilisons Colab Pro (modèle payant), mais le tuto d’origine était sur Colab gratuit. La version gratuite est largement suffisante mais limité. Pour les tutos, nous avons dû faire énormément de tests et nous étions bloqués malheureusement car le temps machine est limité. Il a été nécessaire que nous devions passer en version payante.
Comment configurer Deforum Stable Diffusion
Il faut choisir le type d’animation que vous voulez entre :
- None
- 2D
- 3D
- Video Input
- Interpolation
<img width="1003" height="232" src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable2.jpg" alt="Deforum Stable Diffusion configurer animation" class="wp-image-42026" srcset="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable2.jpg 1003w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable2-300x69.jpg 300w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable2-770x178.jpg 770w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable2-293x68.jpg 293w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable2-390x90.jpg 390w" sizes="(max-width: 1003px) 100vw, 1003px" />
Selon le choix, les paramètres suivant sont nécessaires mais pas obligatoire comme la translation ou la rotation selon des axes.
<img width="631" height="472" src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable4.jpg" alt="Motion parameters Deforum Stable Diffusion" class="wp-image-42032" srcset="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable4.jpg 631w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable4-300x224.jpg 300w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable4-293x219.jpg 293w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable4-390x292.jpg 390w" sizes="(max-width: 631px) 100vw, 631px" />
Il faut les changer si vous mettez uniquement un prompt. Le rendu final sera beaucoup plus beau.
Les prompts à modifier :
<img width="977" height="259" src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable3.jpg" alt="Prompt Deforum Stable Diffusion" class="wp-image-42027" srcset="https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable3.jpg 977w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable3-300x80.jpg 300w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable3-770x204.jpg 770w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable3-293x78.jpg 293w, https://paradoxetemporel.fr/wp-content/uploads/2022/09/commentanimationstable3-390x103.jpg 390w" sizes="(max-width: 977px) 100vw, 977px" />
Il sera aussi nécessaire de remplir prompts ou animation_prompts. Je montre dans la vidéo comment faire certains choix.
Si vous avez choisi un max_frames de 600, vous pouvez par exemple mettre de changement d’animation tous les 20 prompts.
Changer les paramètres
On doit changer les settings comme la taille de l’image, steps et le scale sans oublier le batch name (nom du répertoire).
Selon les paramètres, vous aurez pleins d’images comme vous pourrez le voir dans la vidéo. Pour les tests, j’en ai utilisé 20 mais dans d’autres cas, je suis monté à 1660 images pour créer une vidéo. Le temps de rendu devient beaucoup plus long en sachant qu’il dépend aussi du nombre de Steps que vous aurez définis.
Quelques exemples d’images
<img src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/20220924190523_00000.png" alt="Star wars Deforum Stable Diffusion" class="wp-image-42028" />
<img src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/20220925090348_00000.png" alt="chat Deforum Stable Diffusion" class="wp-image-42029" />
<img src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/20220925085308_00000.png" alt="chaton Deforum Stable Diffusion" class="wp-image-42030" />
<img src="https://paradoxetemporel.fr/wp-content/uploads/2022/09/20220925084555_00000.png" alt="chaton Deforum Stable Diffusion" class="wp-image-42031" />
Jeu de briques
Snake
Pacman
Bubble