AnimateDiff算法模型的出现让二次元的小姐姐图片，动起来了！

大家好，我是千寻哥，最近千寻哥准备开始做一些AI绘画的课程，今天又看到一个非常有趣的项目，图像生成又有新进展了！

相信在之前的相关教程，玩过 AI 绘画的小伙伴，对于 Stable Diffusion的生成AIGC模型，绝对再熟悉不过了。

简单概括它的功能就是：通过一句话的描述，生成对应的各种画风的图片，可以发挥你的想象力！

一、AnimateDiff模型效果预览

AI 绘画的出现，让大家玩得不亦乐乎，各种应用也是百花齐放，越来越多的人学会了使用 AI 技术进行“创作”。

AI 能够生成静态图片，人们自然而然会想到，能否利用 AI 技术进一步生成一小段动图呢？就像这样。

比如，我想个性化定制某个人物，让这个人物动起来，增加时间动态性，不再是简单的静态图像。

如今，这些想法也能实现了，AnimateDiff 诞生！

我们先看用来生成漂亮小姐姐的动图效果：

不需要额外 finetune 模型，AnimateDiff 可以针对各个模型生成的图片，一键生成对应的动图。

像之前出现过的一些算法，都需要针对特定的图片再做训练，AnimateDiff 则不需要，这大幅节省了生成动图的成本。

不仅仅针对人物，风景、动物也能动起来想，看看动图效果。

二、AnimateDiff模型原理介绍

AnimateDiff 其实是在文本到图像的模型中，引入了一个新的运动建模模块，该模型是在大规模的视频剪辑素材上训练得到的，使用该模块可以提取合理的先验信息。

这样，一个基础的文本生成图片的模型，就具备了个性化派生的能力，生成某个特定事物的动图。

项目地址：

https://github.com/guoyww/AnimateDiff

想要运行这个项目，大概需要 12 GB 显存，推荐使用Google Colab实验室使用Tesla T4 16GB显卡进行运行

三、AnimateDiff模型部署应用

AnimateDiff模型的部署有很多种，官方以及千寻哥进行检验后，发现openxlab社区与huggingface社区社区进行部署的效果不错，尤其是openxlab社区。

openxlab社区: https://openxlab.org.cn/apps/detail/Masbfca/AnimateDiff

huggingface社区：https://huggingface.co/spaces/guoyww/AnimateDiff

openxlab社区的部署UI界面如下：

AI绘画生成的测试过程：

选取大模型：lyriel_v16.safetensors

Prompt提示词：masterpiece, concept art, dynamic angle, a girl with pink hair blowing a bubble, by WLOP, featured on cgsociety, photorealism, lolita style, soft shadows on the face, sculpted out of candy, [ bubbles, naver fanpop, blonde anime girl with long hair, ( ( ( anime ) ) ), a human-like juicy peach

Negative Prompt提示词：worst quality, low quality, nsfw, logo

AI绘画生成效果：

以下是在Google Colab实验室中进行部署的代码指令

部署方法也很简单，使用 Anaconda 创建虚拟环境：

运动模型有两个版本，基于 stable-diffusion-v1-4 和 v1-5 finetune 得到的模型，具体用哪个版本，可以针对不同的文本生成图片的模型去选择。

最后就是下载文本生成图片的模型，可以使用脚本直接下载。

想要运行，选择对应的配置文件即可。

具体的效果，大家可以自行体验吧。

目前 AnimateDiff 不支持特定动作的生成，比如输入一个文本动作描述，生成对应的动图，现在是随机生成一个符合图片意境的动图。我想，可编辑的，能够生成动图的算法，可能会是下一个方向。

怎么样，是不是觉得很有意思，AI绘画做起来其实没有那么难，千寻哥现在也开始做小红薯，千与编程，欢迎大家支持一波，感谢。

我是千寻哥，一个只讲干货的码农，我们下期见~