人工智能生成的视频更精彩——熟习 AnimateDiff_模子_视频

2024-09-20 18:24:51 智能助手

我特殊愉快地看到了最近发布的 AnimateDiff，这是一个新的文本到视频的AI工具，而且是免费和开源的。
直到现在，唯一的其他可行选择是 Runway ML，但它不是免费的，须要月费订阅。

人工智能生成的视频更精彩——熟习 AnimateDiff_模子_视频智能助手

什么是 AnimateDiff？

AnimateDiff是一个框架，旨在将个性化的文本到图像模型扩展为动画天生器，无需进行特定于模型的调度。
通过从大型视频数据集中学习运动先验，AnimateDiff可以整合到个性化的文本到图像模型中，无论这些模型是用户演习的还是从CivitAI或Huggingface等平台下载的。

AnimateDiff

事情事理

步骤1：在HuggingFace上打开AnimateDiff

在HuggingFace上创建一个免费账户并打开AnimateDiff空间。

AnimateDiff

这一步并不是必须的，但最好复制空间以避免排队。

AnimateDiff

步骤2：选择DreamBooth模型并添加文本提示

DreamBooth模型有很多选项可用。
参考CivitAI上每个模型的网页，理解如何为它们编写提示。

AnimateDiff

对付运动模块，你可以选择mm_sd_v14.ckpt和mm_sd_v15.ckpt中的任一个，但建议考试测验两个模型。

这是一个提示的示例：

Close up photo of a rabbit, forest, haze, halation, bloom, dramatic atmosphere, centred, rule of thirds, 200mm 1.4f macro shot

"兔子的特写照，森林，薄雾，光晕，绽放，戏剧性的氛围，居中，三分法则，200mm 1.4f 微距拍摄"

负面提示是可选的，但它辅导天生过程，根据给定的文本不包含图像中的内容。
例如，以下负面提示将见告模型避免天生模糊、像素化或具有任何其他伪影的图像：

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

"(半写实，CGI，3D，渲染，素描，卡通，绘画，动漫：1.4)，文本，特写，裁剪，超出画框，最差质量，低质量，JPEG伪影，丑陋，重复，胆怯，残缺，多余的手指，变异的手，画得不好的手，画得不好的脸，突变，变形，模糊，脱水，解剖学不良，比例不良，多余的肢体，克隆的脸，畸形，丑陋的比例，畸形的肢体，缺臂，缺腿，多余的胳膊，多余的腿，领悟的手指，手指太多，颈部过长"

步骤3：天生视频

只需点击“天生”按钮，等待至少三分钟，直到视频天生完成。

AnimateDiff

我们再来一个例子。

Black and white photo of 42 y.o man in black clothes, bald, face, half body, body, high detailed skin, skin pores, coastline, overcast weather, wind, waves, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

"42岁男子，穿着黑衣，秃顶，脸，半身，身体，高渡过细的皮肤，毛孔，海岸线，阴天，风，海浪，8K UHD，单反相机，柔和的照明，高质量，胶片颗粒，富士胶片XT3"

负面提示：

这是终极的视频结果。

AnimateDiff

这里还有一些来自各种模型的例子。

AnimateDiff

如果你有兴趣在本地硬件上制作AI天生的视频，请查看这个GitHub仓库以获取解释。

此外，如果你想深入理解AnimateDiff的事情事理，可以在这里查看白皮书。

总结

我已经用AnimateDiff进行了两个小时的实验，到目前为止，我对结果感到非常印象深刻。

与从Runway ML天生的视频的质量比较，我认为AnimateDiff在视频帧插值方面做得更好。
结果更为流畅，只管比竞争对手的视频短得多。

我希望利用AI天生视频的技能在未来几个月内有很大的改进。
我很期待看到更长的视频，帧之间过渡更为流畅。
我也很期待看到这项技能如何用于创造新颖的娱乐形式。