如何用图片生成跳舞视频？

用图片生成跳舞视频是当前非常流行的AI应用，最近刷到很多类似视频，就有点手痒，想做几个试试，于是我去问了DS，以下是DS的回复。

目前主要有以下几种方法，从简单到专业，我来为你详细介绍一下。

核心原理

这类技术的核心是使用了一种叫做“视频生成模型”或“姿态迁移”的AI。简单来说，就是让AI学习一张图片（你的人像）和一段驱动视频（跳舞的视频），然后将驱动视频中的动作、姿态“迁移”到你的人像图片上，从而生成一个你（或你的图片）在跳舞的新视频。

—

方法一：使用在线工具或App（最简单、最快）

这类工具通常一键操作，对用户最友好，适合快速体验。

1. Reface（手机App）

特点：非常火爆的换脸应用，有“舞蹈换脸”专属功能。

操作流程：

1. 在App Store或Google Play下载Reface。

2. 打开App，找到“舞蹈”或类似的分类。

3. 上传一张清晰的正面人脸照片。

4. 选择一个平台提供的舞蹈模板。

5. 等待AI处理，生成视频。

优点：操作极其简单，效果有趣，模板丰富。

缺点：大部分高级模板需要付费订阅，生成视频通常有水印且时长较短。

2. 其他类似App

Zao：国内曾经很火的换脸App，功能类似。

Doublicat（现已并入Reface）。

—

方法二：使用专业的AI在线平台（效果更好，更灵活）

这类平台提供更强大的模型和自定义选项，是目前的主流选择。

1. SadTalker（推荐）

这是一个非常知名且效果出色的开源项目，很多在线平台都集成了它。

– 如何访问：

本地部署：适合有技术背景的用户，需要在电脑上安装Python、PyTorch等环境，从GitHub下载代码运行。

在线平台：对于绝大多数用户，推荐使用集成了SadTalker的在线网站。

推荐平台：TensorArt, Modelscope（魔搭社区）, Hugging Face 等。你可以在这些网站上搜索“SadTalker”并使用。

操作流程（以TensorArt为例）：

1. 访问TensorArt官网并注册。

2. 在“发现”或“模型”中搜索“SadTalker”。

3. 进入应用后，通常需要上传两张东西：

– Source Image（源图片）：你想要让他/她跳舞的图片。建议是正面、脸部清晰、无遮挡的半身或全身照。

– Driving Video（驱动视频）：提供舞蹈动作的视频。你可以自己录一段，或者从网上下载一段舞蹈视频。

4. 调整参数（如视频尺寸、时长等），点击生成。

5. 等待几分钟，下载生成的视频。

2. Stable Video Diffusion (SVD)

这是Stability AI推出的视频生成模型，它可以从单张图片直接生成一段短视频。

– 特点：不需要驱动视频，直接从图片“想象”出动态。但目前对“跳舞”这种复杂、特定动作的控制能力还比较弱，生成的动态可能比较随机，不像SadTalker那样精准复现驱动视频的动作。

– 访问方式：同样可以通过 Clipdrop, Replicate 等在线平台体验。

3. 其他优秀模型

– DreamPose：效果非常好，对服装、身体的细节保持得很出色。

– MagicAnimate：由字节跳动开发，效果顶尖，能很好地保持人物身份特征。

—

方法三：在本地电脑上部署（适合技术爱好者）

如果你有一台性能不错的电脑（尤其是拥有NVIDIA显卡），并且喜欢折腾，可以尝试本地部署。

1. 所需环境：

– 操作系统：Windows, Linux, macOS均可。

– 显卡：推荐NVIDIA显卡，至少8GB显存（如RTX 3060及以上）。

– 软件：安装Python, Git, PyTorch, CUDA等。

2. 常用项目：

SadTalker: GitHub链接
(https://github.com/OpenTalker/SadTalker)

MagicAnimate: GitHub链接
(https://github.com/magic-research/magic-animate)

3. 流程：

1. 按照项目页面的“Installation”说明，一步步安装依赖。

2. 下载预训练模型。

3. 通过命令行或提供的GUI界面运行代码。

优点：完全免费，数据隐私性好，可自定义程度最高。

缺点：技术门槛高，环境配置复杂，对硬件要求高。

—

总结与建议

方法	难度	成本	效果	推荐人群
手机App (如Reface)	⭐️	免费/订阅制	较好（但受模板限制）	只想快速体验、玩一下的用户
在线平台 (如TensorArt)	⭐️⭐️	按次付费或免费额度	很好	绝大多数用户的首选，平衡了效果和易用性
本地部署	⭐⭐⭐⭐⭐	免费（需自有硬件）	最好（可调参）	开发者、技术极客、注重隐私的用户