手把手教安装SadTalker教程

SadTalker项目上手教程 最近发现一个很有趣的GitHub项目,它能够将一张图片跟一段音频合成一段视频,看起来毫无违和感,如果不仔细看,甚至很难辨别真假,预计未来某一天,一大波网红即将失业。虽然这个项目目前的主要研究方向还是基于cuda的脸部训练,生成动态的视频,但如果能够接入语音服务,利用ChatGPT实时生成对话prompt,配合这个项目实时渲染动态视频,那么一个灵动的对话机器人就产生了。想想这两个月ai正在以可怕的速度进化,未来生命以数字形式留存,机械飞升不再是科幻小说才有的场景。 阅读详情

提示:昨天亲测可以跑通的 SadTalker 安装教程 至于不知道SadTalker是什么的 可以直接github查看


前言

提示:软件准备工作:
项目源码:百度网盘
提示:如果对百度网盘的不放心也可以根据自己的需求去github下载
github项目源码:https://github.com/Winfredy/SadTalker.git
环境管理软件: Anaconda
编辑器: Visual Studio Code


一、开始安装

一些是项目给的基本安装要求


配置环境:

pip源设置:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

//这里默认是使用压缩的包的  随便把压缩包解压一下
先解压SadTalker安装包,从windows 菜单点击anaconda prompt,

进入命令行开始安装执行SadTalker安装命令:
cd SadTalker  

//创建一个 名称叫 sadtalker  的环境 他的python环境版本是3.8 
conda create -n sadtalker python=3.8  

//进入环境
conda activate sadtalker

//下载安装pytorch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

//安装ffmpeg
conda install ffmpeg

//下载安装默认的requirements.txt配置文件
pip install -r requirements.txt


查看当前虚拟环境的安装目录,执行命令:conda info

把源代码压缩包里面的:gfpgan\weights\GFPGANv1.4.pth 剪切到虚拟环境的 Lib\site-packages\gfpgan\weights 目录下



生成视频需要执行命令:
python inference.py --driven_audio e:\temp\sadtalker\speech_0.wav --source_image e:\temp\sadtalker\1.png --result_dir e:\temp\sadtalker --still --preprocess full --enhancer gfpgan


e:\temp\sadtalker\speech_0.wav 替换成 你的语音文件

e:\temp\sadtalker\1.png 替换从你的图片

e:\temp\sadtalker 替换成你的输出目录

详细参考视频

(三)SadTalker 让stable diffusion 人物可以说话 可以根据一张图片、一段音频,合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持,可以SD出图后,结合一段音频合成面部说话的视频(抖音常见的数字人) 阅读详情

相关推荐

AI数字人:sadtalker让照片开口说话

西安交通大学也开源了人工智能SadTalker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。即不自然的头部运动、扭曲的表情和身份修改。研究团队认为这些问题主要是因为从耦合的 2D 运动场中学习。另一方面,明确使用 3D 信息也存在表情僵硬和视频不连贯的问题。

十年以上架构设计经验,专注于软件架构和人工智能领域,对机器视觉、NLP、音视频等领域都有涉猎 6049

让照片人物开口说话,SadTalker 安装及使用(避坑指南)

西安交通大学开源了人工智能SadTaker模型,通过从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。内含多个踩坑的解决办法,值得玩一玩。

猫哥 的沉淀、积累、总结。天天学习,好好向上...c/c++,嵌入式 linux,Android,HarmonyOS,AIOT) 2万+

Mac M2环境下安装和调试SadTalker

SadTalker 是一款开源的人工智能工具,能够将静态人像图片转化为逼真的说话视频。用户只需上传一张正面肖像照片和相应的音频文件,SadTalker 便能通过分析音频来同步照片中人物的嘴唇动作和面部表情,创造出栩栩如生的视频效果。这一技术适用于个性化信息传递、教育内容制作等多样化场景,支持商业和个人项目使用。SadTalker 的开源特性意味着用户可以自由下载、修改和再分发代码,同时,其高效的同步算法和自然动画效果使其在数字人技术领域中独树一帜。

轩哥的个人研究和成长记录 1810

SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking

我们提出了SadTalker,它从音频中生成3DMM的3D运动系数(头部姿势,表情),并隐式调制了一种新颖的3D感知面部渲染,用于说话的头部生成。为了学习真实的运动系数,我们明确地分别模拟音频和不同类型的运动系数之间的联系。准确地说,我们提出ExpNet通过提取系数和3d渲染的面部来从音频中学习准确的面部表情。对于头部姿势,我们通过一个有条件的VAE来设计PoseVAE来合成不同风格的头部运动。最后,将生成的三维运动系数映射到所提出的人脸渲染的无监督三维关键点空间,并合成最终的视频。

weixin_41967328的博客 5719

在Stable Diffusion WebUI中安装SadTalker插件时几种错误提示的处理方法

比如我在安装SadTalker时,就遇到很多问题,一度放弃了,后来查了一些网上攻略,自己也反复查看日志,终于解决,不吐不快。一、在Stable Diffusion webui中安装SadTalker插件后,重启Stable Diffusion WebUI,在界面中没有出现SadTalker标签。经过修改后,再次启动WebUI,终于能看到SadTalker标签了,选择图像,选择声音文件,调整参数,生成,程序终于欢快地跑起来了。二、插件运行过程中,前端视频生成框中提示Error(错误),过程中止。

m0_60659514的博客 3713

AI丨部署SadTalker并添加到Stable Diffusion

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

2401_84250614的博客 2095

手把手教安装部署AI SadTalker

AI SadTalker 图片+音频合成视频文件

lvyuanj的专栏 2887

stable diffusion上安装数字人sadtalker插件

这里强调一下无论你用的谁的安装包,在安装前你一定要检查一下你是否已经配置了python和git这两个软件,方法很简单,你只需要在终端输入where git|where python,如果显示这两个软件的位置则代表你已经安装,则不需要安装,否则安装多个python版本会在后续的操作中造成命令混淆!一般来说只要你安装了stable diffusion,那么python你肯定是装了的,git你可以在git官网正常下载安装即可,对了我看联想电脑的应用商店也有下载起来很方便的!

Peter的博客 1488

SadTalker数字人安装教程(win平台)

SadTalker数字人的安装介绍

fouryears_23417的博客 3118

光伏5G多合一融合终端|光伏多合一融合终端|光伏多合一群调群控网关|分布式光伏群控群调|光伏AGC/AVC系统这几者之间什么技术关系,多少钱一套预算?

RCL-0923光伏电站电压\功率自动控制装置(光伏AVC/AGC),能够接收调度DMS下发的调节目标(电压或无功),按既定策略的调节目标计算光伏电站无功功率出力需求,支持总有、无功,最大可调范围、逆变器个数等数据的上送,通过选择控制设备并进行无功功率出力分配,并将最终控制指令自动下达给被控制设备,最终实现光伏电站无功功率控制,实现无功功率、并网点电压的监测和控制,跟踪调度中心下发的电压或无功调节目标值,实现分布式电源的可观可测,可调可控。光伏5G多合一融合终端的功能:群调群控/AGC/AVC功能。

分布式DTU物联网DTU 2610

学术类PPT制作总结

本文分享了科技类PPT的制作技巧,希望相关的信息能帮助到读者。

奇妙水果的技术博客,欢迎交流技术~ 2888

Stable Diffusion WebUI安装SadTalker插件

stable diffusion 安装 sadtalker,生成你自己的2D数字人

- 4857

别再手动抄表了!用PaddleOCR超轻量模型5分钟搞定数字仪表识别(附完整Python代码)

本文介绍如何利用PaddleOCR超轻量模型快速实现工业仪表数字识别自动化。通过5行核心代码和关键预处理步骤,显著提升识别准确率至98.2%,解决传统OCR在工业场景中的体积大、抗干扰弱等问题,并提供完整Python代码和边缘部署优化方案。

weixin_31062533的博客 353

SadTalker的安装、部署及模型运行

本文详细分享了SadTalker的安装部署经验。基于Intel至强E5 CPU、Tesla P40显卡、Python 3.8环境,逐步完成了包括FFmpeg、PyTorch及多个依赖项的安装。重点说明了模型权重文件的下载位置,并提供了完整的Python调用示例代码。文章还展示了运行成功的视频输出结果,并提醒需与LivePortrait配合使用以获得最佳效果,同时强调要严格按照顺序安装各项依赖。整个安装过程图文并茂,为开发者提供了清晰的参考指南。

weixin_43845154的博客 2498

基于昇腾MindIE开箱部署Qwen2.5-VL-32B,体验更聪明的多模态理解能力

昇腾MindIE已适配支持Qwen2.5-VL-32B-Instruct并上架魔乐社区,欢迎广大开发者下载体验!

2401_87243659的博客 6879

IEC 104电力规约详细解读(五) - 遥控

主站下发遥控选择命令,子站进行遥控选择返校,若成功则回答遥控选择成功报文,若失败则回答失败报文。主站下发取消遥控命令或者遥控执行命令行。子站皆以报文的镜像确认。遥控命令用来实现对一个可操作设备状态的改变。在配电自动化中,包括单点命令和双点命令。通常,单点命令用于控制单点信息对象;双点命令用于控制双点信息对象。

张二狗的博客 7354

faster-SadTalker-API 使用教程

faster-SadTalker-API 使用教程 项目介绍 faster-SadTalker-API 是 SadTalker 项目的API服务器版本,通过在Docker环境中运行,实现了比原版快10倍的处理速度。该项目旨在将面部增强功能与RESTful API结合,允许用户输入文本并获得输出的 talking face 视频。本项目基于OpenTalker/SadTalker发展而来,通过优化...

gitblog_01048的博客 1166

【原创】下载RealEstate10K数据集原始视频的方法

目前互联网上能搜到下载RealEstate10K数据集原始视频的方法都已经不能用了,这篇博客介绍一种目前可用的下载RealEstate10K数据集原始视频的方法,并给出自动化的脚本代码。

沉迷单车的追风少年 2466

SadTalker的安装及使用方法:

数字人

Wxin1996的博客 1135

Python自动化脚本:模拟鼠标键盘保持电脑在线状态

在计算机自动化领域,模拟用户输入是一项基础且实用的技术,其核心原理是通过程序生成鼠标或键盘事件来与操作系统交互。这项技术的价值在于能够自动化重复性操作,提升工作效率,并解决特定场景下的系统交互问题。PyAutoGUI作为Python生态中广泛使用的自动化库,封装了跨平台的底层API调用,为开发者提供了简洁统一的接口来实现输入模拟。在实际工程实践中,这类技术常应用于自动化测试、远程办公辅助、数据抓取等场景,帮助用户保持系统活跃状态,防止因无操作导致的锁屏或休眠中断任务。通过合理配置移动间隔和随机化模式,可以更

weixin_28713299的博客 579

FFmpeg 开发(14):Android FFmpeg + MediaCodec 实现视频硬解码

MediaCodec 是 Android 提供的用于对音视频进行编解码的类,它通过访问底层的 codec 来实现编解码的功能,是 Android media 基础框架的一部分,通常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack 一起使用。

字节流动 3万+

【亲测免费】 SadTalker 安装及使用指南

SadTalker 安装及使用指南 【下载地址】SadTalker安装及使用指南 SadTalker 是一个由西安交通大学开源的人工智能模型,能够通过从音频中学习生成3D运动系数,并使用全新的3D面部渲染器来生成头部运动,从而实现图片+音频生成高质量视频的功能。本资源文件提供了SadTalker的安装及使用指南,帮助用户...

gitblog_06510的博客 1473

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

SadTalker 使用与启动教程

SadTalker 使用与启动教程 【免费下载链接】SadTalker [CVPR 2023] SadTalker:Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation...

gitblog_00072的博客 1243

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

SadTalker 项目使用教程

SadTalker 项目使用教程 【免费下载链接】SadTalker [CVPR 2023] SadTalker:Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation ...

gitblog_00643的博客 797

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

SadTalker完整安装与配置指南

SadTalker完整安装与配置指南 【免费下载链接】SadTalker 项目地址: https://gitcode.com/gh_mirrors/sad/SadTalker ...

gitblog_00074的博客 1685

SadTalker安装代码教程,内含报错解决方案

SadTalker安装代码教程,内含报错解决方案

m0_73483130的博客 1516
上一篇: 手把手教安装stable-diffusion-webui教程
下一篇: so-vits-svc4.0 中文详细安装、训练、推理使用教程【克隆声音】
think_张大彪
博客等级 码龄9年 866粉丝 10原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值