字节的这个音频驱动的交互式头像视频生成框架有点酷：INFP，给它一段双人对话音频和人物头像，它可以生成双人交互视频，面部表情、头部动作、唇形一致性保持的非常好可以根据音频自动切换角色，不需要手动指定角色，面部表情和头部动作比较自然轻量级，运行速度比较快，40+ FPS，可以实时生成

发布时间: 2024-12-21 23:20:47

1分

数据加载中

关注推特

收听电报

2

1

0

字节的这个音频驱动的交互式头像视频生成框架有点酷：INFP，给它一段双人对话音频和人物头像，它可以生成双人交互视频，面部表情、头部动作、唇形一致性保持的非常好
可以根据音频自动切换角色，不需要手动指定角色，面部表情和头部动作比较自然
轻量级，运行速度比较快，40+ FPS，可以实时生成
时政
( twitter.com )

13天前由 AIGCLINK 提交

字节的这个音频驱动的交互式头像视频生成框架有点酷：INFP，给它一段双人对话音频和人物头像，它可以生成双人交互视频，面部表情、头部动作、唇形一致性保持的非常好

可以根据音频自动切换角色，不需要手动指定角色，面部表情和头部动作比较自然

轻量级，运行速度比较快，40+ FPS，可以实时生成
支持多语言和唱歌，支持侧面和非人类图像

可以用于即时通讯比如视频会议、虚拟主播等等

#交互式头像视频 #INFP #音频驱动头像

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

借助 LivePortrait，大叔秒变美少女
LivePortrait 是快手可灵大模型团队开源的可控人像视频生成框架，该框架能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。
演示：

IT技术
( huggingface.co)

5个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:00:17

2

2

1

1

音频加人脸生成视频新的最佳实践来了，太稳了。
字节的新研究 Loopy，看起来会开源。
涉及到非语言的动作也可以生成，比如叹息、情感驱动的眉毛和眼睛运动。
唱歌音频也没问题，对二次元图片的支持也比较好。
IT技术
( twitter.com)

4个月前 • 歸藏(guizang.ai) • -- 点击 • 下载视频 0 评论

00:01:35

3

3

2

2

蚂蚁集团支付宝开源了数字人技术：EchoMimic，可用于虚拟主播、视频编辑等
效果比SadTalker、MuseTalk好，表情更丰富动作更顺畅
EchoMimic是一个基于音频驱动的肖像动画生成工具，通过可编辑的特征点条件生成逼真、自然的动画，用户可以根据自己的需求调整动画细节
功能:
时政
( twitter.com)

5个月前 • AIGCLINK • -- 点击 • 下载视频 0 评论

00:00:05

4

2

1

1

谷歌也发布了一个根据输入图片和音频就能生成对应人物讲话视频的项目VLOGGER。看起来没有阿里那个自然。
项目简介：
它可以根据一张人物图像,生成由文本和音频驱动的说话人视频。该方法建立在最近生成式扩散模型取得成功的基础之上。
VLOGGER 包含两个关键组件:
1) 一个随机的人体到 3D…
IT技术
( twitter.com)

9个月前 • 歸藏 • -- 点击 • 下载视频 0 评论

00:00:14

5

2

1

1

兄弟们，这个厉害了！！！
PersonaTalk：字节跳动开发出可精准给视频进行AI配音的模型
能保持口型同步、说话风格完美匹配
只需输入音频和参考视频，即可生成同步的视觉配音
不仅让嘴唇动作与音频完美匹配，还能保留说话者的个性特点，比如说话的速度、语调和表情。
时政
( twitter.com)

2个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:01:30

6

2

1

1

#工具 #视频 #AI
VideoLingo是一款自动化的下载、翻译、配乐的视频工具
主要：
🍖 全自动视频搬运工，生成 Netflix 品质的字幕！
🎤 克隆自己的声音进行配音!
✨ 在 streamlit 中点击-完成！
时政
( github.com)

4个月前 • Noise • -- 点击 0 评论

7

2

1

1

谷歌发布 Veo 2 视频模型，这才是 Sora 应该有的质量！
- 支持生成高达 4K 分辨率视频，可以延长到几分钟
- 非常详细的画面细节表现
- 足够真实的物理交互
- 可以完成非常复杂的动作
看演示和其他人的视频，领先现在的模型几个身位
下面有更多演示视频和使用方式

IT技术
( twitter.com)

18天前 • 歸藏(guizang.ai) • -- 点击 • 下载视频 0 评论

00:00:40

8

2

1

1

LEGO：一个由字节跳动和复旦大学研发的多模态理解和图像定位模型。
LEGO能够处理和理解多种类型的输入，支持图像、音频和视频输入，并对这些信息进行分析和理解。
模型还具备精准定位的能力。例如在图像中标识出物体的具体位置，在视频中指出特定事件发生的时间点，在音频中识别出特定声音的来源。…
IT技术
( twitter.com)

11个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:01:13

9

2

1

1

MoneyPrinterTurbo：一键自动生成1分钟长的短视频
你只需要输入一个主题或几个关键词就能自动生成短视频。
比如，你只需要告诉它你想制作一个关于“如何制作咖啡”的视频
它能自动为你准备好一切所需内容——从文案到视频片段，甚至还包括字幕和背景音乐。最后自动组合成一个完整的视频。…
时政
( twitter.com)

9个月前 • 小互 • -- 点击 • 下载视频 0 评论

00:00:44

0.11199 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: admin@bad.news

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特