简体中文 English 日本語 Русский язык 한어

105

主题

1

回帖

174

修为

执行合伙人

积分
380

InfiniteTalk玩法深挖!基于官方模型测试双人对话场景。实测结论:复杂多轮交互暂不支持,但“一人一句”的访谈/播报模式效果完美!为您带来避坑指南及专用双人工作流,轻松制作简易对话视频,避免踩雷!

一、InfiniteTalk官版双人对话数字人

今天还是研究数字人,围绕官版的InfiniteTalk尝试多人对话场景。

先说结论:

  • 多轮对话不支持
  • 一人说一句的没问题

超好玩,推荐给你!

二、相关安装

大家把主体更下就行,另外还用到一个插件音频插件:https://github.com/ryanontheinside/ComfyUI_RyanOnTheInside

模型地址:https://huggingface.co/Comfy-Org ... files/model_patches

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

核心就是上面这2个模型,都不是很大,其他的都用wan2.1的模型就好了。

网盘我给大家提供了,自行下载。

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

三、使用说明

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

双人的话和单人的调整的地方不多,我把核心的和大家说一下。

首先是模型这里调整,改成网盘里面的双人模型

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

然后是素材的处理,我这里给大家搭建了两种形式,通过分组来使用,不过多轮的我测试了一下午发现效果不大行,所以大家暂时先用默认的。

图片需要上传两次,然后使用遮罩涂抹下要说话的人。 音频也要分别上传一下。

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

最关键的是在WanInfiniteTalkToVideo里面传入2个音频数据以及各自人物的遮罩。

你需要把mode改成two_speakers,才会出现上面的这些选项。

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器

剩下就和单人的一样,直接运行执行了。

案例展示

目前实测下来,只能支持简单的一轮拼凑的多人对话,就是A说完,B说,然后就没了。

注意事项

以前KJ版本那边支持的多人多轮对话,官网我测试下来没效果,就是第二个人不说话。问过其他UP主,也说效果不行,白测了一下午。

所以结论就是,想用多人多轮对话的,继续用之前的KJ版本吧。简单就一轮对话的可以用新的这个,单人的也用官版的。



您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

简体中文
繁體中文
English(英语)
日本語(日语)
Deutsch(德语)
Русский язык(俄语)
بالعربية(阿拉伯语)
Türkçe(土耳其语)
Português(葡萄牙语)
ภาษาไทย(泰国语)
한어(朝鲜语/韩语)
Français(法语)
QQArchiver手机版小黑屋粤ICP备2026002389号-1粤ICP备2026002389号-1 简体中文 English 日本語 Русский язык 한어 |网站地图