|
InfiniteTalk玩法深挖!基于官方模型测试双人对话场景。实测结论:复杂多轮交互暂不支持,但“一人一句”的访谈/播报模式效果完美!为您带来避坑指南及专用双人工作流,轻松制作简易对话视频,避免踩雷! 一、InfiniteTalk官版双人对话数字人今天还是研究数字人,围绕官版的InfiniteTalk尝试多人对话场景。 先说结论: 超好玩,推荐给你! 二、相关安装大家把主体更下就行,另外还用到一个插件音频插件:https://github.com/ryanontheinside/ComfyUI_RyanOnTheInside 模型地址:https://huggingface.co/Comfy-Org ... files/model_patches
数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器
核心就是上面这2个模型,都不是很大,其他的都用wan2.1的模型就好了。 网盘我给大家提供了,自行下载。
数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器
三、使用说明
数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器
双人的话和单人的调整的地方不多,我把核心的和大家说一下。 首先是模型这里调整,改成网盘里面的双人模型
数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器
然后是素材的处理,我这里给大家搭建了两种形式,通过分组来使用,不过多轮的我测试了一下午发现效果不大行,所以大家暂时先用默认的。 图片需要上传两次,然后使用遮罩涂抹下要说话的人。 音频也要分别上传一下。
数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器
最关键的是在WanInfiniteTalkToVideo里面传入2个音频数据以及各自人物的遮罩。 你需要把mode改成two_speakers,才会出现上面的这些选项。
数字人玩法更新!InfiniteTalk官版双人对话工作流,主持/采访神器
剩下就和单人的一样,直接运行执行了。 案例展示
目前实测下来,只能支持简单的一轮拼凑的多人对话,就是A说完,B说,然后就没了。 注意事项
以前KJ版本那边支持的多人多轮对话,官网我测试下来没效果,就是第二个人不说话。问过其他UP主,也说效果不行,白测了一下午。 所以结论就是,想用多人多轮对话的,继续用之前的KJ版本吧。简单就一轮对话的可以用新的这个,单人的也用官版的。
|