|
InfiniteTalk迎来官方支持!彻底解决KJ版长视频画质劣化与分段色差痛点。实测推理速度翻倍,画质更顶,单次生成时长无限制且全程高清。开源数字人天花板再次拉高,官方工作流已打包,速领! 一、InfiniteTalk官版流发布好消息,大家都知道InfiniteTalk是目前开源数字人里面最好用的,但是之前只能用KJ流,并且遗留一个大问题,跑长视频会导致视频质量损耗厉害,越长后面质量越不好,当时只能分段去跑,但是那样视频之间会存在色差问题。 最近有个新的解决方案,就是ComfyUI发布了InfiniteTalk的官方的模型,我们就可以在官流里面使用。 我实测下来,直接说结论,爽翻了~ 超好玩,推荐给你! 二、相关安装大家把主体更下就行。 模型地址:https://huggingface.co/Comfy-Org ... files/model_patches
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
核心就是上面这2个模型,都不是很大,其他的都用wan2.1的模型就好了。 网盘我给大家提供了,自行下载,先给大家提供单人的,双人的后面再上传。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
三、使用说明
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
这次直接给大家搭建一个for循环的,官流本身没有自循环,想要跑长视频的话,需要自己复制黏贴多次很麻烦。 模型这边很常规,加载wan2.1系列图生视频底模+加速lightx2v lora,以及今天的数字人模型。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
入参的话,下图中红色圈中的都是可选的,上传图像、上传音频,填写图像最大边长限制,然后截图音频时长,最后写下提示词就行,单次循环帧数保持81帧就好,也可以改成121,这样循环次数就少一些。 我还没测试不同帧数跑的话对最终结果有没有影响,暂时默认跑81帧。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
声音处理的话也简单,把人声提取出来然后编码。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
下面这个是循环次数统计,前面是得出来首次循环的最终帧数,符合4n+1策略,然后后面是计算循环的次数,如果最后一段小于40帧,就放弃,大于的就再跑一段。 这里得到循环次数了,就可以开始我们最终的循环了。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
循环之前其实是先跑第一段,用来测试效果用,我这里是跑了81帧的,然后剩余的次数全部去跑循环。 这里把之前的参数都接进来,mode选一下Single_speaker,因为我们这里暂时还是跑单人的,双人的话就选two_speakers。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
然后第一段跑的就当做参数传入了for循环了,第二段开始,是把第一段跑的视频传入到previous_frames当做参数,继续跑后面的,这里就是能减少图像劣化的原因。 最后出的图再用图像组合批次拼接起来,再传入for循环,进行下一次的跑视频。 这里图片讲解可能有点难理解,大家可以看我B站教程视频,说的比较清晰一点。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
案例展示
我给大家跑了几个数字人对比了下,先从时间上看,这个9秒的视频,KJ版的跑了5分47秒,官版的才跑2分16秒。 牛逼~
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
另外一个38秒的,KJ版跑了19分钟,官版9分钟。又是减少一倍。
终于等到了!InfiniteTalk 官方版发布:长视频画质不再崩,速度直接翻倍
最关键的是视频质量明显好很多,跑长时间的视频劣化减少很多,太棒了,又快又好,谁不爱~大家自己看看投票~
|