作者:@AIwood爱屋研究室
Bernini-R S2V:原生音频驱动、口型同步与视频延长工作流
一句话导读:这期视频介绍 Bernini-R S2V,让原本只能做参考视频生成的 Bernini 系列具备音频驱动说话、口型同步和视频改口型能力,整体更接近数字人工作流。
核心内容:
1. 作者先回顾 Bernini 的优势:参考效果和多图参考效果不错,但此前没有原生音效和说话能力。过去可以借助 LTX-2.3 重新配音,但容易带来重绘,导致角色变化或小脸效果不稳定。
2. 本次重点是 Bernini-R S2V。视频中提到它支持 T2V、I2V 参考生视频,以及视频改口型;资源页提供 FP8、Int8、FP16 三个版本,并附带工作流。
3. 使用前需要安装 ComfyUI-WanBerniniS2V 插件。作者演示的安装方式是在 ComfyUI 的 custom_nodes 目录中新建对应文件夹,把插件文件放进去;该插件本身不需要额外依赖。
4. 工作流核心是 Bernini S2V conditioning 节点,把音频接入到视频生成流程中。参考生视频流程里,用户上传角色图、加载主模型、UMT5、官方 VAE、4步 LoRA、英文 V2S2 模型,并输入人物描述和驱动音频。
5. 作者提醒,双角色对话目前效果不好:即使用提示词控制时间,后面也可能出现两个人同时说话或说话时间不准,因此更建议先做单角色音频驱动。
6. 视频改口型流程则上传原视频和驱动音频,在提示词中描述视频中的男人说话即可。作者观察到,当音频时长对应帧数高于原视频帧数时,Bernini 会自动延长原视频,但视频末尾延续效果仍偏实验性,不算完全成熟。
7. 帧率上,作者建议按工作流先以 16fps 获得较稳的 Bernini 表现,再通过插帧节点转到 24fps。直接跑 24fps 可能导致口型对不上,这是本条工作流的关键注意点。
适合人群:正在做数字人、Talking Head、口型同步、视频改口型,或者想把 Bernini 参考生视频能力接入音频驱动流程的 ComfyUI 用户。
补充说明:本文根据授权视频的音频转写整理。模型、工作流和节点资源仍可能处于上传或更新中,实际可用性以作者网盘、Hugging Face 页面和后续 RunningHub 工作流为准。
相关夸克网盘链接:
【模型+工作流+节点网盘地址(部分模型上传ing):https://pan.quark.cn/s/510e80562855】 |