简体中文 English 日本語 Русский язык 한어

4

主题

0

回帖

2599

修为

创始合伙人

积分
4939


作者:@AIwood爱屋研究室

Code Video白模视频与参考生成工作流原视频封面

Code Video白模视频与参考生成工作流原视频封面


一句话导读:AIwood演示把Code Video的白模动画生成接入ComfyUI,先用本地模型或API生成运动参考,再交给Selflift/H3参考生视频工作流处理。重点是动作、镜头和空间关系的传递,而不是让低多边形外观原样进入成片。

一、白模视频负责什么
白模动画先表达物体的运动路径、镜头变化和相互位置,再作为视频生成的参考。作者将Code Video的前段功能做成ComfyUI节点,让生成参考动画这一步可以留在同一套工作流里,减少与其他三维软件来回切换的操作。

二、本地模型:先写动作,再检查输出参数
在节点的提示词区域描述希望出现的动作,再选择本地语言模型。视频演示使用Qwen3.8的27B GGUF版本;界面还提供视觉模型,用于额外检查,作者表示自己的常用流程一般不启用这一项。
输出参数包括宽高、帧率、时长和种子。演示中时长从工作流已有的时长输入接入,便于让白模片段与后续处理保持一致。画面里的720×480、24帧只是这次演示配置,不应当作所有场景必须使用的固定参数。
本地运行还要考虑模型与上下文占用。作者提醒相关设置会消耗较多显存,并认为这次本地模型的生成效果一般;不要把“能本地运行”理解为没有显存成本,也不要直接套用他机器上的上限。

三、API模式:更换后端,不改任务目的
节点可以在本地与API后端之间选择。使用API时,需要配置服务地址、模型名称和自己的API凭据,再调用对应模型生成参考动画。凭据应留在自己的配置中,不要粘贴到帖子、截图或公开工作流里。
作者在本次测试中认为部分API模型的效果优于所用本地模型。这属于他的具体测试体验,并不代表所有模型、提示词或硬件环境都会得到同样排序。

四、接入Selflift/H3:写清“保留什么、替换什么”
白模输出接入参考生视频的Selflift二采工作流后,提示词需要明确两组要求:
1. 保留运动路径、相机运动、构图变化、物体相对位置、遮挡关系与动作时序。
2. 将低多边形物体替换为细节完整的目标物体,让材质、纹理、色彩和光照按目标风格生成,并明确不保留参考片的简化几何体及低多边形外观。
作者解释,如果只要求渲染而不说明替换关系,参考片里的低模特征或元素可能仍出现在最终视频中。这也是本期比“生成一个白模”更重要的操作提醒。

五、效果边界与使用方式
作者提醒H3对参考视频的编辑和遵从仍有限制,这套方法不是完美复刻运动的保证。白模视频也可以用作Seedance等支持参考视频的模型输入,实际效果仍需逐段检查。视频结尾说明节点已经提供RunningHub入口,也可以在本地安装;本期重点是节点与工作流用法,并没有逐步展开完整安装排错流程。

适合人群:希望在ComfyUI里先规划动作与镜头,再用参考视频生成成片的创作者。

项目页:ComfyUI-CodeVideo-ThreeJS

相关夸克网盘链接:
【工作流以及Qwen3.8 LLM模型:https://pan.quark.cn/s/3354bd778698】
作者简介说明:工作流位于工作流文件夹,Qwen3.8 GGUF模型位于模型部分的LLM目录。具体文件和版本以资源页实际内容为准。

补充说明:本文依据原视频官方可见字幕与演示画面整理,关键术语结合界面核对;并非下载音频后的ASR转写。字幕可能存在识别误差,建议结合原视频查看接线细节,仅使用自己有权处理的素材。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

简体中文
繁體中文
English(英语)
日本語(日语)
Deutsch(德语)
Русский язык(俄语)
بالعربية(阿拉伯语)
Türkçe(土耳其语)
Português(葡萄牙语)
ภาษาไทย(泰国语)
한어(朝鲜语/韩语)
Français(法语)
QQ网站导航Archiver手机版小黑屋粤ICP备2026002389号-1粤ICP备2026002389号-1 简体中文 English 日本語 Русский язык 한어