作者:@AIwood爱屋研究室
LTX 2.3 3DREAL LoRA:三步实现白模动作转视频
一句话导读:这期视频演示用开源模型复现类似 Seedance2.0 白模转视频的玩法,核心思路是先准备白模动作视频和首帧图,再用 LTX 2.3 3DREAL LoRA 或参考视频流程生成最终视频。
核心内容:
1. 作者先说明目标:最近白模转视频效果很常见,但开源社区也能做出接近的玩法,而且操作可以压缩成三步。
2. 第一步是准备驱动视频。懂 3D 的用户可以用 Blender 或 3D Max 做一段简单的白模/角色动作视频;如果想快速获得人物动作参考,也可以用 Mesh2Motion 这类插件生成角色运动,并调整镜头运动。
3. 第二步是做首帧图。作者的做法是从驱动视频中截取第一帧,再结合 OpenPose 控制出图,得到人物或场景的首帧图片。对于场景,也可以用相关模型和提示词生成一张匹配画面的参考图。
4. 第三步是进入视频生成工作流。视频里重点使用 LTX 2.3 3DREAL LoRA,它的作用是把 3D/白模风格转换成更真实的视频效果;工作流则使用之前介绍过的 LTX 2.3 导演台 2.0 版本,因为它支持 IC LoRA 的视频加载。
5. 具体节点上,主输入上传首帧图,在 IC LoRA 视频位置上传白模动作视频,同时把 LoRA 触发词 3DREAL 放在提示词开头,再对场景做简单描述。作者提到该 LoRA 有 extra/strong 与 light 等版本,本次演示使用偏强力的版本。
6. 效果方面,作者认为场景复原表现不错,人物也能用,但 LTX 2.3 底模在人物转身、脸部像素不足时可能出现面部问题。视频里给出的缓解思路是叠加光追大脑多参 LoRA,可在一定程度上减少小脸崩塌。
7. 除了 LTX 2.3 3DREAL LoRA,作者还提到可以用类似 Veo/Bernie 参考视频加参考图的方式:把白模视频作为参考视频,把首帧图作为参考图,再写对应提示词,让参考图按参考视频动态生成视频。
适合人群:想用开源模型尝试白模转视频、3D 动作参考、图生视频工作流,或想评估 LTX 2.3 3DREAL LoRA 效果的用户。
相关夸克网盘链接:
【模型+工作流网盘地址:https://pan.quark.cn/s/f51f22e96915】
补充说明:本文根据授权视频音频转写整理;首屏评论还补充了 Mesh2Motion 插件地址:https://github.com/jtydhr88/ComfyUI-mesh2motion。 |