简体中文 English 日本語 Русский язык 한어

13

主题

0

回帖

1508

修为

执行合伙人

积分
3025

曼加塔第一期曼加塔第二期



作者:@AIwood爱屋研究室

LTX 2.3 3DREAL LoRA:三步实现白模动作转视频

LTX 2.3 3DREAL LoRA:三步实现白模动作转视频


一句话导读:这期视频演示用开源模型复现类似 Seedance2.0 白模转视频的玩法,核心思路是先准备白模动作视频和首帧图,再用 LTX 2.3 3DREAL LoRA 或参考视频流程生成最终视频。

核心内容:
1. 作者先说明目标:最近白模转视频效果很常见,但开源社区也能做出接近的玩法,而且操作可以压缩成三步。
2. 第一步是准备驱动视频。懂 3D 的用户可以用 Blender 或 3D Max 做一段简单的白模/角色动作视频;如果想快速获得人物动作参考,也可以用 Mesh2Motion 这类插件生成角色运动,并调整镜头运动。
3. 第二步是做首帧图。作者的做法是从驱动视频中截取第一帧,再结合 OpenPose 控制出图,得到人物或场景的首帧图片。对于场景,也可以用相关模型和提示词生成一张匹配画面的参考图。
4. 第三步是进入视频生成工作流。视频里重点使用 LTX 2.3 3DREAL LoRA,它的作用是把 3D/白模风格转换成更真实的视频效果;工作流则使用之前介绍过的 LTX 2.3 导演台 2.0 版本,因为它支持 IC LoRA 的视频加载。
5. 具体节点上,主输入上传首帧图,在 IC LoRA 视频位置上传白模动作视频,同时把 LoRA 触发词 3DREAL 放在提示词开头,再对场景做简单描述。作者提到该 LoRA 有 extra/strong 与 light 等版本,本次演示使用偏强力的版本。
6. 效果方面,作者认为场景复原表现不错,人物也能用,但 LTX 2.3 底模在人物转身、脸部像素不足时可能出现面部问题。视频里给出的缓解思路是叠加光追大脑多参 LoRA,可在一定程度上减少小脸崩塌。
7. 除了 LTX 2.3 3DREAL LoRA,作者还提到可以用类似 Veo/Bernie 参考视频加参考图的方式:把白模视频作为参考视频,把首帧图作为参考图,再写对应提示词,让参考图按参考视频动态生成视频。

适合人群:想用开源模型尝试白模转视频、3D 动作参考、图生视频工作流,或想评估 LTX 2.3 3DREAL LoRA 效果的用户。

相关夸克网盘链接:
【模型+工作流网盘地址:https://pan.quark.cn/s/f51f22e96915

补充说明:本文根据授权视频音频转写整理;首屏评论还补充了 Mesh2Motion 插件地址:https://github.com/jtydhr88/ComfyUI-mesh2motion
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

简体中文
繁體中文
English(英语)
日本語(日语)
Deutsch(德语)
Русский язык(俄语)
بالعربية(阿拉伯语)
Türkçe(土耳其语)
Português(葡萄牙语)
ภาษาไทย(泰国语)
한어(朝鲜语/韩语)
Français(法语)
QQArchiver手机版小黑屋粤ICP备2026002389号-1粤ICP备2026002389号-1 简体中文 English 日本語 Русский язык 한어 |网站地图