抛砖引玉,个人关于图生视频的人物LORA方案的一点研究

自己的目标一直是想做点长视频,那肯定要选择图生视频+首尾帧.


然后脸部变形问题就来了,我之前的方案是首尾帧都保证脸正面对镜头.但是这样视频就会很呆板,而且中途也可能出现脸变形的问题.

然后一看wan的人物lora,清一色的文生视频.于是我照着文生视频的方法用I2V的练模型方法练了一波低噪lora.效果约等于没有.

于是就用了另外的方法试了一下,别说效果还凑合.就是高噪继续用I2V(包括smooth这种融合模型也没问题),反正高噪跑动作.

影响脸的其实只有低噪,然后低噪用T2V的模型就行,反正低噪模型也不知道哦啊预处理是用的I2V做的还是T2V做的.

测试方法就是用一张背对镜头的图片做初始帧,提示词转身面向镜头微笑.

实测基本只有我上面说的方案效果不错,当然也可能是我练的i2v的lora方法不对,但是同样的方法练的T2V效果就不错.然后I2V低噪大模型+我练的I2V的LORA或者我练的T2V的LORA效果都不行,T2V低噪+我练的I2V的LORA也不行,目前组合只有低噪T2V大模型+低噪T2V人物lora效果还行.


如果要跑特殊内容,高噪用smooth啊,remix啊,低噪可以选smooth的lora或者对应动作的lora就可以.

目前这个方案好像要比正常情况下的画质要差,如果用了特殊动作LORA会更差.有空我会继续研究一下.

居然不能传动图........没法放效果图了.大家有想法的可以一起交流一下.