3G 显存也能训？Anima 风格 LoRA 训练小技巧

作者：@天选嘉鲤敦赵图图

3G 显存也能训？Anima 风格 LoRA 训练小技巧

【作者】天选嘉鲤敦赵图图
【原视频】https://www.bilibili.com/video/BV1GPEx63E6K
【简介】低显存（约 3G）条件下的 LoRA 训练思路：先对齐模型偏好的打标方式，再谈学习率/分辨率；以 Anima 风格为例讲可迁移方法。

【口播要点】
很多人训练Laura模型
最大的问题不是参数没调对
而是一开始就把方向打错了
如果打标方式错了
素材质量不好
后面也再怎么调学习率
调分辨率
效果都会很别扭
今天我系统地讲一下
怎么训练一个高质量的Laura模型
这个方法不只适用于anime
也适用于大部分Laura模型训练
首先在你想清楚训练目标
和训练内容以后
第一步就是打标
假设我们今天训练的是一个风格列模型
关于anime的Laura模型打标方式
现在有很多不同的说法
我也经常看到群里有人讨论
到底应该用短辞组还是自然语言
到底应该标的细一点还是粗一点
anime是一个比较新的模型
对于新模型
我们不可能一上来
就完全没清它的强项和弱项
所以最稳的方法
就是反过来观察它已经成功的案例
首先我们打开C站
在图片区设选anime出图
然后从高质量图片开始往下看
如果这些优质图片在出图时
大多数用的是磁组短运模式
那我们打标时也优先用磁组短运模式
如果他们大多数用的是自然语言模式
那我们打标时也尽量贴近自然语言模式
这一步不是为了超提式子
而是为了判断这个模型
更是哪一种表达方式
看图的时候
还有一个很重要的动作
把一些相对特殊
有技巧型的图片保存下来
比如背影 两视角 大场景 彩头构图
或者一些结构比较极端的图
这些图后面不是拿来训练的
而是拿来测试模型的方法能力
所谓过拟盒
不是训练结束那一刻突然出现的结果
它通常是一个逐步发生的过程
比如一开始模型还能稳定出背影
两视角 大场景 彩头构图
但训练到后面
这些结构开始失控了
本来应该背对镜头的人变成正对镜头
本来应该没有头的构图
又把头画了出来
这个时候就要剪剔
模型可能已经开始牺牲放画能力了
所以我一般会把这些参考图的截图保存下来
最好连它用到的Laura正向提示词
反向提示词一起接下来
后面可以把这些截图交给智能体
让它帮你整理测试样图和提示词清单
同时看图时还要注意提示词长度
如果你看到高质量图片的提示词普遍很长 很细
那你打的标也可以适当细一些
如果它们的提示词普遍很短
那你打标也不需要写得特别复杂
还有英文表达也要注意
很多词看起来意思差不多
但在模型里全众和习惯并不一样
比如Girl和Women都可以指女性
但很多二岁人出组里
OneGirl的使用频率明显更高
如果你看到大家都在用某个固定词组或短句
那你打标时也应该尽量贴近这种表达习惯
当我们看了足够多的图以后
基本你就可以对这个模型的标注方式
标注长度以及标注细节有一个出户的判断
下一步 打开模型作者页面
认真看作者对提示词和打标方式的说明
作者明确写出来的要求一定要优先参考
因为作者最清楚这个模型是怎么训练出来的
也最清楚它适合什么样的提示词
至于作者没提到的部分
通常说明它不是最关键的辩量
我们也不需要自己脑补太多
完成这两步以后
再打开图图的超级智能打标器
打标工具有很多
但在这个场景里
我认为图图的打标器很关键
因为它可以做主体过滤
如果训练的话的时候没有做主体过滤
基本上可以越等于没有打标
至于什么是主体过滤
大家可以看我的制定视频
这里我们不展开描述
我们把风格图片导入进去
智能标注选择风格
然后开始打标
因为我这里已经打过了
就不实际操作了
打标完成以后
可以先把标签翻译出来
这样更方便对照检查
接下来不要着急导出
要逐张看
如果你用的是默认模式
基本上不会有错误
就可以直接用了
如果你使用的是高级模式
那么就先把明显的错误
重复以及无关的标签删掉
然后再逐一经修
该删的删
该改的改
该补的补
修改完成以后
要加一个出发词
这个出发词
建议放在最前面
而且一定要尽量
没有明确含义
怎么判断出发词
有没有污染
很简单
实际测试
用同一组提示词
出一张图
再加上这个出发词
出一张图
如果两张图
除了随机差异以外
整体变化不大
说明这个出发词
本身没有太强的印射
但如果加上出发词以后
画面变化非常明显
那就要考虑
换一个出发词
这个步骤
建议一定要实测
可以减少出发词
本身对模型的污染
还有一点
刚才忘了说
因为我们开了
主体过滤
打完标以后
也要检查过滤效果
有些训练
需要过滤的非常细
有些训练颗粒度
不用那么高
这个要根据
实际目标来定
像这种风格模型
我会过滤的细一点
所以打标时
主体过滤
可以开到0.9
打标和修改都完成以后
就可以导出了
导出后
打开涂涂的
超级智能训练器
坦诚的说
以往我适配模型时
会做很多优化
但这次
Animum模型
我基本采用的是
官方推荐的训练方案
所以
和其他训练器的
训练效果
差异不会特别大
后面如果有时间
我可能会再更新一版
给Animum加入
吐吐时间步相关适配
这个东西需要专门测算
做好以后
对训练效果会有提升
我的训练器是免费的
大家直接下载使用就可以
把刚才的训练器
导入进去
选择自动模式
开始训练就行
如果你想自己调参数
可以参考训练器
自动配置里的参数
这里简单说几个重点
第一
如果你的电脑配置比较好
可以把分辨率适当的调高一点
分辨率对最终质量影响比较明显
第二
作者也提到
这个模型的学习率
要稍微低一点
可以使用逾旋退伙
让学习率逐渐下降
这样有两个好处
一是降低过你和风险
二是后期
可以继续细化模型
对于细节的学习
你的训练器
如果有这两个选项
建议打开
其他三说
不用过度神话
很多设置
工作是为了显存优化
或者兼容不同机器
只要还是Laura训练
整体架构产业
不会特别夸张
有些朋友会加噪声
这个我不否认有作用
但一定要循序渐进
不要一次加太多
还有人会问
政策训练
对于这种
相对简单的风格模型
我个人一般不建议
上来就加政策
有的时候
政策加得不合适
反而会把方向都跑遍
训练过程中
会最想强调的
不是Loss
不是样图
样图比Loss更直观
尤其是风格模型
我们除了要看Loss
有没有继续下降
更要看风格
有没有学进去
同时
结构控制
有没有被破坏
比如可以看到这个训练
从四千多步这里
开始的时候
图片就开始发生了
明显的分歧
后面都出现了一些
奇怪的问题
所以
四千多步这里
我们可能就要仔细的
对它进行测试
同时
也可以看到
它的风格
确实在发生
明显的变化
这是我们想要的结果
如果你想测试的
更准确一些
样图里
可以放一些特殊的测试图
也就是
我们刚才在机站
保存的那些参考图
这些提示词
本身比较复杂
边界条件也更强
如果训练过程中
风格已经融入了画面
但原来的构图
视角 人物结构
没有明显跑掉
这就是比较理想的状态
但如果你发现
本来应该背对镜头
结果总是转过来
本来应该是裁头构图
结果每次都把头补出来
反复出现这种情况
就可以考虑早听
训练完成以后
怎么测试模型
还是先用我之前讲过的
XYZ测试方法
先测出一个大概的范围
从里面挑出
两到三个相对比较好的模型
这个XYZ工作流
我之前在Running Hub
上发过
如果你本来就是在用
Running Hub
可以去找一下
基于那个工作流
稍微改一改
基本上就能用了
Running Hub
是我很常用的一个
工作流平台
上面有非常多的工作流
现在还上了一些
画布等功能
有兴趣的朋友
大家可以去尝试一下
下面
我们继续刚才的测试
现在
挑出两到三个
候选模型以后
下一步
要做一个很重要的测试
批量样图测试
简单说
就是把刚才整理出来的
反推提示词
批量放进去
只提换Laura模型
其他条件尽量
保持一致
这样
每一批图之间的差异
就更能说明
模型本身的效果
而不是提示词
或随机种子的影响
通过这种方式
我们就能在
比较强的
边界条件下判断
哪个模型风格
学得更准
哪个模型
结构更稳
哪个模型
放发更好
到这里
一个比较完整的
训练流程
就结束了
好了
本期内容就到这里
如果大家对Animation
练风格Laura
主题过滤
或者测试方法
还有不清楚的地方
欢迎大家和我
一起来交流讨论

【备注】方法论向教程，非单一参数抄作业。