职业炼丹师的 LoRA 测试流程（附工作流）

作者：@天选嘉鲤敦赵图图



【作者】天选嘉鲤敦赵图图
【原视频】https://www.bilibili.com/video/BV1KzexzHEKW
【简介】LoRA 测试方法论：多存模型 + 结构化测试工作流，提高选到好模的概率。

【口播要点】
Hello 各位朋友们 大家好
其实我一直非常好奇
网上有很多的Laura训练教程以及相关内容
但是却很少有人仔细的分享过
关于Laura测试的相关内容
并且我接触过的很多朋友
他们一般处理这个问题
无非就是两个方案
方案一 根据Lost的情况
随机出几个模型
随机测试几组关键词
方案二 直接选取最后一个模型
如果没有过拟核的话就直接用
如果过拟核了就继续随机抽
直到选到合适的位置
这两个方案都存在一个共性的问题
就是你实际上无法通过这种方式
真正筛选出一批模型里最好的模型
也很难获得足够的信息
为后续的训练提供指导
本期视频我将手把手的教大家
如何较为科学的测试模型的质量
我建议大家每次训练的时候多保存一些模型
因为现在每次训练的时间都是比较长的
尤其是Flox的模型
单次的训练时间都在数小时以上
模型保存的数量越多
遇到好模型的概率就会更大一些
假如我们现在保存了若干个洛拉模型
那么如何进行筛选呢
今天我给大家介绍一个比较好的测试方法
希望能够给大家带来一些帮助
我们进入confer UI
打开这个专门用来测试的工作流
这里我们就以Flox模型为例子
其他的模型也是大同小异的
这里我们就用了xy的节点来进行对比
其中x轴是每个模型的权重
start这里我们可以填0.3
意思是我们权重从0.3开始
start这里我们填写1.2
意思是我们权重到1.2结束
0.1就是每次不进的数值
这里我们新训练的模型填进去
注意要提前将模型放置在正确的对应位置
也就是模型文件夹才能够实别
这里我建议可以将最前面的几个
比如第一个,第二个去除
从第三个开始测试,直至结束
这里看起来我这个模型好像是跳跃出现的
其实不然是因为我训练的时候
就是隔一个保存一次
所以数值才刚好是跳跃的
这个范围这里也需要调整一下
start填写0就是从第一个模型开始
这个不用调整
stop这里就是直到第几个模型结束
因为我们前面是从0开始的
我们这里放几个模型
这里就填几减1
比如我们这个粒子里
这里是11个模型
这里就应该填写10
文本编码器这里不要填写的太简单
因为我们要测试放画型
所以应该看看是不是有过擬盒
以及欠擬盒的问题
过擬盒和欠擬盒是一个过程
而且有时候在图片的某些地方
可能会过擬盒
可是有些地方又欠擬盒
所以我们要多写一些内容
便于测试
当然出发词和正确
使用模型定义一些必要内容是必须的
这里我们可以尽可能的搞得简单一些
否则在图片较多的情况下
出图的时间就可能会更长
关于底模这里
我们可以先选一个模型较为常用的底模
比如我们训练的是2次元模型
就选择2次元底模
配置完成后我们点击运行即可
可以看到运行完成之后
我们就会得到这样的一张图
横轴是每个模型的权重
从0.3到1.2
纵轴是不同模型切换
从图中我们可以看到
当权重开的比较大的时候
画面的表现力会受到一定程度的影响
细节的表现力就会减少
很多内容比如这个花的颜色
也会从5颜6色向白色过渡
这就是污染的一种表现
但是如果这个情况是有条件的
可控的那么问题就不是很大
我们这里可以以0.8为界限
可以看到即使是对于最后一个模型
当权重重开至0.80
仍然可以保持非常好的画面细节
人物的细节也还原得非常准确
比如这个裙子的颜色
这个小花朵等等
所以对于这个模型来说
我们就可以直接选择最后一个模型
为最佳模型
其实这个结果还给我们带来一个启示
那就是实际上这个模型还是有训练空间的
可以再多训练一会
因为即使是最后一个模型
仍然画面细节保存完好
没有明显的大面积污染或过擬盒
这就是测试带来的好处
可以知道我们更好的训练模型
并增加我们的训练经验
有时候我们可能想去找到
相对过擬盒或相对擬盒的零界点
这时候绝大部分无关元素都没有受到污染
并主体保持得非常完美
这或许就是我们想要的模型
因为这个动漫人物衣服的细节是比较多的
我们希望可以完美的还原人物
此时我们就应该采用这样的原则来筛选模型
但是当主体的细节不多
且对污染控制较为严格的时候
我们可以去找那个刚好还原训练对象的零界点
这时候既可以较好的实现Laura的内容
又对画面其他的内容污染较少
这种情况更多的出现在我们要训练简单的元素
比如某个图标等
这个测试做完之后
我们还需要进行另外一个测试
就是测试在不同底模条件下的模型表现
但是由于现在不同底模的最佳建议参数
都不太相同
这里建议选择一些和模型本身比较匹配
且较为常用的底模来进行测试
效果最佳
这个专门用来测试的工作流
我已经上传到了海外版的Running Hub
海外版的Running Hub刚建立
现在活动也比较多
而且能限制比较少
因为我可能会把所有的模型和流都上传到这里
是白嫖工作流的不二之选
好了
今天的内容就分享到这里
如果您觉得我分享的内容对您有帮助
那么也希望您给一个小心心
来支持一下我的工作
我也会继续努力给大家制作出更加精良的作品
我们下期再见

【备注】训练后测试教程。