|
Qwen Image Edit模型的偏移问题之前一直存在,最近有大佬分享了一个解决方案,可以大大提高成功概率,实测挺不错。 一、Qwen Image Edit偏移问题说明今天来分享下Qwen Image Edit这个模型的偏移问题,我们以前就提到过这个编辑模型遗留的一个问题,就是改图的时候会经常出现偏移很严重的现象,如下图这样
之前一直没有很好的解决方案,最近呢,有大佬(小志)对这块做出了研究,并给出了一个验证方案,我测试了下,发现确实能提高成功率,今天来分享给大家,有福同享~
二、相关安装这个案例是需要用到一个lora模型,权重推荐 0.45-0.5 模型地址:https://civitai.com/models/1939453/qwenedit-consistance-edit-lora
文末我也会提供网盘下载
三、测试体验工作流已发RunningHub:
这套方案作者是给出了一个lora,来提高一致性,然后不用我们之前默认的Text Encode Qwen Image Edit这个节点,而是改成类似Kontext的方案,通过接入ReferenceLatent来实现图像的信息参考,看我下图红圈的地方就懂了。按作者的意思,一致性不行是Text Encode Qwen Image Edit图像参考这块影响比较大,所以去掉这个改成Kontext的参考方案。 那我就搭建了1个工作流,里面包含4种情况,大家具体看工作流。
先说结论吧: - 用这套方案是可以提高一致性,但是也有抽卡率
- 提示词遵从度变低了,会出现完全不修改的情况
案例展示
注意事项
我就测试了4组,里面有几次会出现完全不修改的情况,但是一旦成功,确实可以保持其他地方不变,就调整了要修改的地方。 lora权重默认0.48,可以自己调整,如果发现没效果,可以加大权重。 目前这个lora模型原作者本来是作为高清放大用的,但是后来转过来测试这个一致性的方向,所以数据集并不多,当做一种验证的方案,那实际测试下来,是有效果的,希望后期大佬继续努力,提高成功率。 四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。 目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。 镜像名称:嘟嘟AI绘画趣味学
云平台镜像地址: https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY 新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。 RH平台
推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。 https://www.runninghub.cn/?inviteCode=kol01-rh024
主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-c ... iteCode=kol01-rh024
五、总结以上就是对Qwen Image Edit模型偏移问题的一种解决方案,有一定效果,大家可以也来测试看看。 技术的迭代是飞快的,要关注最新的消息才不会掉队。 关注我,每天分享最新的ComfyUI技术前沿 模型工作流获取本公众号对话框发送 250909 即可! 推荐阅读
Qwen-Image加速大升级!3G显存就能跑得飞起,Nunchaku V1正式发布!比IndexTTS强太多?ComfyUI最值得玩的开源语音克隆框架→MegaTTS3!【开源福利】音视频配音困境被打破!混元Foley让无声视频秒变震撼大片[ComfyUI]字节新框架USO来了!碾压IPAdapter,风格与主体双修的终极神
有粉丝问我是如何学习AI的,我最主要的学习社群是在一个叫AI破局俱乐部的知识星球,目前人员5万多人,包含了最前沿的AI知识信息和相关教程,我同时也是里面的绘画方向的实战教练,每年有4-5次的为期21天的行动营(免费参与)。 下面是AI破局三天体验卡能体验AI破局90-180天内容所有AI的内容,信息资源(如AI带货,AI代写,AI自媒体,AI出海,AI办公、AI企培、AI编程、AI视频、AI智能体)。 对AI和破局不感兴趣的,三天体验不说话不学习的,打酱油的不要扫码添加,浪费名额会永久禁止加入!
更多AI绘画相关信息,可关注我的免费知识星球
PS:因公众号平台更改了推送规则,如果不想错过内容,记得读完点一下 “在看”,加个 “星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。 点“在看”支持我呀,谢谢啦! [ComfyUI]字节新框架USO来了!」碾压IPAdapter,风格与主体双修的终极神器
|