|
字节 9 月开源 OneReward 炸场!FLUX.1-Fill-dev-OneReward 超闭源 Pro,填充 / 扩展 / 移除可用率 82%+,VLM 动态评判 + 免微调,附开源链接破解修图难题。 一、OneReward介绍最近字节开源了一个模型OneReward,这个其实是有2个模型,一个是Seedream 3.0 Fill,这个是闭源的,也就是字节自己家的,现在不是出了4.0版本了所以把3.0的给开源了,但是出于开源的考虑,他们不是直接开源Seedream,而是基于Flux版本,开源了一个FLUX.1-Fill-dev-OneReward,它在修复和修复任务中的性能优于闭源 FLUX Fill [Pro],。 听上去有点绕是吧哈哈,但是一句话就是效果比FLUX Fill更好用的开源模型,适用于如下几种场景: - 图像填充(Image Fill)
- 物体移除(Object Removal)
- 图像扩展(Image Extend)
核心创新
统一奖励模型:使用 视觉语言模型(VLM) 作为通用奖励模型,通过输入任务类型和评价维度(如美观性、结构一致性),VLM可动态判断生成结果的优劣,解决多任务多维度偏好冲突问题。 免任务微调:基于预训练基础模型(Seedream 3.0),直接通过强化学习优化策略模型, 无需任务特定监督微调(SFT)。 强化学习机制:以预训练模型为参考,优化策略模型生成结果在各项任务指标上超越参考模型。奖励信号来自VLM生成"Yes"的概率,通过梯度回传更新模型。
项目地址:https://one-reward.github.io
二、相关安装目前ComfyUI官方还没对这块做支持,模型的话亦诚大佬自己量化了好几个版本,BF16、FP16、FP8,越大效果越好,大家可以前往下载: https://huggingface.co/ggoway/flux.1-fill-dev-OneReward/tree/main
我网盘也给大家提供了,目前就fp8上传了,bf16我还在下载,后面也同步上传。
三、测评体验3.1 图像填充
工作流和Fill那套基本一致,通过涂抹遮罩,然后接入到内补模型条件,最后接入采样器去跑图。 直接看案例吧 下面这3个是直接涂抹一半区域,不写提示词的情况下去跑图
可以看出来效果,OneReward效果好很多,特别是最后这种区域很大的重绘,原本的Fill就会有问题,OneReWard则效果不会崩。
3.2 移除物体
移除这里需要搭配一个大佬的lora,效果才能达到最好,搭配的lora地址:https://civitai.com/models/1121321/object-removal-flux-fill-v2 提示词只要简单的写: remove object
在擦除效果这方面,也是OneReward效果更好一些。 3.3 扩图
这里的话,和上面类似,只是多一个外补画板节点,把你想要扩充的方向以及像素设置下即可,提示词可以不写,也可以写,我这里暂时不写,默认情况扩图效果就不错。
测了几组下来,也是OneReward的效果更好,果然不错,妙啊。 阶段总结
可以看出来,OneReward的效果确实会比我们之前用的Fill dev模型更好一些,那这样就很棒了,以前基于Fill的工作流都可以更新了,特别是万物迁移那一套的。 四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。 目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。 镜像名称:嘟嘟AI绘画趣味学
云平台镜像地址: https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY 新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。 RH平台
推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。 https://www.runninghub.cn/?inviteCode=kol01-rh024
主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-c ... iteCode=kol01-rh024
五、总结以上就是OneReward这个更好用的Fill模型的测评体验了,效果确实好很多,建议大家直接下载替换使用,大家用了都说好。 技术的迭代是飞快的,要关注最新的消息才不会掉队。 关注我,每天分享最新的ComfyUI技术前沿 模型工作流获取本公众号对话框发送 250911 即可! 推荐阅读
王炸开源!IndexTTS2 语音克隆封神:30 秒克隆 97% 相似度声音,3 种情感操控|附安装地狱破解教程Qwen Image Edit偏移问题有重大进展,大佬分享解决方案新思路Qwen-Image加速大升级!3G显存就能跑得飞起,Nunchaku V1正式发布!比IndexTTS强太多?ComfyUI最值得玩的开源语音克隆框架→MegaTTS3!【开源福利】音视频配音困境被打破!混元Foley让无声视频秒变震撼大片[ComfyUI]字节新框架USO来了!碾压IPAdapter,风格与主体双修的终极神
有粉丝问我是如何学习AI的,我最主要的学习社群是在一个叫AI破局俱乐部的知识星球,目前人员5万多人,包含了最前沿的AI知识信息和相关教程,我同时也是里面的绘画方向的实战教练,每年有4-5次的为期21天的行动营(免费参与)。 下面是AI破局三天体验卡能体验AI破局90-180天内容所有AI的内容,信息资源(如AI带货,AI代写,AI自媒体,AI出海,AI办公、AI企培、AI编程、AI视频、AI智能体)。 对AI和破局不感兴趣的,三天体验不说话不学习的,打酱油的不要扫码添加,浪费名额会永久禁止加入!
更多AI绘画相关信息,可关注我的免费知识星球
PS:因公众号平台更改了推送规则,如果不想错过内容,记得读完点一下 “在看”,加个 “星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。 点“在看”支持我呀,谢谢啦! [ComfyUI]字节新框架USO来了!」碾压IPAdapter,风格与主体双修的终极神器 |