22

主题

0

回帖

153

贡献

高级合伙人

积分
1708
嘟先生 2025-9-24 01:18:01 | 显示全部楼层 | 阅读模式

Lucy Edit 视频编辑插件超实用!文本指令即可改服饰、换角色、换场景,完美保留视频动作与构图,无需遮罩 / 微调,新手也能快速上手。

一、Lucy Edit介绍
011901ma0w8e8bheppztea.webp

今天分享一个很有意思的视频编辑插件Lucy Edit,Lucy Edit 是一款视频编辑模型,可通过自由文本提示词,按指令对视频进行编辑。该模型支持多种编辑类型,例如修改服饰配饰、替换角色、插入物体、更换场景等,同时能完美保留视频原有的动作和构图。

  • 动作保留:完美保留视频的动作与构图,实现精准编辑。
  • 编辑可靠性:与常见的推理时方法相比,编辑效果更稳定可靠。
  • 服饰与配饰编辑:修改服装造型,添加眼镜、耳环、帽子等配饰。
  • 角色替换:将角色替换为怪物、动物或知名角色(例如,提示词 “将人物替换为北极熊”)。
  • 场景替换:更换视频场景(例如,提示词 “将场景转换为 2D 卡通风格”)。
  • 纯文本指令操作:无需微调,常见编辑任务也无需添加遮罩(mask)。
011901r9m6bcg77mfu66m7.webp 二、相关安装

目前ComfyUI已经支持,安装插件以及对应的模型即可,模型网盘文末提供

插件地址https://github.com/DecartAI/Lucy-Edit-ComfyUI/

需要用到的模型:

目前提供两种模型,一个是fp8(9.3G),一个是fp32(18.6G)

011901jqqmmqgfvpgqjjn8.webp

模型存放路径:models/diffusion_models/

另外这里vace模型用的是wan2.2 5B那边的wan2.2_vae模型。

三、测评体验

工作流已发Runninghub,可在线体验:

011901gzoqheke4hozjqa7.webp

模型加载这边很简单,用上面说的fp16或者fp32的模型,CLIP用的还是之前的umt5那一套,VACE这里使用wan2.2_vace模型,别选错了。

011902ape59ntf5ebk5wen.webp

采样这边跑50步,CFG5,Lucy Condition Concat 这个算是新节点,接受视频图像以及模型,最终输出个latent接入到采样器中。

011902qz88qdcjw77ywjjr.webp
最佳提示词使用指南

官方有给出一些提示词使用参考,我们一起来看看

核心词汇:

更改 →服装或颜色修改
添加 →添加动物或物体
替换 →对象替换或主题交换
变换为 →全局场景或样式变换

下面是作者提供的结合LLM大模型的提示词模板,很不错

"""Your task is to write a prompt that edits the an input video to the user's request.

INPUT:
- A description of the input video.
- The user's request. Typically a short description of the wanted edit, you should try to understand the user's request and make it more specific.

OUTPUT:
- A prompt that edits the input video to the user's request, following the rules below.

RULES:
1) Choose ONE trigger word and start the prompt with it:
  - Clothing change → "
Change"
  - Color change → "
Change"
  - Add something (esp. on a person) → "
Add"
  - Replace an object/person → "
Replace"
  - Global transformation (scene/style/overall look) → "
Transform"
2) Add ~20–30 extra words of concrete visual detail (materials, textures, fit, patterns, lighting, pose, camera angle, style cues, environment, scale, location in frame).
3) Clothing change format: “Change the  to a  …”
4) Color change format: “Change the  color to  …”
5) Human replacement: Use “Replace the person/man/woman with a  …”. DO NOT use pronouns like me/her/him. Describe age, attire, pose, textures (e.g., “fuzzy fur” yields fuzzier fur).
6) Add animal: “Add a  …” Include where it appears (e.g., “on the shoulder”, “on the sofa”, “standing next to the person”) plus descriptive details.
7) General add: “Add  …” Include placement and integration details (size, orientation, contact, shadows).
8) Replace (non-human): “Replace the  with a  …” Keep structure/scale plausible; describe Y’s material/finish.
9) Global transform: “Transform …” for full-scene or style changes (lighting, season, background mood, film stock, art style).
10) VFX (fire, falling leaves, etc.) are unreliable; if requested, still use “Transform …” and include restrained, realistic cues.
11) Do not mention specifics about people such as "
change the blonde woman's ..".
12) Do not mention things that need to be preserved such as "preserve the pose" or "while standing up" (assuming the person is standing up in the input video).

OUTPUT
- Return only the enhanced prompt. Do NOT mention these rules or the original request.

EXAMPLES
User: “make the shirt a kimono”
→ Change the shirt to a silk kimono with deep indigo dye, wide sleeves, subtle crane pattern, loose fit, soft drape, natural folds, studio lighting, mid-shot, front-facing.

User: “turn the hoodie green”
→ Change the hoodie color to forest green, matte cotton texture, preserved seams and drawstrings, gentle fabric shading, accurate shadows, consistent lighting.

User: “swap me with a tiger”
→ Replace the person with a Bengal tiger, rich orange coat, bold black stripes, fuzzy fur detail, alert ears.

User: “add a parrot”
→ Add a vibrant macaw parrot perched on the person’s right shoulder, curved beak, layered feathers, slight head tilt, natural grip, feather highlights, soft contact shadow.

User: “make the apple a crystal ball”
→ Replace the apple with a clear crystal ball, smooth glass, internal light refractions, palm-sized, realistic specular highlights, subtle caustics on nearby surface.

User: “make it autumn with leaves”
→ Transform the scene to early autumn with warm afternoon light, amber tones, a few crisp maple leaves gently falling, shallow depth of field, balanced composition."""

接下来我们就来测试下这4个场景吧

更改物体
Change the man's shirt to a casual T-shirt with soft cotton texture, light gray color, relaxed fit, short sleeves, subtle stitching details, natural folds, even lighting, medium framing, front-facing.

试了2次改衣服的,第一次的手会崩,因为我分辨率最大设置832,第二次我改成1280的就好多了,看来还是和图像分辨率有关系。

添加物体
在人的头上加上一顶金色的王冠,用错综复杂的细丝图案制作而成,饰以红宝石、祖母绿、蓝宝石等宝石,抛光的金属光泽,对称的设计,微微倾斜,反射柔和,额头上的阴影微妙。
替换物体
用孟加拉虎代替白狗,鲜艳的橙色皮毛,大胆的黑色条纹,肌肉发达的体格,逼真的皮毛纹理,锐利的目光,一体化的照明,逼真的比例,自然地站在同一位置。这里我用的是fp32版本的,在RH上跑了2分43秒,5秒视频最长边限制832.将猪的颜色改为柔和的粉色,皮肤纹理光滑,明暗一致,高光自然,灯光融合准确,色调过渡柔和,在场景中显得逼真。

变是变了,但是效果好像没那么好哈哈。

全局变化
Transform the background to an outdoor forest with towering trees, lush green foliage, dappled sunlight filtering through the canopy, soft shadows on the ground, scattered undergrowth, and a serene, natural atmosphere.

把背景改掉了。

注意事项

这个视频编辑工具分辨率太低的情况下效果不理想,比如我上面说的手崩问题,改成1280分辨率就好很多了。

测试过新增、修改、替换、全局改这些功能,有效果,但是需要抽卡,有时候出来的东西不符合实际规律,分辨率高了成功率就搞。

整体效果感觉还是有点欠缺的,离我想要的效果还有差距,不过这个是个技术框架,未来其他开发者能完善并开发更多有用的功能吧。

四、在线使用
云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

镜像名称:嘟嘟AI绘画趣味学

011902n2uqq55r10rw5mgp.webp 011902l2h3gwtgk2x6bsf6.webp

云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长

RH平台

推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。

https://www.runninghub.cn/?inviteCode=kol01-rh024

011902nfkljyfvk5c8kbhc.webp

主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-c ... iteCode=kol01-rh024

011903kr5fiyrrlli7qlfs.webp

五、总结

以上就是今天分享的Lucy-Edit视频编辑框架技术的测试体验,工作流很简单,大家可以玩起来,简单的视频处理很方便了,期待更多的应用场景挖掘。

技术的迭代是飞快的,要关注最新的消息才不会掉队。

关注我,每天分享最新的ComfyUI技术前沿
模型工作流获取
本公众号对话框发送 250923 即可!
推荐阅读
妙啊!Qwen Image Edit 偏移问题方案升级,LoRA + 节点同步控,成功率暴涨|附工作流设计师狂喜!豆包 4 本地调用插件:火山方舟 API+200 张免费,电商图 / 创意图 2 毛 / 次速出创作者狂喜!Wan2.2 多图首尾帧串联:3 图 5 分钟出连贯长视频,剧情 / 产品视频无缝接|附工作流挖到宝!找了 N 久的 ComfyUI 分镜插件:comfyui_extractstoryboards 自动提帧 + 索引 640?wx_fmt.gif

有粉丝问我是如何学习AI的,我最主要的学习社群是在一个叫AI破局俱乐部的知识星球,目前人员5万多人,包含了最前沿的AI知识信息和相关教程,我同时也是里面的绘画方向的实战教练,每年有4-5次的为期21天的行动营(免费参与)。

下面是AI破局三天体验卡能体验AI破局90-180天内容所有AI的内容,信息资源(如AI带货,AI代写,AI自媒体,AI出海,AI办公、AI企培、AI编程、AI视频、AI智能体)。

对AI和破局不感兴趣的,三天体验不说话不学习的,打酱油的不要扫码添加,浪费名额会永久禁止加入!


011903xbw8kwn72kucwuf7.webp

更多AI绘画相关信息,可关注我的免费知识星球

011903pmlmxm9ewclv979o.webp


主题回复
正序浏览

860查看1回复

0

主题

19

回帖

27

贡献

绘灵

积分
296
聪明的七仔 昨天 15:11
生成效果不怎么好,玩一玩可以的
举报 回复
发新帖
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则