本帖最后由 疯狼GC 于 2026-10-29 08:06 编辑
Lucy Edit 视频编辑插件超实用!文本指令即可改服饰、换角色、换场景,尽量保留视频动作与构图,无需遮罩 / 微调,新手也能快速上手。 一、Lucy Edit介绍
Lucy Edit 配图01
今天分享一个很有意思的视频编辑插件Lucy Edit,Lucy Edit 是一款视频编辑模型,可通过自由文本提示词,按指令对视频进行编辑。该模型支持多种编辑类型,例如修改服饰配饰、替换角色、插入物体、更换场景等,同时尽量保留视频原有的动作和构图。 - 动作保留:尽量保留视频的动作与构图,实现精准编辑。
- 编辑可靠性:与常见的推理时方法相比,编辑效果更稳定可靠。
- 服饰与配饰编辑:修改服装造型,添加眼镜、耳环、帽子等配饰。
- 角色替换:将角色替换为怪物、动物或知名角色(例如,提示词 “将人物替换为北极熊”)。
- 场景替换:更换视频场景(例如,提示词 “将场景转换为 2D 卡通风格”)。
- 纯文本指令操作:无需微调,常见编辑任务也无需添加遮罩(mask)。
Lucy Edit 配图02
二、相关安装目前ComfyUI已经支持,安装插件以及对应的模型即可,模型网盘文末提供 插件地址:https://github.com/DecartAI/Lucy-Edit-ComfyUI/ 需要用到的模型: 目前提供两种模型,一个是fp16(9.3G),一个是fp32(18.6G)
Lucy Edit 配图03
模型存放路径:models/diffusion_models/ 另外这里VAE模型用的是wan2.2 5B那边的wan2.2_vae模型。 三、测评体验工作流已发Runninghub,可在线体验:
Lucy Edit 配图04
模型加载这边很简单,用上面说的fp16或者fp32的模型,CLIP用的还是之前的umt5那一套,VAE这里使用wan2.2_vae模型,别选错了。
Lucy Edit 配图05
采样这边跑50步,CFG5,Lucy Condition Concat 这个算是新节点,接受视频图像以及模型,最终输出个latent接入到采样器中。
Lucy Edit 配图06
最佳提示词使用指南
官方有给出一些提示词使用参考,我们一起来看看 核心词汇: 更改 →服装或颜色修改
添加 →添加动物或物体
替换 →对象替换或主题交换
变换为 →全局场景或样式变换
下面是作者提供的结合LLM大模型的提示词模板,很不错 """Your task is to write a prompt that edits the an input video to the user's request.
INPUT:
- A description of the input video.
- The user's request. Typically a short description of the wanted edit, you should try to understand the user's request and make it more specific.
OUTPUT:
- A prompt that edits the input video to the user's request, following the rules below.
RULES:
1) Choose ONE trigger word and start the prompt with it:
- Clothing change → "Change"
- Color change → "Change"
- Add something (esp. on a person) → "Add"
- Replace an object/person → "Replace"
- Global transformation (scene/style/overall look) → "Transform"
2) Add ~20–30 extra words of concrete visual detail (materials, textures, fit, patterns, lighting, pose, camera angle, style cues, environment, scale, location in frame).
3) Clothing change format: “Change the to a …”
4) Color change format: “Change the color to …”
5) Human replacement: Use “Replace the person/man/woman with a …”. DO NOT use pronouns like me/her/him. Describe age, attire, pose, textures (e.g., “fuzzy fur” yields fuzzier fur).
6) Add animal: “Add a …” Include where it appears (e.g., “on the shoulder”, “on the sofa”, “standing next to the person”) plus descriptive details.
7) General add: “Add …” Include placement and integration details (size, orientation, contact, shadows).
8) Replace (non-human): “Replace the with a …” Keep structure/scale plausible; describe Y’s material/finish.
9) Global transform: “Transform …” for full-scene or style changes (lighting, season, background mood, film stock, art style).
10) VFX (fire, falling leaves, etc.) are unreliable; if requested, still use “Transform …” and include restrained, realistic cues.
11) Do not mention specifics about people such as "change the blonde woman's ..".
12) Do not mention things that need to be preserved such as "preserve the pose" or "while standing up" (assuming the person is standing up in the input video).
OUTPUT
- Return only the enhanced prompt. Do NOT mention these rules or the original request.
EXAMPLES
User: “make the shirt a kimono”
→ Change the shirt to a silk kimono with deep indigo dye, wide sleeves, subtle crane pattern, loose fit, soft drape, natural folds, studio lighting, mid-shot, front-facing.
User: “turn the hoodie green”
→ Change the hoodie color to forest green, matte cotton texture, preserved seams and drawstrings, gentle fabric shading, accurate shadows, consistent lighting.
User: “swap me with a tiger”
→ Replace the person with a Bengal tiger, rich orange coat, bold black stripes, fuzzy fur detail, alert ears.
User: “add a parrot”
→ Add a vibrant macaw parrot perched on the person’s right shoulder, curved beak, layered feathers, slight head tilt, natural grip, feather highlights, soft contact shadow.
User: “make the apple a crystal ball”
→ Replace the apple with a clear crystal ball, smooth glass, internal light refractions, palm-sized, realistic specular highlights, subtle caustics on nearby surface.
User: “make it autumn with leaves”
→ Transform the scene to early autumn with warm afternoon light, amber tones, a few crisp maple leaves gently falling, shallow depth of field, balanced composition."""
接下来我们就来测试下这4个场景吧 更改物体 Change the man's shirt to a casual T-shirt with soft cotton texture, light gray color, relaxed fit, short sleeves, subtle stitching details, natural folds, even lighting, medium framing, front-facing.
试了2次改衣服的,第一次的手会崩,因为我分辨率最大设置832,第二次我改成1280的就好多了,看来还是和图像分辨率有关系。 添加物体 在人的头上加上一顶金色的王冠,用错综复杂的细丝图案制作而成,饰以红宝石、祖母绿、蓝宝石等宝石,抛光的金属光泽,对称的设计,微微倾斜,反射柔和,额头上的阴影微妙。替换物体 用孟加拉虎代替白狗,鲜艳的橙色皮毛,大胆的黑色条纹,肌肉发达的体格,逼真的皮毛纹理,锐利的目光,一体化的照明,逼真的比例,自然地站在同一位置。这里我用的是fp32版本的,在RH上跑了2分43秒,5秒视频最长边限制832.将猪的颜色改为柔和的粉色,皮肤纹理光滑,明暗一致,高光自然,灯光融合准确,色调过渡柔和,在场景中显得逼真。变是变了,但是效果好像没那么好哈哈。 全局变化 Transform the background to an outdoor forest with towering trees, lush green foliage, dappled sunlight filtering through the canopy, soft shadows on the ground, scattered undergrowth, and a serene, natural atmosphere.把背景改掉了。 注意事项
这个视频编辑工具分辨率太低的情况下效果不理想,比如我上面说的手崩问题,改成1280分辨率就好很多了。 测试过新增、修改、替换、全局改这些功能,有效果,但是需要抽卡,有时候出来的东西不符合实际规律,分辨率高了成功率就搞。 整体效果感觉还是有点欠缺的,离我想要的效果还有差距,不过这个是个技术框架,未来其他开发者能完善并开发更多有用的功能吧。 四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。 目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。 镜像名称:嘟嘟AI绘画趣味学
Lucy Edit 配图07
Lucy Edit 配图08
云平台镜像地址: https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY RH平台
Lucy Edit 配图09
主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-c ... iteCode=kol01-rh024
Lucy Edit 配图10
五、总结以上就是今天分享的Lucy-Edit视频编辑框架技术的测试体验,工作流很简单,大家可以玩起来,简单的视频处理很方便了,期待更多的应用场景挖掘。 技术的迭代是飞快的,要关注最新的消息才不会掉队。 模型工作流获取本公众号对话框发送 250923 即可! 推荐阅读
妙啊!Qwen Image Edit 偏移问题方案升级,LoRA + 节点同步控,成功率暴涨|附工作流设计师狂喜!豆包 4 本地调用插件:火山方舟 API+200 张免费,电商图 / 创意图 2 毛 / 次速出创作者狂喜!Wan2.2 多图首尾帧串联:3 图 5 分钟出连贯长视频,剧情 / 产品视频无缝接|附工作流挖到宝!找了 N 久的 ComfyUI 分镜插件:comfyui_extractstoryboards 自动提帧 + 索引
Lucy Edit 配图11
|