|
阿里开源 UniLumos（视频界 IC-Light），基于物理反馈的统一重打光模型，支持图像 / 视频双模态，解决背景替换后光影不融合问题，20 倍提速 + 时序无闪烁，适配影视 / 短视频创作。 一、UniLumos视频重打光介绍阿里最近又开源了一个视频重打光模型UniLumos，大家都称之为视频界的IC-Light。 UniLumos：基于物理原理反馈的快速统一的图像和视频重新照明，它的核心作用就是帮我们给视频重新打光，我们给一个视频主体替换背景后，前景和背景是融合不好的，这时候就需要用这个技术来重新打光，来看个我跑的案例： 下面是实现技术： UniLumos 的整体流程。左侧是 LumosData，我们提出的数据构建流程，它包含四个阶段，用于从真实世界光源生成各种不同的重照明图像对。右侧展示了 UniLumos 的架构，这是一个用于图像和视频重照明的统一框架，旨在实现符合物理规律的照明控制。
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
二、相关安装这次视频重打光功能KJ已经支持了，直接用我们通用的wan视频插件就行，基于Wan2.1弄的。 Wan插件地址:https://github.com/kijai/ComfyUI-WanVideoWrapper 模型下载：https://huggingface.co/Kijai/WanVideo_comfy/tree/main/UniLumos
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
模型路径：modelsdiffusion_models 三、测评体验
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
视频换背景重新打光工作流分成3个模块，首先是模型加载,用的是wan系列那一套，主模型才3B，2G左右大小，目前这个还算简单的基础版，希望后面支持14B的，然后lora搭配一个加速模型CausVid。
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
然后是两个视频的处理了，对于主视频，是为了把视频主体提取出来，然后背景用灰色图替代。
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
然后就是背景视频处理，如下图所示，把主体的遮罩覆盖到背景视频中，这里是把噪点覆盖过去，生成latent。
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
最后是采样，WanVideo UniLumos Embeds节点用来接收前面处理的2个视频的latents，然后出视频即可。
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
案例展示
跑了几个视频，一起来看看效果，还是非常不错的这个模型，就是目前只是3B，有点小，不适合跑提高分辨率的视频。 可以看到，确实有重新打光了，颜色都不一样了哈哈，不过这种应该不算真正的融合，前后景还是有割裂的，回头试试先用VACE把主体移植到新环境，然后再调用这个打光的试试。 注意事项
默认可以不写提示词，当然如果你能描述清楚背景提示词也行。 不适合跑太高分辨率的视频，毕竟模型才3B。 四、在线使用云端镜像
大家如果没有本地 ComfyUI 环境，或者本地显卡配置低于 16G 的，可以使用嘟嘟部署的仙宫云镜像，可直接加载使用。后续分享的工作流都会更像到镜像中，一周更新一次，方便大学学习。 目前整合了2个镜像，一个是Flux绘图用的，另外一个是针对视频模型的，之所以分开是一些模型兼容问题，分开比较好处理。 镜像名称：嘟嘟AI绘画趣味学
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
阿里开源黑科技！UniLumos 重打光：物理原理驱动，大家戏称视频界IC-Light
云平台镜像地址： https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY 新用户通过邀请码注册，总共可获得 8 元奖励，体验 4 个小时的 4090 作图时长。
| 
雷达卡
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜