简体中文 English 日本語 Русский язык 한어

383

主题

36

回帖

5万

修为

创始合伙人

积分
110029


作者:@T8star-Aix

SCAIL-2角色替换与动作迁移:逆向驱动训练、SAM3.1遮罩和长视频工作流

SCAIL-2角色替换与动作迁移:逆向驱动训练、SAM3.1遮罩和长视频工作流


一句话导读:这期介绍的是智谱开源的 SCAIL-2。作者认为它相比 SCAIL-1 进步很大,核心价值在于角色替换、动作迁移和长视频生成能力更强,并且通过逆向驱动训练提升了跨身份、非人物和复杂场景的泛化。

核心内容:
1. 作者先强调 SCAIL-2 不是简单的小升级。上一代更多依赖 3D 骨骼图去控制人体,转身、多人、动物或非人物场景都容易受限;SCAIL-2 则改用更强的遮罩和逆向驱动训练,让人物、动物、物体替换和动作迁移的可用范围更大。
2. 视频里重点解释了“逆向驱动训练”的思路:传统训练通常是一对一地把遮罩、图片和目标视频配成固定链路,模型容易继承数据集和前置模型的缺陷;SCAIL-2 通过错配、重组和反向学习,让模型从不匹配的条件里学习更深的理解能力,从小规模人工合成数据里获得更强泛化。
3. 作者把它和 SCAIL-1、Animate、人物替换类项目做比较,指出旧方案通常只适合人体或固定体型,人脸一致性、体型变化、动物驱动、多角色遮挡都容易出问题;SCAIL-2 的优势在于动作迁移和角色替换都能走同一套思路。
4. 工作流部分在 RunningHub 上演示。作者提到分辨率可以用 480p、704p,也可以按 720x1280 这类 32 倍数尺寸设置;Latent/采样部分大多保持默认即可,关键是理解什么时候该用哪个工作流,而不是把每个节点研究到过度复杂。
5. SAM3.1 遮罩是很关键的一环。需要先把目标对象抠出来,例如人物填 person,动物或其他对象要按实际目标改标签;红蓝边界框用于区分多个人物的位置和前后关系,最大 object 数量也要按实际人数设置,否则可能把背景群众误检测进来。
6. 角色替换和动作迁移的接法很接近:动作迁移时关闭 video mask 和 image mask,角色替换时把两组 mask 接上。作者还提醒,训练时会先抠图加黑底,偶尔可能出现人物边缘黑圈,通常重新跑一次即可。
7. 长视频方面,作者用循环方式让 latent/image 继续衔接,二十多秒测试基本没有明显接缝;他本想跑三十多秒,但高分辨率在 RunningHub 上一小时不够。整体结论是现在不必把工作流做到 100 分,能稳定可用、会处理模糊和逻辑衔接,对多数用户已经足够。

适合人群:
- 想测试 SCAIL-2、角色替换、动作迁移或长视频生成的用户。
- 做 AI 视频、数字人、角色一致性和多人动作迁移工作流的人。
- 已经在 RunningHub/ComfyUI 里使用视频工作流,希望理解 SAM3.1 遮罩、object 数量、分辨率和 mask 接法的用户。

补充说明:本文根据授权视频音频转写整理;SCAIL-2、SAM3.1、RunningHub、mask 等术语已结合上下文校正,建议观看原视频获取完整演示细节。

相关夸克网盘链接:
【模型:https://pan.quark.cn/s/47c116738b2b
【无限画布整合包v2.1.4:https://pan.quark.cn/s/5871a0142ff3
【T8 Comfyui整合包V10:https://pan.quark.cn/s/9b0cd761bf8e
【贞贞整合包V4.6B(新增充值系统):https://pan.quark.cn/s/ed4f5cc2db75
贞贞的AII工坊限时开放注册:https://ai.t8star.org/register?aff=dP7j

商用级图像/视频工作流:https://my.feishu.cn/wiki/EcErwNCz4iFi47kqiKqcfgYpn3d?from=from_copylink
海外版RH(宽审核):https://www.runninghub.ai/user-center/1907375370302308353/userPost?inviteCode=rh-v1121

无限画布整合包v2.1.4:https://pan.quark.cn/s/5871a0142ff3
画布开源项目(非商用授权):https://github.com/T8mars/T8-penguin-canvas
企鹅在线画布:https://art.pebbling.cn/?invite=T8STAR
海外版贞贞工坊:https://ai.t8star.org

Aix:https://aix.studio?partnerCode=10562
我们公司最新AI产品通过链接注册送300积分,快来体验!
如果注册只有100点,右上角有个礼物盒的图标,点邀请人,输入:10562,就有300点

T8唯一云端镜像:https://lincore.wuying.aliyun.com/,登录后右上角核时算力,购买,右上角兑换码,输入t8stargo,可领取200核时(如显示9.9,是没有实名认证,实名后则变成0)

Discord频道:https://discord.gg/sAK2THPWhZ
T8 Comfyui整合包V10:https://pan.quark.cn/s/9b0cd761bf8e
贞贞整合包V4.6B(新增充值系统):https://pan.quark.cn/s/ed4f5cc2db75
comfyui节点:https://github.com/T8mars/Comfyui-zhenzhen

Anima AItoolkit训练器:https://www.chenyu.cn/api/s/zKRe2OVO
Anima 秋叶训练器:https://www.chenyu.cn/api/s/s8DVsTL9
https://www.chenyu.cn/api/s/s8DVsTL9
FireRed1.1训练器:https://www.chenyu.cn/api/s/hLSXfdh1
Ernie训练镜像:https://www.chenyu.cn/api/s/mwh6j8DW
LTX2.3音画同步训练镜像:https://www.chenyu.cn/api/s/oswYwWwg
None-Z-Trainer训练器:https://www.chenyu.cn/api/s/WAXeJBA7
Z-image-base-Lora训练器:https://www.chenyu.cn/api/s/udv8rEst
Z-image-base-大参数Lokr训练器:https://www.chenyu.cn/api/s/saImzeeC
Flux.2 Klein全功能训练器镜像:https://www.chenyu.cn/api/s/73ymtHZD
Qwen 2512满血版ai toolkit训练器:https://www.chenyu.cn/api/s/CvdMi80M
Wan2.2 DP全能训练器:https://www.chenyu.cn/api/s/9i0q1alv
Z image turbo Ai Toolkit极速训练器:https://www.chenyu.cn/api/s/1YW0uLnQ
Qwen Edit 2511 Ai Toolkit满血版训练器:https://www.chenyu.cn/api/s/7NeThb65
Qwen Image Ai toolkit满血版训练器:https://www.chenyu.cn/api/s/NFEGJsmc
更多镜像陆续更新,可搜索:t8star
0.1=5的券 300张:W6TGFF
30 =45的券 300张:T8AIGC
50=100粉丝福利每个都可领取,每个号一次: 50VS50
卡:24G 3090 32G 4080 48G 4090

贞贞音乐:https://music.163.com/#/artist?id=122256042
海外账号星球:accboy7t8star.acceboy.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

简体中文
繁體中文
English(英语)
日本語(日语)
Deutsch(德语)
Русский язык(俄语)
بالعربية(阿拉伯语)
Türkçe(土耳其语)
Português(葡萄牙语)
ภาษาไทย(泰国语)
한어(朝鲜语/韩语)
Français(法语)
QQArchiver手机版小黑屋粤ICP备2026002389号-1粤ICP备2026002389号-1 简体中文 English 日本語 Русский язык 한어 |网站地图