简体中文 English 日本語 Русский язык 한어

604

主题

36

回帖

5万

修为

创始合伙人

积分
111405


作者:@T8star-Aix

开源SOTA ASR Confucius4-R2T2:T8节点与整合包,音视频自动化底座与Stable Prefix

开源SOTA ASR Confucius4-R2T2:T8节点与整合包,音视频自动化底座与Stable Prefix


一句话导读:T8star-Aix 介绍网易有道开源 SOTA 级 ASR 项目 Confucius4-R2T2,并开源配套 ComfyUI 节点、把实时字幕/翻译接入 IndexTTS 2.5 整合包;核心卖点是高准确率、真流式实时识别,以及新范式 Longest Stable Prefix(技术报告尚未完全开源),可作为音视频自动化、数字人、TTS 与 Agent 编排的字幕底座。

核心内容:
1. 项目定位:Confucius4-R2T2(网易有道 / Confucius4)是面向开源场景的 ASR。口播对比 Whisper、既往 FunASR 等方案以及剪映字幕,强调中英准确率接近甚至超过部分闭源实时方案,并支持真流式输出。
2. Longest Stable Prefix:生成时先用 wait 占位、不随意改写已稳定前缀;判定足够稳定后再提交 Stable Prefix 作为后续解码条件,从而减少直播字幕常见的「回退改字」与错误扩散(口播说明技术报告尚未开源,此处按演示理解)。
3. IndexTTS 2.5 整合包更新:
   - 新增实时字幕;也可做翻译向输出;
   - 首次使用需接受协议;点击开始实时识别,待模型加载后演示;
   - 口播对照剪映自动字幕:实时路径几乎无错字,剪映路径需渲染且出现明显错字(如人名/用词);
   - 支持多语言(英/中/日/粤语/韩文等,以整合包选项为准);
   - 支持上下文与专用名词/热词:未配置时「ComfyUI」「T8」等可能误识,配置后可接近口播所称的高正确率;
   - 支持上传音频转写,口播称约 1 秒级出字,显著快于本地 Whisper 大模型路径。
4. 为什么重要(自动化链路):
   - TTS / 数字人常先 ASR 再合成;字幕错误会传导到音频与编排;
   - Agent(如 Codex、Claude Code)做自动 MV/短剧时依赖可靠 SRT 分段;
   - 高准确 + 秒级出稿可大幅减少人工校对。
5. ComfyUI / Running Hub 工作流:
   - 基础工作流:上传音频、语言 Automatic、填上下文/热词后快速转写(口播约 1 秒);
   - 进阶:把 Confucius4 节点接到 MiniMax H3 提示词增强链路——先读音频出近乎无错文本,再合并场景说明,经动作/表演导演与因果链节点后全自动生成口播示例视频;
   - 对自建字幕软件、数字人、片头自动化等同理:先导出高质量 SRT,再下游生成。
6. 资源:原项目 GitHub(netease-youdao/Confucius4-R2T2)、T8 节点(T8mars/comfyui-confucius-r2t2-t8)、IndexTTS 2.5 整合包与 T8 CF 整合包等见简介;工作流在评论区。

适合人群:需要稳定 ASR/实时字幕作为 TTS、数字人、短剧 MV 自动化底座的创作者;以及希望在 ComfyUI/整合包里一键转写的本地用户。

注意与边界:
- 口播约 13 分钟;效果为演示向,以本机硬件与模型文件为准。
- AI 不可用于违法违规内容;请合规使用素材与成片。
- ASR 专名已按标题/简介校正(Confucius4-R2T2、IndexTTS、ComfyUI、MiniMax H3、剪映等);个别口误处以公开项目名为准。

资源说明:转写证据 evidence/transcripts/BV1ayaJ6dEtf-transcript.json(faster-whisper small,约 774 秒)。夸克链接摘自简介。


相关夸克网盘链接:
【indextts2.5整合包(模型在里面):https://pan.quark.cn/s/09826bb3b035】
【T8 CF整合包V20:https://pan.quark.cn/s/af20c54c9a13】
【无限画布整合包v3.1.9:https://pan.quark.cn/s/5871a0142ff3】
【贞贞整合包V4.9E:https://pan.quark.cn/s/ed4f5cc2db75】
贞贞的AII工坊限时开放注册:https://ai.t8star.org/register?aff=dP7j

商用级图像/视频工作流:https://my.feishu.cn/wiki/EcErwNCz4iFi47kqiKqcfgYpn3d?from=from_copylink
海外版RH(宽审核):https://www.runninghub.ai/user-center/1907375370302308353/userPost?inviteCode=rh-v1121

无限画布整合包v2.1.4:https://pan.quark.cn/s/5871a0142ff3
画布开源项目(非商用授权):https://github.com/T8mars/T8-penguin-canvas
企鹅在线画布:https://art.pebbling.cn/?invite=T8STAR
海外版贞贞工坊:https://ai.t8star.org

Aix:https://aix.studio?partnerCode=10562
我们公司最新AI产品通过链接注册送300积分,快来体验!
如果注册只有100点,右上角有个礼物盒的图标,点邀请人,输入:10562,就有300点

T8唯一云端镜像:https://lincore.wuying.aliyun.com/,登录后右上角核时算力,购买,右上角兑换码,输入t8stargo,可领取200核时(如显示9.9,是没有实名认证,实名后则变成0)

Discord频道:https://discord.gg/sAK2THPWhZ
T8 Comfyui整合包V10:https://pan.quark.cn/s/9b0cd761bf8e
贞贞整合包V4.6B(新增充值系统):https://pan.quark.cn/s/ed4f5cc2db75
comfyui节点:https://github.com/T8mars/Comfyui-zhenzhen

Anima AItoolkit训练器:https://www.chenyu.cn/api/s/zKRe2OVO
Anima 秋叶训练器:https://www.chenyu.cn/api/s/s8DVsTL9
https://www.chenyu.cn/api/s/s8DVsTL9
FireRed1.1训练器:https://www.chenyu.cn/api/s/hLSXfdh1
Ernie训练镜像:https://www.chenyu.cn/api/s/mwh6j8DW
LTX2.3音画同步训练镜像:https://www.chenyu.cn/api/s/oswYwWwg
None-Z-Trainer训练器:https://www.chenyu.cn/api/s/WAXeJBA7
Z-image-base-Lora训练器:https://www.chenyu.cn/api/s/udv8rEst
Z-image-base-大参数Lokr训练器:https://www.chenyu.cn/api/s/saImzeeC
Flux.2 Klein全功能训练器镜像:https://www.chenyu.cn/api/s/73ymtHZD
Qwen 2512满血版ai toolkit训练器:https://www.chenyu.cn/api/s/CvdMi80M
Wan2.2 DP全能训练器:https://www.chenyu.cn/api/s/9i0q1alv
Z image turbo Ai Toolkit极速训练器:https://www.chenyu.cn/api/s/1YW0uLnQ
Qwen Edit 2511 Ai Toolkit满血版训练器:https://www.chenyu.cn/api/s/7NeThb65
Qwen Image Ai toolkit满血版训练器:https://www.chenyu.cn/api/s/NFEGJsmc
更多镜像陆续更新,可搜索:t8star
0.1=5的券 300张:W6TGFF
30 =45的券 300张:T8AIGC
50=100粉丝福利每个都可领取,每个号一次: 50VS50
卡:24G 3090 32G 4080 48G 4090

贞贞音乐:https://music.163.com/#/artist?id=122256042
海外账号星球:accboy7t8star.acceboy.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

简体中文
繁體中文
English(英语)
日本語(日语)
Deutsch(德语)
Русский язык(俄语)
بالعربية(阿拉伯语)
Türkçe(土耳其语)
Português(葡萄牙语)
ภาษาไทย(泰国语)
한어(朝鲜语/韩语)
Français(法语)
QQArchiver手机版小黑屋粤ICP备2026002389号-1粤ICP备2026002389号-1 简体中文 English 日本語 Русский язык 한어 |网站地图