在社交平台上,你是否刷到过一些魔性又神奇的视频?比如英文版《三国演义》、唐僧大战灭霸、川普说中文... 这些作品不仅完美复现了原角色的音色,连情感和韵律都做到了高度还原!更让人惊讶的是,它们居然全都是靠AI生成的
据悉,这些视频都是运用了业内领先的语音生成模型Lark,其核心整合了XTTS和Tortoise的技术优势,具备强大的语言处理能力,能通过拼音精准校正汉字发音,并能利用标点符号灵活控制语句中任意位置的停顿节奏
Lark显著改进了说话人特征的表征能力,集成了先进的BigVGAN2模型以大幅提升输出音质,依托于数万小时海量数据的训练,其综合表现超越了市面上主流的配音系统,达到了业内领先水平
Lark最新中文版:
百度网盘:https://pan.baidu.com/s/1PdMjmynTxnlblTJFnR9Ypg?pwd=9ry6
技术优势
1.全面优化音色克隆能力,让合成声音在情感、语调和细节上更贴近真实人声
2.引入拼音引导机制,有效解决中文多音字识别难题,大幅降低读词错误率
3.基于Conformer的语音条件编码器,显著提高语音克隆的自然度和稳定性
4.在保持高质量的同时提高训练和推理效率,降低资源消耗,适用于大规模部署
应用场景
· 有声读物:快速生成大量高质量的语音内容
· 虚拟助手:提供个性化且自然的语音交互
· 视频配音:为视频或播客等创作内容生成自定义音色的旁白或对话
· 无障碍辅助:为有视力障碍的用户提供文本转语音服务
使用方法
1.上传要克隆的音频(几秒就好)
2.输入待生成内容文本
3.选择生成类型(一般选音色参考效果最好)
4.点击生成
可以在软件后台查看当前的执行进度,程序处理完毕会输出信息wav file saved to,生成的音频默认保存在项目路径的outputs文件夹下,也可以在“输出界面”的右上角点击下载
注意事项
①项目安装路径不要包含中文
②推荐使用GTX1060以上显卡运行此项目
③使用过程中若不慎关闭软件后台,请重新打开,并刷新网页