likes
comments
collection
share

一个简单可用的中英文音色克隆工具

作者站长头像
站长
· 阅读数 4

对声音克隆这块一直感兴趣，想找个可用的支持中文的玩玩，关注coqui很久了，可惜他们迟迟不支持中文，直到9月份才开始支持。

于是搞了一个带web界面的声音克隆工具，可使用你的或者其他声音的音色，将一段文字合成为使用该声音说话的音频。使用非常简单，没有GPU也可以使用，github下载预编译版本，双击 app.exe 打开一个web界面，鼠标点点快速体验，笔记本电脑就可使用，毕竟这是本项目创立的初衷，高手直接拉取coqui-tts，可玩性更强。

项目开源地址: github.com/jianchang51…

一个简单可用的中英文音色克隆工具

支持 中、英、日、韩、法、德、意等16种语言，可在线从麦克风录制声音。为保证合成效果，建议录制时长5秒到20秒，发音清晰准确，不要存在背景噪声。英文效果很棒，中文效果还凑合。

可导入srt格式的字幕，然后按照时间线合成语音，生成wav音频。

项目基于 coqui-tts ，早就想使用这个来做音色克隆了，只是他们一直不支持中文，直到今天9月份才支持。 内部集成flask搞了一个简单的本地web界面，默认地址 http://127.0.0.1:9988 , 可在线录制声音或上传已有的一段声音作为音色，然后输入一段文字，即可生成使用该声音的音频。

已提供window预编译版，直接下载压缩包解压，然后双击 app.exe 即可使用。其实直接拉取 coqui-tts 也可以，当然需要一些相关技术知识。本项目初衷是降低ai使用难度，让小白也能快速上手体验，不必配备N卡，即使笔记本电脑也可使用。

window打包版exe使用方法

  1. 点击此处打开Releases下载页面，下载预打包主文件(1.7G) 和模型(3G)

  2. 下载后解压到某处，比如 E:/clone-voice 下

  3. 双击 app.exe ，等待自动打开web窗口，请仔细阅读cmd窗口的文字提示,如有错误，均会在此显示

  4. 模型下载后解压到软件目录下的 tts 文件夹内，解压后效果如图

一个简单可用的中英文音色克隆工具

  1. 转换操作步骤

    • 选择【文字->声音】按钮，在文本框中输入文字、或点击导入srt字幕文件，然后点击“立即开始”。

    • 选择【声音->声音】按钮，点击或拖拽要转换的音频文件(mp3/wav/flac)，然后从“要使用的声音文件”下拉框中选择要克隆的音色，如果没有满意的，也可以点击“本地上传”按钮，选择已录制好的5-20s的wav/mp3/flac声音文件。或者点击“开始录制”按钮，在线录制你自己的声音5-20s，录制完成点击使用。然后点击“立即开始”按钮

  2. 如果机器拥有英伟达显卡，并正确配置了CUDA环境，将自动使用CUDA加速

一些问题

遇到不少问题，颇伤脑筋

  1. 首先就是打包问题，使用的 pyinstaller 打包，打包后提示缺少不少依赖，修改了 spec 文件，copy_meta /copytree ，费了不少力气，还是无法彻底解决所有问题，后来干脆简单粗暴些，直接从 Lib 下复制缺少的包进去，解决了，只是包太大了，仅支持CPU，打包压缩后总体积也达到了1.9G

  2. 中文断句问题，coqui 今年9月份才增加中文支持，目前看起来效果还不是很好，有的在不该断句的地方生硬的断开了，而应该断句的标点处却没有断句.可通过换行即一行文字不要太长，多使用换行和标点符号可缓解该问题。

  3. xtts-v2 language="zh-cn" 时的bug，当使用 该模型，并设置语言位 "zh-cn" 时，会提示ValueError: Model is not multi-lingual but language is provided., coqui已有人提交bug报告，目前是通过修改 TTS/api.py，注释掉大约242行的代码解决的

if not self.is_multi_lingual and language is not None:
   raise ValueError("Model is not multi-lingual but `language` is provided.")

依赖的其他开源项目

  1. github.com/coqui-ai/TT…
  2. github.com/pallets/fla…
转载自:https://juejin.cn/post/7302965547087331369
评论
请登录