ChatTTS简介

ChatTTS真人文本转语音模型富有韵律与情感且免费开源_模子_语音 云服务

ChatTTS是专门为对话场景设计的文本转语音模型，例如LLM助手对话任务。
它支持英文和中文两种措辞。
最大的模型利用了10万小时以上的中英文数据进行演习。
ChatTTS是一款强大的对话式文本转语音模型。
它有中英混读和多说话人的能力。
ChatTTS不仅能够天生自然流畅的语音，还能掌握笑声，停顿，语气词啊等副措辞征象。
这个韵律超越了许多开源模型，首先听一段模型自动天生的语音。

对话式 TTS: ChatTTS针对对话式任务进行了优化，实现了自然流畅的语音合成，同时支持多说话人。
细粒度掌握: 该模型能够预测和掌握细粒度的韵律特色，包括笑声、停顿和插入词等。
更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。
同时供应预演习模型，支持进一步的研究。

ChatTTS是一个开源模型，可以根据开源代码进行文本转语音的天生，当然，hugging face上也有开源的在线网页，直接免去了代码的支配，在线就可以天生高质量的语音。

ChatTTS利用

ChatTTS是一个开源的模型，可以直策应用官方供应的代码进行文本转语音的天生。
首先须要复制ChatTTS全体GitHub仓，并在ChatTTS文件夹下安装须要的第三方模型。
当然ChatTTS基于pytorch，确保自己电脑有GPU版本的torch库。

!git clone -q https://github.com/2noise/ChatTTS%cd ChatTTS!pip install -q omegaconf vocos vector_quantize_pytorch gradio cn2an pypinyin WeTextProcessing

安装完成后，便可以输入如下代码加载模型。
代码第一次实行时，会自动***干系的预演习模型，等待***完成后，就可以天生语音了。

import torchtorch._dynamo.config.cache_size_limit = 64torch._dynamo.config.suppress_errors = Truetorch.set_float32_matmul_precision('high')import ChatTTSfrom IPython.display import Audiochat = ChatTTS.Chat()chat.load_models()

ChatTTS支持语音速率的调度，停顿的选择以及添加笑声等等，代码可以直接输入文本，让模型自动添加对应的停顿以及笑声关键词即可，也可以自行添加其关键词。

params_infer_code = {'prompt':'[speed_5]', 'temperature':.3}params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}wav = chat.infer('四川美食可多了，有麻辣火锅、宫保鸡丁、麻婆豆腐、担担面、回锅肉、夫妻肺片等，每样都让人垂涎三尺。
', \ params_refine_text=params_refine_text, params_infer_code=params_infer_code)Audio(wav[0], rate=24_000, autoplay=True)

基于ChatTTS的开源代码搭建了网页支配版本，可以直接在Google cloab 或者本地运行。

!git clone -q https://github.com/6drf21e/ChatTTS_colab%cd ChatTTS_colab!git clone -q https://github.com/2noise/ChatTTS%cd ChatTTS!git checkout -q f4c8329%cd ..!mv ChatTTS abc!mv abc/ChatTTS ./ChatTTS!pip install -q omegaconf vocos vector_quantize_pytorch gradio cn2an pypinyin openai jieba WeTextProcessing# 启动 Gradio 有公网地址!python webui_mix.py --share

实行以上代码后，模型会自动***，并支配网页版本ChatTTS，等待支配完成，直接打开公共链接即可。

INFO:httpx:HTTP Request: GET https://api.gradio.app/pkg-version "HTTP/1.1 200 OK"INFO:httpx:HTTP Request: GET https://checkip.amazonaws.com/ "HTTP/1.1 200 "Running on local URL: http://127.0.0.1:7860INFO:httpx:HTTP Request: GET http://127.0.0.1:7860/startup-events "HTTP/1.1 200 OK"INFO:httpx:HTTP Request: HEAD http://127.0.0.1:7860/ "HTTP/1.1 200 OK"INFO:httpx:HTTP Request: GET https://api.gradio.app/v2/tunnel-request "HTTP/1.1 200 OK"Running on public URL: https://054d1298c1303e0370.gradio.live

此项目不仅利用了ChatTTS进行文本转语音，且供应了OpenAI的ChatGPT的接口，可以利用提示词天生短篇小说，并自动天生音频小说，且支持长语音天生与多角色语音天生，一篇文本小说有声读物就可以出身啦。

当然hugging face也支配了网页版本的ChatTTS，不喜好代码支配的小伙伴可以直接在hugging face上面体验ChatTTS的功能。
整体体验下来，还是不错的，直接输入自己的文本，天生的音频，让别人去听，很难区分是合成的音频。

https://huggingface.co/spaces/Dzkaka/ChatTTShttps://github.com/2noise/ChatTTS/blob/main/README_CN.mdhttps://github.com/6drf21e/ChatTTS_colab?tab=readme-ov-file