Fish Speech – 开源的高效文本到语音合成TTS工具

0 2

Fish Speech是什么

Fish Speech是一款由Fish Audio开发的开源的文本到语音（TTS）工具，支持中文、英文和日文。通过约15万小时的多语种数据训练，实现了接近人类水平的语音合成效果，目前已更新到1.2版本。该工具特点包括低显存需求（仅需4GB）、快速推理速度、高自定义性和灵活性，用户可快速进行语音克隆而无需复杂训练。Fish Speech还支持多种语音生成模型，如VITS2、Bert-VITS2等，适用于智能助手、自动客服、语言学习等场景。

Fish Speech的功能特色

高效的文本到语音转换： Fish Speech利用先进的算法，能够迅速将输入的文本信息转换成听起来自然、流畅的语音。通过优化的声学模型和语言模型，确保语音的自然度和准确性，使其在多种场景下都能提供高质量的语音输出。
多语言支持：支持中文、英文和日文，Fish Speech的多语言能力可以跨越语言障碍，为不同国家和地区的用户提供服务，为全球化的应用场景提供了便利。
语音克隆能力：用户可以上传自己或他人的一段语音作为参考，Fish Speech通过深度学习技术，学习并模仿该语音的特征，实现个性化的语音克隆。该功能在个性化语音助手、有声读物制作等领域具有广泛的应用潜力。
低显存需求：仅需4GB显存即可运行，大大降低了硬件门槛，使得更多的用户能够在自己的电脑上使用Fish Speech，而不必投资昂贵的硬件设备。
快速推理速度： Fish Speech优化了推理过程，减少了等待时间，提高了语音合成的效率。用户可以在短时间内获得所需的语音输出，提升了整体的使用体验。
多种语音生成模型： Fish Speech支持包括VITS2、Bert-VITS2、GPT VITS、MQTTS、GPT Fast和GPT-SoVITS等多种模型，用户可以根据自己的需求选择合适的模型，以获得最佳的语音合成效果。
易于使用： Fish Speech的设计注重用户体验，简化了安装和配置流程。用户无需深入了解技术细节，即可通过一键启动程序快速开始使用，大大降低了使用门槛。
微调能力： LORA微调技术允许用户对模型进行细致的调整，以适应特定的语音风格或表达方式，为用户提供了更多的创造性空间。
性能优化：通过采用gradient checkpointing、causal sampling和flash-attn等先进技术，Fish Speech在模型训练和推理过程中实现了性能的显著提升，确保了处理大规模数据时的高效性和稳定性。

Fish Speech的官网入口

官方项目主页：https://speech.fish.audio/
GitHub源码库：https://github.com/fishaudio/fish-speech
Hugging Face模型地址：https://huggingface.co/fishaudio/fish-speech-1.2

如何安装和使用Fish Speech

运行要求

GPU 内存：4GB (用于推理)、16GB (用于微调)
系统：Linux、Windows

Windows配置

Windows 专业用户可以考虑 WSL2 或 docker 来运行代码库。

Windows 非专业用户可考虑以下为免 Linux 环境的基础运行方法（附带模型编译功能，即 torch.compile）：

解压项目压缩包。
点击 install_env.bat 安装环境。
- 可以通过编辑 install_env.bat 的 USE_MIRROR 项来决定是否使用镜像站下载。
- USE_MIRROR=false 使用原始站下载最新稳定版 torch 环境。USE_MIRROR=true 为从镜像站下载最新 torch 环境。默认为 true。
- 可以通过编辑 install_env.bat 的 INSTALL_TYPE 项来决定是否启用可编译环境下载。
- INSTALL_TYPE=preview 下载开发版编译环境。INSTALL_TYPE=stable 下载稳定版不带编译环境。
若第2步 INSTALL_TYPE=preview 则执行这一步（可跳过，此步为激活编译模型环境）
1. 使用如下链接下载 LLVM 编译器。
  - LLVM-17.0.6（原站站点下载）
  - LLVM-17.0.6（镜像站点下载）
  - 下载完 LLVM-17.0.6-win64.exe 后，双击进行安装，选择合适的安装位置，最重要的是勾选 Add Path to Current User 添加环境变量。
  - 确认安装完成。
2. 下载安装 Microsoft Visual C++ 可再发行程序包，解决潜在 .dll 丢失问题。
  - MSVC++ 14.40.33810.0 下载
3. 下载安装 Visual Studio 社区版以获取 MSVC++ 编译工具, 解决 LLVM 的头文件依赖问题。
  - - Visual Studio 下载
    - 安装好Visual Studio Installer之后，下载Visual Studio Community 2022
    - 如下图点击修改按钮，找到使用C++的桌面开发项，勾选下载
双击 start.bat, 进入 Fish-Speech 训练推理配置 WebUI 页面。
- (可选) 想直接进入推理页面？编辑项目根目录下的 API_FLAGS.txt, 前三行修改成如下格式:
```
--infer
# --api
# --listen ...
...
```
- (可选) 想启动 API 服务器？编辑项目根目录下的 API_FLAGS.txt, 前三行修改成如下格式:
```
--infer
# --api
# --listen ...
...
```
（可选）双击 run_cmd.bat 进入本项目的 conda/python 命令行环境

Linux配置

# 创建一个 python 3.10 虚拟环境, 你也可以用 virtualenv
conda create -n fish-speech python=3.10
conda activate fish-speech

# 安装 pytorch
pip3 install torch torchvision torchaudio

# 安装 fish-speech
pip3 install -e .

# (Ubuntu / Debian 用户) 安装 sox
apt install libsox-dev