[finetune] 现在可以微调 speaker 了

[zhzLuke96]

写在最前面：只是实验代码可能还有很多问题

写在最前面：微调 speaker 没法克隆，需要 voice clone 的得等 lora 微调脚本

刚刚增加了 speaker finetune 的脚本，和 ui （非常不完善，但是可以跑）

想尝试的可以通过下面两种方式使用:

1. webui 中
   启动 webui.py 时附带 --webui_experimental 参数可以开启实验功能，其中包括 finetune 部分
   默认参数需要 11gb 显存训练

2. 直接使用脚本

python -m modules.finetune.train_speaker \
    --data_path datasets/data_speaker_a/speaker_a.list \
    --save_folder ./data \
    --init_speaker ./data/speakers/Bob.pt \
    --epochs 100 \
    --batch_size 6 \
    --train_text

init_spaker 可以不填

关于效果：
由于只是微调 embedding 无法达到克隆效果
但是可以用非常小的数据集 （10条语音即可），微调出非常稳定的 spk向量，微调之后的speaker几乎不会有爆音、漏字、粘字

微调前 (Bob.pt):

before.mp4

微调后:

• epoch: 10
• batch size: 8

after.mp4

input

在最新的太空探索进展中，SpaceX的星舰项目再次成为焦点。据报道，SpaceX的新一代重型运载火箭“星舰”以及飞船集成系统在最近的试射中取得了重要的里程碑式成就。这次试射是星舰项目的第四次尝试，首次实现了海面软着陆，同时获取了大量宝贵数据，为未来的突破铺平了道路。

据悉，此次试射地点发生在得克萨斯州博卡奇卡基地，火箭第一级“超级重型”助推器成功将飞船送入预定轨道。随后，助推器在墨西哥湾溅落后，“星舰”继续向上爬升，47分钟后，返回大气层。这标志着星舰项目试飞已经完成了70%，而今年之后的几次测试可能会实现更多的里程碑。

SpaceX的首席执行官埃隆·马斯克对此次成功表示极大的兴奋，并在社交媒体上宣布了这一成就。他表示，接下来星舰接下来从70%到90%的进展目标是，能让助推器和飞船降落回准确的地点，并且实现多次重复利用。这次试射的成功，不仅为星舰项目带来了前所未有的进展，也为人类的太空探索活动开辟了新的可能性。

星舰项目的成功，预示着未来太空旅行的新纪元。它不仅能够一次性将100多吨物品送入轨道，还是一枚完全可重复使用的火箭，将大大降低太空活动成本。马斯克的“火星梦”也许就在不远的将来，成为现实。

[zhzLuke96]

数据集文件夹应该像这样：

./datasets
├── data_spk_a
│   ├── speaker_a
│   │   └── slice_1.wav
│   └── spk_a.list
└── put_datasets_here

.list 文件应该像这样

./speaker_a/slice_1.wav|speaker_a|ZH|你好~

[40740]

哇 ，效果不错欸，音频数据集是要用speaker的生成的吗？不大于10s每条

[crj1998]

    dvae_decoder = chat.dvae
    dvae_decoder.eval().requires_grad_(False)
    dvae_encoder = DVAEEncoder(**get_encoder_config(dvae_decoder.decoder)).to(
        device=dataset.device
    )
    dvae_encoder.eval().requires_grad_(False)

这一段代码 初始化了模型但是没有载入权重吧，那loss计算有什么意义？

[zhzLuke96]

所以说是实验性代码😂
主要是官方没开源对应的权重，没辙

不过我估计loss应该还是可以指导微调embedding的，因为这个任务不调整权重，等于争对llama微调embedding

[zhzLuke96]

对chattts微调感兴趣的话，可以关注这个 2noise/ChatTTS#369

他应该是训练了一个 reverse 模型来做 zeroshot embedding

如果他有开源，后面应该会整合到 forge 中

[tuxiaoseng]

@zhzLuke96
Traceback (most recent call last):
File "/root/miniconda3/lib/python3.10/runpy.py", line 196, in _run_module_as_main
return _run_code(code, main_globals, None,
File "/root/miniconda3/lib/python3.10/runpy.py", line 86, in _run_code
exec(code, run_globals)
File "/root/autodl-tmp/tts/ChatTTS-Forge/modules/finetune/train_speaker.py", line 212, in
from modules.core.speaker import Speaker
ImportError: cannot import name 'Speaker' from 'modules.core.speaker' (/root/autodl-tmp/tts/ChatTTS-Forge/modules/core/speaker.py)
想试试微调的效果，现在有个错误

[zhzLuke96]

上次重构之后还没改 finetune 脚本，所以暂时用不了 😂
建议可以先试试用参考音频推理（也就是极速复刻/3s复刻） #118 ，我估计数据量少的话微调和使用参考音频不会差多少

需要微调的话关注这个 issue 吧

• ChatTTS emb finetune with DVAE_full.pt #121

[2open1024]

你好测试微调出错了 (tts-forge) PS F:\AI\ChatTTS-Forge> python -m modules.finetune.train_speaker
Traceback (most recent call last):
File "D:\ProgramData\miniconda3\envs\tts-forge\lib\runpy.py", line 196, in _run_module_as_main
return _run_code(code, main_globals, None,
File "D:\ProgramData\miniconda3\envs\tts-forge\lib\runpy.py", line 86, in _run_code
exec(code, run_globals)
File "F:\AI\ChatTTS-Forge\modules\finetune\train_speaker.py", line 8, in
from .utils.dataset import AudioCollator, XzListTar
File "F:\AI\ChatTTS-Forge\modules\finetune\utils\dataset.py", line 17, in
normalizer = Normalizer(
File "F:\AI\ChatTTS-Forge\modules\repos_static\ChatTTS\ChatTTS\norm.py", line 41, in init
self.homophones_map = self._load_homophones_map(map_file_path)
File "F:\AI\ChatTTS-Forge\modules\repos_static\ChatTTS\ChatTTS\norm.py", line 185, in _load_homophones_map
with open(map_file_path, "r", encoding="utf-8") as f:
FileNotFoundError: [Errno 2] No such file or directory: 'F:\AI\ChatTTS-Forge\modules\finetune\utils\../../ChatTTS/ChatTTS\res\homophones_map.json'
(tts-forge) PS F:\AI\ChatTTS-Forge> --data_path datasets/data_spk_a/spk_a.list \

[zhzLuke96]

微调脚本现在用不了，重构之后还没修

需要微调请关注这个 issue #121