Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[ISSUE] OpenVoice克隆的音色的文件需要以什么方式才能导入进来。这块目前有实现吗? #72

Open
3 tasks done
wenyangchou opened this issue Jun 25, 2024 · 4 comments
Labels
enhancement New feature or request

Comments

@wenyangchou
Copy link
Contributor

阅读 README.md 和 dependencies.md

  • 我已经阅读过 README.md 和 dependencies.md 文件

检索 issue 和 discussion

  • 我已经确认之前没有 issue 或 discussion 涉及此 BUG

检查 Forge 版本

  • 我已经确认问题发生在最新代码或稳定版本中

你的issues

OpenVoice克隆的音色的文件需要以什么方式才能导入进来。这块目前有实现吗?

如果没有,有计划加入这个功能吗 或者接受pr?

@zhzLuke96
Copy link
Member

现在没有关于 open voice 的支持,之前也没计划接入 open voice,原因主要是 open voice 输出质量一般,中文支持也不太好,最重要的是 chattts 本身就可以做 finetune/clone 的,目测质量比 open voice 高,只不过现在官方还没开源出来

想提 pr 的话当然接受~
如果想加的话,建议写成类似 adjust 和 enhancer 一样的后处理模块

@zhzLuke96
Copy link
Member

可能相关的issues 2noise/ChatTTS#369

@zhzLuke96 zhzLuke96 added the enhancement New feature or request label Jul 12, 2024
@qazwsx921028
Copy link

adjust 和 enhancer 一样的后处理模块

大佬,如果ChatTTS-OpenVoice克隆的音色特征模型的话,我采用这个后处理,但是音色维度转换后从复刻生成se.pth: torch.Size([1, 256, 1]),转换为chattts可以使用的torch.Size([768]),但是遇到一个问题时,我复刻时,输入的音频是女生声音,转换维度后,输出的声音是男生声音,或则输入的音频是男生声音,转换维度后,输出的声音是女生声音,大佬有遇到这个问题吗?不知道大佬有没有好的解决思路呀
非常感谢

@zhzLuke96
Copy link
Member

adjust 和 enhancer 一样的后处理模块

大佬,如果ChatTTS-OpenVoice克隆的音色特征模型的话,我采用这个后处理,但是音色维度转换后从复刻生成se.pth: torch.Size([1, 256, 1]),转换为chattts可以使用的torch.Size([768]),但是遇到一个问题时,我复刻时,输入的音频是女生声音,转换维度后,输出的声音是男生声音,或则输入的音频是男生声音,转换维度后,输出的声音是女生声音,大佬有遇到这个问题吗?不知道大佬有没有好的解决思路呀 非常感谢

额,感觉你弄混了吧?这是两个模型,是两个不同的向量空间,肯定是不能互相转换的
并且,open voice其实和chattts没有任何关系,甚至和tts没关系,你完全可以用它处理非tts生成的音频

还有更多想问的请发到 https://github.com/lenML/ChatTTS-Forge/discussions 里,谢谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

3 participants