Fun-ASR-MLT-Nano-2512推理效果不达标

[lishichao777]

首先，非常感谢贵公司开源该模型！
在Fun-ASR-MLT-Nano-2512模型的测试中，我对比了中、英、法（该语言未在官方支持列表中）、荷兰语四个语种的推理效果。实验结果显示，仅中文识别性能优于whisper-large-v3模型，而其他语言（包括英语、法语和荷兰语）的表现均不及whisper-large-v3。尤其在荷兰语识别任务中，字错误率（CER）高达50%。
基于以上结果，想向贵公司询问一下：是否有对Fun-ASR-MLT-Nano-2512模型进行进一步优化的计划？

[LauraGPT]

优势语种，主要是东亚，东南亚语种。

[pengzhendong]

已修复，可以再试试

[lishichao777]

非常感谢你们的答疑和修复！
本次测试使用修复后的代码，在CommonVoice数据集的中文、日语、韩语、越南语部分对Fun-ASR-MLT-Nano-2512模型进行了评估。测试结果显示，除中文外，该模型在其他语言上的表现均低于Whisper-large-v3模型。经对比分析，造成这一差异的原因可能与一下方面有关：
1、模型在推理过程中出现了较多的幻觉现象；

2、模型推理时，language 参数未能生效，导致语种识别（LID）结果不准确；

3、模型在推理中存在部分音频文本漏识别的问题，尤其是音频末尾部分的内容容易被忽略。

期待上述问题能得到进一步修复与优化。

[liweiyong-leo]

小语种测试，发现语种标签对其影响不大，但是itn那个开关对实验影响结果很大，但我们测试集其实不涉及itn相关内容。这个挺奇怪的。

[lishichao777]

针对日语、韩语等语种的测试中，语种标签确实具备一定的识别效果，要设置成对应的中文标签。但是设定了热词时，热词会影响语种标签的判断，导致模型转向热词所对应的语种。不过这个影响的效果是随机了，不知道什么时候那个参数就能够占据主导作用。

common_voice_ja_39053832.mp3

针对这条语音，在不设置热词时，语种标签是会影响到最终的推理结果（韩文、日文）。

common_voice_ko_39610438.mp3

针对这条语音，在不设置热词时，语种标签是会影响到最终的推理结果（韩文、日文）。设置热词后，又会覆盖掉“韩文”语种标签，进而推理成热词语种（“开放时间”和“Opening hours”）。

[lishichao777]

小语种测试，发现语种标签对其影响不大，但是itn那个开关对实验影响结果很大，但我们测试集其实不涉及itn相关内容。这个挺奇怪的。

你的语种标签没有影响可能是设置成英文标签，在我的测试中英文标签也没有影响，中文标签能够生效。

[liweiyong-leo]

小语种测试，发现语种标签对其影响不大，但是itn那个开关对实验影响结果很大，但我们测试集其实不涉及itn相关内容。这个挺奇怪的。

你的语种标签没有影响可能是设置成英文标签，在我的测试中英文标签也没有影响，中文标签能够生效。

我测试的东南亚小语种，泰语、马来语，我使用中文语种信息和英语对应语种信息，基本上没有大的变化。

[lishichao777]

小语种测试，发现语种标签对其影响不大，但是itn那个开关对实验影响结果很大，但我们测试集其实不涉及itn相关内容。这个挺奇怪的。

你的语种标签没有影响可能是设置成英文标签，在我的测试中英文标签也没有影响，中文标签能够生效。

我测试的东南亚小语种，泰语、马来语，我使用中文语种信息和英语对应语种信息，基本上没有大的变化。

那我就不清楚了，你这个情况跟我那个韩语语音测试类似，就语种标签和热词标签，不知道什么时候哪个就生效了，“日文”标签+中文热词能转成日文，“韩文”标签+中文热词能转成中文，“韩文”标签+英文热词能转成中文或英文，单“韩文”标签转成中文，sencevoice转写确实是韩文，标签的权重挺随机了。

[lishichao777]

小语种测试，发现语种标签对其影响不大，但是itn那个开关对实验影响结果很大，但我们测试集其实不涉及itn相关内容。这个挺奇怪的。

你的语种标签没有影响可能是设置成英文标签，在我的测试中英文标签也没有影响，中文标签能够生效。

我测试的东南亚小语种，泰语、马来语，我使用中文语种信息和英语对应语种信息，基本上没有大的变化。

那我就不清楚了，你这个情况跟我那个韩语语音测试类似，就语种标签和热词标签，不知道什么时候哪个就生效了，“日文”标签+中文热词能转成日文，“韩文”标签+中文热词能转成中文，“韩文”标签+英文热词能转成中文或英文，单“韩文”标签转成中文，sencevoice转写确实是韩文，标签的权重挺随机了。

不加标签转写成中文。

[liweiyong-leo]

小语种测试，发现语种标签对其影响不大，但是itn那个开关对实验影响结果很大，但我们测试集其实不涉及itn相关内容。这个挺奇怪的。

你的语种标签没有影响可能是设置成英文标签，在我的测试中英文标签也没有影响，中文标签能够生效。

我测试的东南亚小语种，泰语、马来语，我使用中文语种信息和英语对应语种信息，基本上没有大的变化。

那我就不清楚了，你这个情况跟我那个韩语语音测试类似，就语种标签和热词标签，不知道什么时候哪个就生效了，“日文”标签+中文热词能转成日文，“韩文”标签+中文热词能转成中文，“韩文”标签+英文热词能转成中文或英文，单“韩文”标签转成中文，sencevoice转写确实是韩文，标签的权重挺随机了。

不加标签转写成中文。

我小语种写中文也是能识别出泰语和马来语。

[lishichao777]

小语种测试，发现语种标签对其影响不大，但是itn那个开关对实验影响结果很大，但我们测试集其实不涉及itn相关内容。这个挺奇怪的。

你的语种标签没有影响可能是设置成英文标签，在我的测试中英文标签也没有影响，中文标签能够生效。

我测试的东南亚小语种，泰语、马来语，我使用中文语种信息和英语对应语种信息，基本上没有大的变化。

那我就不清楚了，你这个情况跟我那个韩语语音测试类似，就语种标签和热词标签，不知道什么时候哪个就生效了，“日文”标签+中文热词能转成日文，“韩文”标签+中文热词能转成中文，“韩文”标签+英文热词能转成中文或英文，单“韩文”标签转成中文，sencevoice转写确实是韩文，标签的权重挺随机了。

不加标签转写成中文。

我小语种写中文也是能识别出泰语和马来语。

这应该是正常情况吧，whisper就有这个功能，修正错误语种便签，我觉得这不算错误。