You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
在LLM-ASR任务中,我用默认whisper_qwen_linear.yaml训练aishell,训练了10个epoch,用best_model.pt进行inference。
第一次:默认whisper_qwen_linear.yaml中有SpecAugLFR,因此在inference的时候经常出现无厘头的重复,频率很高。
e.g.
BAC009S0768W0178 撇油加加撇油加加撇油加加撇油加加撇油加加撇油。。。
第二次:删掉默认whisper_qwen_linear.yaml中所有的dropout和SpecAugLFR,重新训练以后,在inference无厘头的重复出现的概率降低了,但依然偶尔会有。问题转移成在inference是会在解码结果前面多出现一两个字。我已经检查了mask似乎没有什么问题,在推理时我也尝试禁止了prompt,结果似乎也没有变化。
e.g.
BAC009S0766W0399 幢经过近两个星期的漫长等待 (经过近两个星期的漫长等待)
❓ Questions and Help
What is your question?
在LLM-ASR任务中,我用默认whisper_qwen_linear.yaml训练aishell,训练了10个epoch,用best_model.pt进行inference。
第一次:默认whisper_qwen_linear.yaml中有SpecAugLFR,因此在inference的时候经常出现无厘头的重复,频率很高。
e.g.
BAC009S0768W0178 撇油加加撇油加加撇油加加撇油加加撇油加加撇油。。。
第二次:删掉默认whisper_qwen_linear.yaml中所有的dropout和SpecAugLFR,重新训练以后,在inference无厘头的重复出现的概率降低了,但依然偶尔会有。问题转移成在inference是会在解码结果前面多出现一两个字。我已经检查了mask似乎没有什么问题,在推理时我也尝试禁止了prompt,结果似乎也没有变化。
e.g.
BAC009S0766W0399 幢经过近两个星期的漫长等待 (经过近两个星期的漫长等待)
一些配置和sh文件我通过附件的形式发你:
conf:https://github.com/NiniAndy/FunASR/blob/mymerge/examples/industrial_data_pretraining/llm_asr/conf/whisper_qwen_linear.yaml
train.sh:
https://github.com/NiniAndy/FunASR/blob/mymerge/examples/industrial_data_pretraining/llm_asr/demo_train_or_finetune.sh
inference.sh:
https://github.com/NiniAndy/FunASR/blob/mymerge/examples/industrial_data_pretraining/llm_asr/infer_speech2text.sh
What's your environment?
The text was updated successfully, but these errors were encountered: