多模态？

[zhaoxin111]

你好，我注意到需要上传眼底图来判断是否有青光眼等疾病，但我看你是基于语言模型来微调的，眼底图上传后有专门的模型来分析吗？

[JieGenius]

是有一个独立的模型来分析的，https://github.com/JieGenius/GlauClsDRGrading 这个是子模型训练的项目。

[waltonfuture]

所以可以理解成，分类模型判断图片是否有青光眼，来实现多模态输入？那为什么不直接训一个多模态大模型（参考llava、minigpt4）？

[JieGenius]

所以可以理解成，分类模型判断图片是否有青光眼，来实现多模态输入？那为什么不直接训一个多模态大模型（参考llava、minigpt4）？

我觉得可以试试哈，我暂时还没尝试。
我觉得专门训练的模型准确率会更高些。 通过agent可以很容易的集成多个专业能力进去。

[zhaoxin111]

是有一个独立的模型来分析的，https://github.com/JieGenius/GlauClsDRGrading 这个是子模型训练的项目。

got it. 我都毕业这么多年了，没想到眼科开源的数据集还这么少... 只能说这些数据太容易过拟合了