WangRongsheng / XrayGLM

🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

【QA】是不是不适合图片分类的问题

Gary2018X opened this issue · comments

commented

最开始尝试了一个多分类的问题 效果很差
然后尝试了一个简单的二分类问题 灵敏度也不到70%
训练批次从500-5000基本都试过
分类问题的图片数据是没问题 直接通过resnet等算法灵敏度95%以上

多模态里面的视觉模型很容易丢失图像语义信息,在分类任务上表现一般,如果您的任务是明确的分类,则不建议使用这种多模态模型。