6月14日消息，日前微软研究人员展示了LLaVA-Med模型，该模型主要用于生物医学方面的研究，可根据CT、X光图片等推测出患者的病理状况。据悉，微软研究人员与一批医院合作，获得了使用生物医学图像文本对应大型数据集来训练多模态AI模型。该数据集包括胸部X光、MRI、组织学、病理学和CT图像等，覆盖范围相对全面。▲图源微软微软使用GPT-4，基于VisionTransformer和Vicuna语言模型，在八个英伟达A100GPU上对LLaVA-Med进行训练，其中包含“每个图像的所有预分析信息”，用于生成有关图像的问答，以满足“可自然语言回答有关生物医学图像问题”的助手愿景。在学习过程中，模型主