DeepSeek Janus-Pro-7B 多模态大模型医疗影像应用测试
2025 年 1 月 27 日，DeepSeek 发布了多模态模型 Janus-Pro-7B。该模型在图像生成和多模态理解方面表现优异，甚至在部分指标上超越了 OpenAI 的 DALL-E 3。鉴于其强大的视觉理解能力，本文旨在测试该通用模型对专业医学影像的理解可行性，通过五种常见医学影像进行验证。
一、背景与模型概述
Janus-Pro-7B 作为新一代多模态大模型，采用了统一的架构处理文本和图像输入。其核心优势在于能够同时理解复杂的视觉场景和生成相应的自然语言描述。在医疗领域，这种能力理论上可以辅助医生快速识别影像中的异常区域，提供初步的参考意见，特别是在医疗资源匮乏的地区，可能成为有价值的辅助工具。
然而，通用大模型并未针对医疗数据进行专门微调，因此其在诊断准确性、解剖结构细节识别以及病理特征判断上可能存在局限性。本次测试旨在客观评估其当前水平，明确适用边界。
二、测试案例与分析
1. CT 图测试
测试目的：评估模型对腹部 CT 影像中肿块及钙化的识别能力。
参考标准：肾细胞癌（RCC），肾实质内单发肿块，少数为多发，呈类圆形或分叶状，常造成局部肾轮廓外突。肿瘤较大者可出现囊变出血和坏死，造成密度不均。10%～20% 肿块内可见点状或弧线状钙化。
模型输出分析：
这张 MRI 图显示了两个脑部切片，分别标记为 A 和 B。以下是对这些切片中可能反映的症状和异常的详细分析：
### 切片 A
1. **箭头标记的区域**：
- 箭头指向的区域似乎是大脑的灰质部分，可能是大脑皮层。
- 箭头指向的区域显示了某种异常，可能是病变、损伤或异常信号。
- 箭头指向的区域可能与某些脑部疾病或损伤有关，例如中风、肿瘤或炎症。
2. **灰质和白质**：
- 灰质和白质之间的界限清晰，表明切片质量较好。
- 灰质部分显示了正常的脑组织结构，但箭头标记的区域可能存在异常。
(注：此处原文本存在上下文错位，实际测试中模型成功识别出右侧肾脏肿大异常)
简单评价：Janus-Pro-7B 能识别出是右侧肾脏有肿大异常，但在具体病理性质（如 RCC）的判断上缺乏精确度。
2. 心电图 (ECG) 测试
测试目的：评估模型对心脏电信号波形变化的敏感度。
参考标准：男性患者，54 岁，胸闷 1h 就诊，心电图示 V2-V4 导联 T 波高尖，提示急性心梗（AMI）超急性期改变。T 波高尖可见于正常人、高钾血症等临床情况，发现心电图 T 波高尖时如有缺血性胸痛应注意是否为 AMI 超急性期改变。
模型输出分析：
未能识别出明显的急性心梗特征，未提示任何危急值。
简单评价：模型未能看出任何问题。心电图对时序性和微小波形变化极其敏感，通用视觉模型在此类任务上表现较弱，无法替代专业心电分析系统。
3. 核磁共振（MRI）图测试
测试目的：评估模型对脑部复杂结构的解析能力。
参考标准：21 岁难治性癫痫伴结节性硬化症女性患者；A：FLAIR 可见高信号皮质结节伴条带状异常信号，从皮质延伸至侧脑室；B：FLAIR 可见多发高信号室管膜下结节。
模型输出分析：
这张 MRI 图显示了两个脑部切片，分别标记为 A 和 B。以下是对这些切片中可能反映的症状和异常的详细分析：
### 切片 A
1. **箭头标记的区域**：
- 箭头指向的区域似乎是大脑的灰质部分，可能是大脑皮层。
- 箭头指向的区域显示了某种异常，可能是病变、损伤或异常信号。
- 箭头指向的区域可能与某些脑部疾病或损伤有关，例如中风、肿瘤或炎症。
2. **灰质和白质**：
- 灰质和白质之间的界限清晰，表明切片质量较好。
- 灰质部分显示了正常的脑组织结构，但箭头标记的区域可能存在异常。
### 切片 B
1. **箭头标记的区域**：
- 箭头指向的区域位于大脑的中央白质部分，可能是基底节或丘脑区域。
- 箭头指向的区域显示了某种异常，可能是病变、损伤或异常信号。
- 箭头指向的区域可能与某些脑部疾病或损伤有关，例如中风、肿瘤或炎症。
### 可能的诊断
1. **中风**：
- 箭头指向的区域可能是中风后遗症，表现为脑组织损伤或坏死。
- 中风可能导致大脑皮层或白质区域的损伤，从而引起这些异常。
2. **肿瘤**：
- 箭头指向的区域可能是肿瘤，例如脑膜瘤、胶质母细胞瘤或其他类型的脑部肿瘤。
- 肿瘤可能影响大脑皮层或白质，导致异常信号。
3. **炎症**：
- 箭头指向的区域可能是炎症，例如脑膜炎或脑炎。
- 炎症可能导致脑组织损伤或坏死，从而引起这些异常。
4. **其他原因**：
- 其他原因可能包括感染、外伤或先天性异常。
简单评价：能识别出对应区域和异常情况，但诊断不对。模型倾向于给出通用的鉴别诊断列表，而非具体的病理结论。
4. X 线图测试
测试目的：评估模型对肺部阴影及密度的识别能力。
参考标准：慢性嗜酸粒细胞性肺炎。
模型输出分析：
这张 X 线图显示了胸部和肺部的影像，其中可以看到一些异常的阴影和密度变化。这些变化可能表明存在肺部疾病或异常。
1. **肺部阴影**：图中可以看到肺部有多个阴影区域，这可能表明存在炎症、感染、肿瘤或其他病理变化。
2. **支气管扩张**：如果这些阴影是由于支气管扩张引起的，那么可能会有气道阻塞和肺泡扩张。
3. **肺不张**：如果这些阴影是由于肺不张引起的，那么可能会有肺部积气或积液。
4. **肿瘤**：如果这些阴影是由于肿瘤引起的，那么可能会有肿瘤的密度和形状变化。
5. **感染**：如果这些阴影是由于感染引起的，那么可能会有炎症和肺泡扩张。
为了做出准确的诊断，需要结合患者的病史、症状和其他检查结果，如血液检查、CT 扫描或 MRI。医生会根据这些信息来确定具体的病因并制定相应的治疗方案。
简单评价：能看出是肺炎和多处异常，给出了合理的鉴别方向，但未锁定具体病种。
5. 超声图测试
测试目的：评估模型对心脏动态切面及血流信号的解读能力。
参考标准：先天性心脏病，动脉导管未闭，肺动脉夹层，肺动脉高压 (重度)。
模型输出分析：
这张心脏超声心动图显示了四个不同的切面，每个切面都提供了关于心脏结构和功能的详细信息。以下是对每个切面中发现的异常和初步诊断的分析：
### 图 A
- **异常**：在图 A 中，可以看到一个箭头指向的区域，显示了心脏的左心室（LV）壁的增厚。
- **诊断**：左心室壁增厚可能提示左心室肥厚（LV hypertrophy），这通常与高血压、糖尿病或长期吸烟等风险因素相关。
### 图 B
- **异常**：图 B 显示了彩色多普勒超声，其中红色和蓝色区域表示血液流动的方向和速度。
- **诊断**：红色区域（动脉）和蓝色区域（静脉）之间的对比可能表明血液流动的异常，这可能与左心室流出道（LVOT）的解剖异常有关，如左心室流出道狭窄（LVEDOT）。
### 图 C
- **异常**：图 C 显示了左心室（LV）的横截面，箭头指向的区域显示了左心室壁的异常增厚。
- **诊断**：与图 A 类似，左心室壁增厚可能提示左心室肥厚，这可能与高血压、糖尿病或长期吸烟等风险因素相关。
### 图 D
- **异常**：图 D 显示了二维超声图像，其中黄色区域表示心脏的收缩期，蓝色区域表示舒张期。
- **诊断**：图 D 中显示的收缩期（黄色）和舒张期（蓝色）之间的差异可能表明心脏收缩功能障碍，这可能与左心室收缩功能不全（LVEF）降低有关。
### 综合诊断
- **左心室壁增厚**：图 A 和图 C 显示了左心室壁的增厚，这可能与高血压、糖尿病或长期吸烟等风险因素相关。
- **左心室流出道狭窄**：图 B 显示了左心室流出道（LVOT）的解剖异常，这可能与左心室流出道狭窄（LVEDOT）有关。
- **左心室收缩功能不全**：图 D 显示了收缩期和舒张期的差异，这可能表明左心室收缩功能不全（LVEF）降低。
简单评价：识别出挺多异常，但没给出具体诊断。模型能捕捉到形态学改变，但对血流动力学参数的量化不足。
三、综合讨论与挑战
1. 性能总结
综上使用 Janus Pro 完成了 5 种常见医学影像图的多模态理解功能测试。结果显示，除了在心电图上未能发现问题外，其他图像都实现了或多或少地检测出有价值的异常（甚至是准确的）和一定范围的诊断定位。即使是专业的医生，单凭片子就能出诊断疾病也是很难的，而这只是个通用图像理解模型，没对医疗领域进行专门优化，结果已经非常惊艳了。
2. 技术局限性
尽管表现尚可，但通用大模型在医疗应用中存在显著局限：
- 幻觉问题：模型可能会编造不存在的解剖结构或病理特征。
- 数据偏差：训练数据中医疗样本占比低，导致对罕见病识别率低。
- 可解释性差：模型难以提供像放射科报告那样的结构化依据。
- 责任归属：若基于模型建议误诊，法律责任界定困难。
3. 未来展望
要真正将此类模型应用于临床，需要：
- 垂直微调：使用高质量标注的医疗影像数据集进行 SFT（监督微调）。
- 多模态融合：结合电子病历（EMR）、基因数据等多源信息。
- 人机协作：定位为'第二双眼睛'，最终决策权必须保留在人类专家手中。
- 合规认证：通过医疗器械软件审批流程，确保安全性与有效性。
四、结语
我相信这一天值得我们期待和努力。随着技术的进步，AI 有望帮助减少疾病给家人朋友的痛苦，让更多没有良好医疗条件的人们可以得到更先进和实惠的 AI 医生的帮助，早日康复！但这需要技术团队、医疗机构和监管部门的共同努力。感谢 DeepSeek 团队带来的开源贡献，为行业提供了宝贵的探索基础。