本文分析了医疗 AI 产业链现状及大模型技术的应用前景。文章指出多模态 AI 通用化是主流趋势，介绍了 TensorFlow、Caffe 等框架及 CNN、RNN 算法在医疗中的应用。重点探讨了 GPT-4 在电子病历生成、临床辅助决策、互联网医疗分诊、公卫监测及药物研发等领域的具体案例，如微软 Nuance 的 DAX 应用。此外，还分析了豪彪科技、卫宁健康、东软集团等重点企业的技术布局与生态策略。最后，文章指出了医疗 AI 面临的隐私安全、模型可解释性及幻觉风险等挑战，并展望了人机协同的未来医疗生态圈。
随着大模型时代的到来，多模态 AI 通用化已成为未来的主流趋势。医疗人工智能平台作为一个综合性的系统，涵盖了数据资源层、人工智能平台和医疗应用层等多个层面。在这个领域中，开源框架和算法发挥着至关重要的作用。
例如，TensorFlow 这一工程化能力强大的开源框架，以及 Caffe 等在图像方面表现出色的框架，都为我们提供了强大的技术支持。同时，卷积神经网络（CNN）和循环神经网络（RNN）等算法模型在图像识别等领域的应用也越来越广泛。随着 GPT 等多模态通用 AI 大模型的涌现，NLP、CV、科学计算等多模态大模型 AI 通用时代已经来临。这意味着，未来的医疗人工智能平台将能够更好地融合不同领域的技术，实现更加全面、精准的医疗应用。
AI 大模型引领医疗、互联网、医保信息化革新，插件模式开启全新 AI 时代。在医疗信息化、互联网医疗、医卫和医保信息化等领域，AI 大模型正掀起一场生产力的革命性浪潮。这种变革不仅推动了行业的进步，更预示着 AI 应用领域的新篇章。
通过独特的插件模式，AI 大模型如 OpenAI 的 GPT 系列，正逐步融入各行各业，为开发者提供了前所未有的接入平台。这意味着开发者能够更便捷地将 AI 技术融入自己的产品中，实现智能化升级。OpenAI 与微软 Azure 的强强联手，为 ChatGPT、GPT-3.5、GPT-4 等 AI 大模型提供了强大的 to B 服务能力。这种合作不仅推动了 AI 在企业级应用中的广泛落地，更引领了整个 AI 应用端的发展潮流。
GPT-4 已实现医疗领域商用合作。微软旗下 Nuance Communications 发布与 OpenAI 的 GPT-4 集成的支持语音的医疗病历生成应用程序 DAX（Dragon Ambient eXperience）。GPT-4 对于事实的阐述精度对比 GPT-3.5 高出 40%，在医学知识自测评论考试表现更优秀，支持多模态输入，预测会对医疗信息化、互联网医疗、公卫、医保信息化细分领域产生效率的变革性推动。百度文心一言前期有很多互联网医疗、医疗信息化、创新药械、医保等接入进行内测和工具开发，预计随着百度千帆的企业服务大模型发布，将会进一步推动医疗 AI 的发展。
当前由医生手动录入医疗信息化系统患者电子病历：当前医生一边问诊一边手写或在电脑上输入电子病历。虽然一些病历医生可以根据信息化系统里面的模板去更改患者信息，但是有一些病历较复杂病程较长，医生需要很详细地记录追踪患者的情况，病历可能达上万字，当前在传统医疗信息化系统中还是由医生手动记录输入这部分信息。未来接入 GPT-4 以后医生解放了文书工作：GPT-4 可以多模态输入数据并理解梳理信息，这也就意味着 GPT-4 大模型可以输入患者和医生的对话并摘取关键信息，医生不用边问诊边记录，可以快速耐心询问患者情况，只需要几秒钟，就能自动生成电子病历，然后自动导入当前的医疗信息化系统。
微软旗下 Nuance Communications 发布与 OpenAI 的 GPT-4 集成的支持语音的医疗病历生成应用程序 DAX（Dragon Ambient eXperience）。环境 AI 与 GPT-4 技术相结合：Dragon Ambient eXperience (DAX) Express 是第一个将会话和环境 AI 与 OpenAI 的 GPT-4 的高级推理和自然语言功能相结合的全自动临床文档应用程序。Nuance 的环境 AI 技术旨在通过'倾听'医患就诊并做笔记来自动化临床文档。几秒钟形成可接入电子病历系统的临床笔记：通过添加 GPT-4，DAX Express 可在患者就诊后几秒钟内自动创建草稿临床笔记，以便立即进行临床审查。该解决方案还与电子病历软件紧密集成。
当前 CDSS 临床辅助决策系统会根据患者症状提供给非常多相关疾病和治疗手段，需要医生靠经验判断：当前的 CDSS 系统可以提供给医生一些相关疾病科普参考，比如患者头痛，CDSS 系统就会列出所有引起头痛的常见原因及相关诊疗方法，具体下一步做什么检查进行确诊还是需要靠医生的经验和判断。在时间有限的门诊问诊时间里，医生大部分会根据自己的经验去判断患者下一步需要进一步做 CT 明确病因或是由于疲劳等产生的头痛。CDSS 系统提供的更多是科普和参考的作用。
当前互联网医疗具有智能助手进行分诊提升问诊效率，但是分诊不是很准确，信息获取很粗浅：如进入在线问诊界面，可以根据关键词选择病症，如'咽炎'等，然后小助手会问病程之类设定好的问题，患者可以选择患病时间，接下来实名制进行分诊至值班在线医生。但是问题设置的比较粗糙，虽然可以语音输入和发送照片，但是智能助手对此没有什么反应，这些信息需要医生去处理。分诊也可能出现一些失误，比如示例中的咽炎可能更适合到五官科里面去而不是中医科。
当前我国公卫信息化领域具有监测突发公共卫生事件需求，数据分析多由各领域专家组完成。通过各地区信息互联、各级机构数据填报、网络抓取监测等渠道监测重大传染病情况，并成立专家组定期进行数据分析，研判疫情趋势，给予风险评估，提出建议。GPT 大模型可以在获取数据和数据分析上助力公卫信息化效率提升。GPT 大模型可以通过插件自动获取社交媒体和网络上的传染病数据及前沿公共卫生报告等，减轻当前做网络监测互联网的程序员的工作压力，并自动形成可视化展示分析，提出建议，减轻专家工作量，提升监测效率，不同于当前定期请专家组做分析，GPT 可以实现实时监测分析并生成预警报告。
2023 年 1 月 23 日，加州伯克利一家创业公司利用类似 ChatGPT 的 LLM 模型'Progen'合成了自然界不存在的新鸡蛋白，为 GPT 未来在药物研发应用方向提供方向，即读取不同氨基酸序列，合成新型蛋白质。ProGen 是一个具有 1 亿参数的条件蛋白语言模型。基于 Transformer 架构的 ProGen 通过自注意力机制模拟残基的相互作用，可以根据输入控制标签生成跨蛋白质家族的不同人工蛋白质序列。为了创建该模型，研究人员输入了 280.56 亿种不同蛋白质的氨基酸序列，模型在几周内'消化'。过去，在自然界中挖掘蛋白质或将蛋白质调整到所需的功能是非常费力的。如果能够定向将氨基酸序列数据输入 GPT 进行训练，参数量更为庞大的 GPT 大模型理论上可以取得更加精准的效果。
科技医疗公司如何赋能医疗 AI 大模型应用？
由数据驱动的人工智能（AI）方向具有广阔前景。研究人员本来期望可以从现代化的医疗系统中获取海量的影像医疗数据，从而构建出性能强大的模型。然而现实中，由于医疗行业存在明显的'数据孤岛'效应，导致单个医疗机构很难获得足够的影像数据，并不能充分发挥人工智能的潜能，也就无法完成从理论研究到临床实践的转变（这是医疗行业最大的价值）。将影像组学与联邦学习相结合（Raymics Fusion）就成为了解决上述困境的绝佳方案。Raymics Fusion 基于多中心数据合作来打造可信大模型，提高临床诊疗的效率，扩展临床诊疗的能力，进而拯救更多的生命并加速医疗/生命科学发展。
使用 Raymics OP（私有化部署）可以协助医疗机构：零代码的可视化交互 - 医生无需写代码，降低医生使用门槛。AutoML 自动调参 - 帮助医生进行模型调优。为医生定制的配套课程 - 降低医生学习成本，补充医生方法论和人工智能方面的知识。数据可沉淀复用。
进行多中心数据协作来打造可信大模型，基本前提是多中心统一数据标准。数据标准由 Raymics Fusion 来同步，而按照数据标准进行的数据预处理（包括数据标注），则由每个参与方的 Raymics OP（私有化部署）来执行。
使用联邦学习来保证私域数据的'可用不可见'。可选择开启隐私计算来进一步抵御针对个体数据的隐私攻击。底层基于区块链技术，关键行为上链。区块链的'不可更改'特性保证了整个过程的公开和透明。
公司自 2015 年入局医疗健康服务领域，推动互联网医疗和健康云服务等创新业务的发展。2022 年公司正式升级战略为'1+X'战略。'1'为基于统一中台的 WiNEX 系列产品（包括面向医疗机构数字化的 WiNEX、面向医护人员的 WiNEX MY、面向政府及公共卫生数字化 WiNEX Region、面向管理数字化的数据与分析平台 WiNEX DnA）。开放互联的卫宁数字健康平台 WinDHP 构建行业数字基座'+'，汇聚数字化医药健险各方能力，构建出'X'个数字健康应用场景，持续丰富医疗信息化生态。
成立于 1991 年，在智慧城市、医疗健康、智能汽车互联和企业数字化转型等多领域处于领先地位。不断探索应用云计算、大数据、物联网、人工智能、区块链等新技术。其中医疗及社保行业收入占比 16%。在医疗信息化领域，东软构建 RealOne Suite、CloudOne Suite 和 HealthOne Suite 三个整体解决方案。截至 1H22 年，公司服务 600 余家三级医院客户、2,700 余家医疗机构客户、50,000 余家基层医疗卫生机构，承担了 30 多个省市的全民健康信息化建设。智慧医保方面，助力全国统一医疗保障信息平台全面建成，在 24 个省 200 多个城市的平稳上线。公司在'大健康'板块构造了东软医疗（为医学影像解决方案及服务）、熙康（云医院平台）、望海（医院运营数据中心）三家创新业务公司。
公司主要业务有大数据平台、生命科学和健康管理平台。大数据平台业务方面，推出了全病种数据库平台，可实现全院自助式创建专病库，协助客户建立了白血病、出凝血疾病、再生障碍性贫血等多个重大血液系统疾病专病库和大型临床研究队列。生命科学方面，数据分析驱动制药、生物技术、医疗器械及其他临床开发。健康管理板块提供健康管理解决方案、慢病管理服务、商业健康保险及现有全国社会医疗保险的补充保险'惠民保'运营等服务。
平安健康是平安集团管理式医疗模式的重要组成部分。在支付方资源、供应商网络、服务体系和平安全能等方面具备核心竞争优势。打造'管理式医疗 + 家庭医生会员制 + O2O 医疗健康服务'的商业模式。管理式医疗方面，为平安集团综合金融用户提供线上线下一站式、7*24 小时不间断的主动式医疗健康服务。通过平安集团触达企业客户，建立以'体检 +'和'健管 +'为核心的 2 大解决方案。家庭医生会员制是平安健康商业模式枢纽，协助公司整合医疗健康供给侧资源，完善 O2O 闭环服务，为用户提供线上线下连续、完整的服务体验。平安健康致力于人工智能技术的自主研发，打造辅诊平台项目和 Skywalking 监控技术，为患者提供了高品质、便利化的一站式医疗健康服务。
公司长期深耕临床医疗信息化领域，重点产品包括电子病历平台、医院数据中心和智慧医疗产品协同应用，全面支撑临床数据深度利用及智慧医疗。电子病历平台为公司核心产品，分为综合电子病历系统和专科电子病历系统，在国内细分市场连续八年排名第一。嘉和医院数据中心包含集成平台、数据中心和数据应用，打造全院实时全量数据中心，实现院内信息互联互通，为医院提供统一对外数据服务窗口。智慧医疗产品以人工智能技术为核心，包括临床辅助决策支持系统（CDSS）、大数据科研分析平台、AI 病历内涵质控系统、智能预问诊系统、智能分诊系统是智慧医疗产品体系的五大核心产品。
公司主要产品及服务可以分为医疗卫生信息化、医疗卫生互联网、医疗卫生智慧物联网和医疗保障应用四大板块。医疗卫生信息化又分为医院信息化和公共卫生信息化应用软件服务板块。医院信息化应用软件以电子病历为核心，重要产品有'慧康云 HIS 整体解决方案'等。公共卫生信息化方面，根据国家卫健委人口健康信息'46321'工程要求，公司帮助各地政府建设区域卫生信息化服务体系，实现卫生计生一网覆盖、居民电子健康一卡通、健康信息资源统一融合。医疗卫生互联网，创建产品包括'混合云互联网医院解决方案''创业健康城市云平台''处方共享平台'等。公司依托承建的国家医保局医疗保障信息平台核心包项目，打造省、地市级智慧医保解决方案。
作为公司重要传统业务，智慧医卫涵盖智慧卫健、智慧医保/医药和智慧医疗三个板块。已覆盖全国 30 多个省/自治区 /直辖市，120 多个地市，涉及二、三级医疗机构 200 多家，社区卫生服务中心和乡镇卫生院 1000 多家，社区（村）卫生室（站）1 万余家，累计为 6 亿多人提供卫生健康和医保服务。智慧卫健重大项目成功推进，持续拓展地区业务引领市场。协同国寿落地多省市医保和商保信息化项目，在 25 个地市推进支付制度改革。医疗信息化项目和智慧医院建设项目稳步进行。2022 年上半年，中标河南省儿童医院郑州儿童医院国家儿童区域医疗中心信息化建设项目和复旦大学附属儿科医院安徽医院安徽省儿童医院智慧医院建设项目。
山大地纬是山东大学实际控制企业，重要战略股东国寿成达和部分山东省国资，其三大传统业务智慧政务、智慧医保医疗、智能用电等业务板块拥有全国领先的解决方案和影响力，拓展至全国 20 多个省份，为 3.5 亿人提供信息化服务。智慧医保领域，公司致力于构建'服务 + 治理 + 协同'的智慧医保运行新模式，已在山东、浙江、深圳等多城市打造一批典型案例; 智慧医疗领域，公司服务覆盖全国近 10 万家医疗机构及 1500 家二级以上医院，已形成了以支付结算为特色的产品体系。智慧医保医疗是公司营收的主要来源，公司 2017 年至 2021 年智慧医保医疗领域收入分别为 0.67 亿、0.91 亿、1.16 亿、2.07 亿、2.88 亿，五年复合增速为 43.9%，2021 年占公司营收比重达 45.2%。
公司聚焦医疗医保、数字政务、智慧城市三大业务。医疗医保方面，公司中标国家医保局运维标第 4 包，承担国家医保信息平台的跨省异地就医管理子系统、支付方式管理子系统、基础信息管理子系统、医保业务基础子系统、业务中台等 6 个子系统运维工作。参与了成都、深圳等多个地市 DRG/DIP 改革试点；积极参与院端 DRG 建设，已经覆盖 10 个省，为四川大学华西医院等多家三甲医院、昆钢医共体等多家医共体提供产品和服务。
展望未来，随着 AI 大模型技术的不断进步和应用领域的拓展，我们可以期待一个更加智能化、高效化的全新时代。无论是医疗、互联网还是其他领域，AI 大模型都将成为推动行业发展的强大引擎。
然而，医疗 AI 的落地仍面临诸多挑战。首先是数据隐私与安全，医疗数据高度敏感，如何在利用数据训练模型的同时保护患者隐私，联邦学习和隐私计算技术是关键。其次是模型的可解释性，医疗决策关乎生命安全，黑盒模型难以获得医生和监管机构的完全信任，可解释 AI（XAI）的研究至关重要。最后是幻觉问题，大模型可能生成看似合理但事实错误的信息，在医疗场景下这可能带来严重后果，因此需要引入检索增强生成（RAG）等技术来确保信息的准确性。
总体而言，医疗 AI 正处于从概念验证向规模化应用过渡的关键阶段。随着算力成本的下降、高质量医疗语料库的构建以及法律法规的完善，AI 将在辅助诊断、药物研发、健康管理等环节发挥更大的价值，最终构建起人机协同的未来医疗生态圈。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
