2023 年是大模型技术发展的重要窗口期,应用场景落地成为关注焦点。
近日,中国信通院联合上海人工智能实验室成立的大模型测试验证与协同创新中心牵头,首次面向全国范围征集全行业优秀应用实践,并形成《2023 大模型落地应用案例集》(以下简称'《案例集》')。
作为首部聚焦落地应用的权威研究成果,《案例集》全面展示了大模型前沿技术和发展成果,推动了大模型为代表的人工智能技术赋能社会经济高质量发展。经专家组的多轮评审,共 52 个各自领域的典型大模型技术落地应用成功入选。
2022 年底 ChatGPT 的横空出世,引爆了国内外大模型的热情,各行各业的创业者已经集结在十字路口蓄势待发。
从国内市场来看,目前人工智能(AI)大模型已经在各行各业'落子不断'。据公开资料不完全统计显示,国内大模型的发展路径是'通用 + 垂直'两条腿走路,其中垂类大模型落地速度最快。《案例集》显示,有近 65%+ 的 AI 大模型是垂直大模型。
趋势已然,大模型技术突破代表了 AI 发展的一个重要里程碑,下面笔者将梳理中国从业者构建的'底层原创技术 - 中层基础模型 - 上层行业应用'的大模型图鉴。
大模型领域中国学者的技术贡献

2016 年,来自微软亚洲研究院的四位学者提出深度残差学习(ResNet),解决了深度网络的梯度传递问题。要知道,2015 年之前深度学习最多只能训练 20 层,ResNet 之后,就可以有效地训练超过百层的深度神经网络。这一创新为后续所有深层网络架构奠定了基础。

2017 年 Google 发布 Transformer,它的出现打稳了 AI 大模型的'地基',不仅'颠覆'了自然语言处理(NLP)中的机器翻译任务,而且还提供了一种新的思路来处理图像数据。
中国学者也围绕 Transformer 做了许多改进和完善,例如微软亚洲研究院联合西安交通大学推出 LONGNET,将 Transformer 的序列长度扩展 10 亿+;京东探索研究院联合武汉大学提出全球首个面向遥感任务设计的亿级视觉 Transformer 大模型;阿里达摩院提出新的 Transformer 结构 FMViT,大幅度提升 AI 模型精度与速度……
在大模型领域细数中国学者贡献,许多原创性贡献来自本土。已故的商汤科技创始人汤晓鸥在 2023 世界人工智能大会上,发表演讲时表示:在深度学习的大门上,我们按了 18 次门铃,取得了许多跨时代的突破。其中汤晓鸥提到了上海人工智能实验室领军科学家林达华,他当时设计的计算机视觉开源算法体系 OpenMMLab,目前已经成为国际上最具影响力的视觉算法开源体系。值得一提的是,林达华也是书生大模型体系的重要贡献者。
京东探索研究院早在 2021 年年初就展开了大模型体系(超级深度学习)的建设和基础研究,领导京东建设了中国第一个 NVIDIA DGX Superpod Alpha 超算集群。在此基础上,京东探索研究院的织女模型 Vega V2 在 2022 年登顶 SuperGLUE 榜首,一举超越同场竞技的谷歌、微软、Meta 等业界顶尖企业;2021 年研究院开发的大规模视觉模型 ViTAE,在 ImageNet Real 的目标识别和 MS COCO 的人体姿态估计等权威榜单上均获得世界第一。

图注:(上)2022 年京东探索研究院发表论文《Self-Evolution Learning for Discriminative Language Model Pretraining》,提出自我进化学习方法,为 Vega V2 大模型的设计提供核心思想;
(下)2021 年京东探索研究院发表论文《ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias》,尝试将 CNN 和 Transformer 相结合。

