近期,中国人工智能协会发布了《中国人工智能大模型技术白皮书》,该报告全面梳理了大模型的发展历程、关键技术架构、面临的困难与挑战以及未来发展的展望。本文对白皮书的核心内容进行深度解析,旨在为技术从业者提供清晰的技术演进脉络与行业洞察。
大模型发展历程
自 2006 年 Geoffrey Hinton 提出通过逐层无监督预训练解决深层网络训练难题以来,深度学习在多个领域取得突破性进展。这一过程经历了从标注数据监督学习到预训练模型,再到大模型的转变。2022 年底,OpenAI 发布的 ChatGPT 引发了全球广泛关注,展现了大模型在多场景、多用途、跨学科任务处理方面的卓越能力。大模型已被视为未来人工智能领域的关键基础设施。
语言大模型作为此次热潮的引领者,通过大规模预训练学习大量语言知识与世界知识,具备面向多任务的通用求解能力。其发展主要经历了四个阶段:
- 统计语言模型:基于马尔可夫假设,但受到数据稀疏问题的影响,难以捕捉长距离依赖。
- 神经语言模型:通过神经网络建模语义共现关系,能够捕获复杂的语义依赖,提升了表示能力。
- 预训练语言模型:采用'预训练 + 微调'范式,通过自监督学习适配下游任务,显著降低了标注数据的依赖。
- 语言大模型(探索阶段):基于扩展定律,随着模型参数和预训练数据规模的增加,模型能力与任务效果不断改善,还展示出了一些小规模模型所不具备的'涌现能力'。
大模型应用现状
大模型时代正逐步到来,以 ChatGPT 为代表的大模型技术将在经济、法律、社会等领域发挥重要作用。OpenAI 研发了 GPT-1(1.1 亿参数)、GPT-2(15 亿参数)和 GPT-3(1750 亿参数)等不同规模的语言模型,谷歌则推出了 5400 亿参数的 PaLM 模型。当模型参数规模达到千亿量级,语言大模型展现出多方面能力跃升。例如,GPT-3 通过提示词或少数样例即可完成多种任务,实现了零样本或少样本学习。
OpenAI 在 Transformer 架构推出后,研发了一系列语言大模型技术:
- GPT-1:探索了解码器 Transformer 架构在自然语言任务求解能力。
- GPT-2:验证了扩大模型参数规模的有效性,并探索了基于自然语言提示的多任务解决能力。
- GPT-3:首次探索了千亿参数规模的语言模型效果,提出基于'上下文学习'的任务解决方法。
- CodeX:使用代码数据对 GPT-3 进行微调,提升代码生成和复杂推理能力。
- InstructGPT 和 ChatGPT:基于人类反馈的强化学习技术,强化对于人类指令的遵循能力和人类偏好的对齐能力。
- GPT-4:能够处理更长的上下文窗口,具备多模态理解能力,逻辑推理、复杂任务处理能力得到显著改进。随着 GPT-4 的成功,语言大模型对多模态领域产生了重要影响,可以接受文本与图像组合的输入,更加符合人类的多渠道感知方式,应对更复杂的任务。GPT-4 表明,引入基于人类知识的自然语言能提升模型的多模态理解和生成能力。
大模型技术生态
大模型技术生态正在快速发展,多种服务平台向个人开放和商业应用延伸。OpenAI API 让用户通过 API 访问不同的 GPT 模型完成任务。Anthropic 开发的 Claude 系列模型通过无监督预训练和强化学习进行训练,强调模型的有用性、诚实性和无害性。百度文心一言是基于知识增强的大模型,提供多种开放服务,还建设了插件机制拓展能力。讯飞星火认知大模型具有开放式知识问答、多轮对话、逻辑和数学能力,以及对代码和多模态的理解能力。讯飞和华为联合发布了支持大模型训练私有化的产品'星火一体机',满足企业数据安全需求。
大模型的开源生态也丰富多样,包括开源框架和开源大模型。开源框架如 PyTorch 和飞桨支持大规模分布式训练,OneFlow 支持动静态图灵活转换,DeepSpeed 减少冗余内存访问以训练更大模型。开源大模型如 LLaMA、Falcon 和 GLM 降低研究门槛,促进应用繁荣。Baichuan 系列模型支持中英双语,使用高质量训练数据,表现优秀,并开源了多种量化版本。CPM 系列在中文 NLP 任务上表现卓越。
大模型技术具有广泛的应用场景,可以赋能不同行业。大模型在许多领域都有广泛应用,如新闻、影视、营销、娱乐、军事、教育、金融和医疗等。它可以降低生产成本,提高作品质量,助力产品营销,增强决策能力,使教育方式更个性化、智能化,提高金融服务质量,赋能医疗机构诊疗全过程。此外,大模型被认为是未来人工智能应用中的关键基础设施,可带动上下游产业的革新,形成协同发展生态,对经济、社会和安全等领域的智能化升级中形成关键支撑。
大模型的风险和挑战
然而,大模型技术仍存在许多风险和挑战。其可靠性无法得到有效保障,合成内容在事实性、时效性方面存在问题,即所谓的'幻觉'现象。大模型的可解释性不足,其工作机理难以理解,黑盒特性使得调试和验证变得困难。此外,大模型应用部署代价高,存在训练和推理计算量大、功耗高、应用成本高、端侧推理存在延迟等问题。在大数据不足的情况下,大模型的迁移能力存在不足,面临鲁棒性和泛化性等挑战。此外,大模型还存在被滥用于制造虚假信息、恶意引导行为等伴生技术风险问题,以及安全与隐私问题,如数据泄露和模型窃取。


