大模型入门教程(二):LLM 的未来演进与安全性
探讨大语言模型的未来发展趋势,涵盖规模化定律对模型效果的影响,模型通过调用外部工具(如搜索、计算器、绘图库)增强能力的进化路径,多模态融合带来的视听交互能力,以及系统一与系统二思维模式在模型推理中的体现。文章还分析了模型的自驱成长机制、定制化应用前景及操作系统化趋势,并补充了大模型安全性的关键风险点,包括提示注入、数据隐私泄露等问题,为理解 LLM 技术全景提供完整视角。

探讨大语言模型的未来发展趋势,涵盖规模化定律对模型效果的影响,模型通过调用外部工具(如搜索、计算器、绘图库)增强能力的进化路径,多模态融合带来的视听交互能力,以及系统一与系统二思维模式在模型推理中的体现。文章还分析了模型的自驱成长机制、定制化应用前景及操作系统化趋势,并补充了大模型安全性的关键风险点,包括提示注入、数据隐私泄露等问题,为理解 LLM 技术全景提供完整视角。

接下来讨论大模型是如何逐步进化的,以及目前的进展情况。
首先要提到的是关于大模型效果的规模化定律(Scaling Law)。简单说就是大模型在预估下一个词这一任务上的效果只跟两个因子相关,并且与这两个因子存在着某种函数关系,这两个因子就是模型参数量和训练数据量。只要知道了这两个因子,就可以比较置信地预估出模型在预估下一个词这个任务上的效果。
就当前来讲,这一准则还没有显现出到顶的迹象,所以在更多的数据上训练更大的模型,仍然大概率会得到更好的模型(就预估下一个词这个任务而言)。所以模型、算法本身的进步显得并不是那么必要,只要有更好的计算机,更多的数据,更大的模型,训练更长的时间,就可以'毫不费力'地获得一个更好的模型。虽然在实践中,预估下一个词的准确性通常不是优先考虑的指标,但是从经验上看这一任务和许多我们关心的任务都有一定的关联性。
这就是目前为什么计算资源显得尤其重要的原因,因为计算资源保证了可以使用更多的数据来训练更大的模型,从而取得更好的效果。每个人都在争取更大的 GPU 集群和更多的数据,因为这些目前来看几乎保证了可以得到一个效果优异的模型。模型结构和算法上的进步也有很多人在投入其中,也取得了一些不错的成果,但从根本上来讲,规模化是提供了一条保证成功的道路。
个人认为规模化定律这一发现具有非凡的意义,不仅在于提供了一种获取更好模型的'捷径',更是在于如果将神经网络类比成人脑,目前大模型的参数量已经可以与人脑神经元比肩,并且在一些场景下也展现了非凡的能力。规模化定律也是指引了一条通向超越人类智能的一个方向。
接下来是通过一个例子来演示一下语言模型的特性,以及它们是如何随着时间的推移而演进的。现在对 ChatGPT 输入如下信息:
收集关于 scale.ai 的相关信息,包括创立时间、规模、融资轮次和估值,将这些信息通过表格组织起来。
在微调阶段,ChatGPT 已经见过了很多类似的问题,因此它可以理解这个问题的具体需求。这类问题不能通过传统的语言模型(生成一个一个的字,从而组成一句话的形式)来解决,因为涉及到一些事实类的信息,需要依赖一些工具。首先一个工具是浏览器,就像我们遇到这类问题会首先想到去网上搜索一样。ChatGPT 理解这个问题,然后转向搜索引擎,搜索引擎会将搜索结果文本给回 ChatGPT,ChatGPT 就可以根据搜索结果生成如下的回复。
[图片:ChatGPT 生成的 Scale.ai 融资信息表格]
ChatGPT 将每一轮的融资和估值情况按照我们的需求列成了表格,并且每一轮的信息都给了引用的链接,表示这部分信息是从哪里获取的。最后一行那里写了【抱歉无法提供 A 轮和 B 轮的估值情况】,说明 ChatGPT 从搜索引擎没有找到对应的信息,所以上面表格右下角那里写了【Not Available】。
因为可以观察到 C/D/E 轮的估值和融资之间大概存在着某种比例关系,所以可以让 ChatGPT 大概猜测一下 A/B 轮的融资和估值。于是继续问:
根据 C、D、E 轮的融资/估值的比例关系,大概猜一下 A 轮和 B 轮的估值。
如果是人遇到这个问题,我们可能不会心算这个比例,因为心算这个数值的除法还是有点难的。同样这个运算对于 ChatGPT 来讲也是有点难的,所以 ChatGPT 也学会了使用计算器。计算器也是它可以使用的一项工具,于是就很容易推算出了如下结果。
[图片:ChatGPT 使用计算器推算出的估值结果]
ChatGPT 推算出了 A 轮和 B 轮的估值分别是 7000 万和 2.83 亿,对不对无所谓,反正是猜的。现在我想让这些数据以图表的形式呈现给我,于是提出如下要求:
请将这些数据组织成 2 维图表的形式。x 轴代表日期,y 轴代表 scale.ai 的估值,其中 y 轴的值进行对数缩放。搞一个好看又专业的图表给我,并且图表里要带网格线。
这里 ChatGPT 再次使用工具,调用了 Python 的 matplotlib 库来绘制出了下面这个二维图表:
import matplotlib.pyplot as plt
# 模拟绘图逻辑
plt.plot(date_list, valuation_list)
plt.yscale('log')
plt.grid(True)
plt.show()
[图片:ChatGPT 绘制的 Scale.ai 估值趋势图]
更进一步,我们可以要求模型对公司估值趋势进行预估:
基于上面的图表,请画出一条趋势线,一直延伸到 2025 年底。然后画一条代表今天这个时间的垂直线,根据绘制的趋势线,告诉我今天 scale.ai 的估值是多少。
然后我们就得到了下面这个回复:
[图片:ChatGPT 预测的 Scale.ai 未来估值]
Scale.ai 在今天的估值是 1500 亿美元,到了 2025 年底将会成长为近 2 万亿美元市值的公司。
可以使用工具是使大模型变得更加强大的关键因素,现在的大模型不只是一个逐步生成文字的工具,它会将现存的一些计算基础设施都绑定在一起,并与文字交织在一起,产生一段有意义的回复。
上面展示的工具包括了进行数据分析、调用代码库、使用搜索引擎等,根据上面的信息,我现在希望 ChatGPT 可以生成一幅描述 scale.ai 这个公司的图像。因为大模型可以记住上面我们询问的内容(Context Window),它已经对 scale.ai 这个公司有了不少的了解,再加上它本身可能记住了 scale.ai 的一些信息,并且还可以查询互联网,这时,它就可以调用另一个工具 DALL-E 来绘制图像了。
[图片:ChatGPT 调用 DALL-E 生成的公司概念图]
上面展示了 ChatGPT 对工具的使用,这也和人类解决问题的思路非常相近。我们面临问题的时候并不会仅仅在我们脑海里解决问题,我们也会使用大量的工具,这一操作对大模型来讲也是如此,也越来越成为模型发展的一个方向。
上面展示了 ChatGPT 生成图像的能力(虽然这些图像只是调用工具的产物),其实,ChatGPT 不仅可以生成图像,还可以看到图像。在 OpenAI 创始人之一 Greg Brockman 的一次著名展示中,他向 ChatGPT 展示了一张自己用铅笔勾画出来的 MyJoke 网站的图片,ChatGPT 便根据这张图片编写出了该网站的功能代码,包括 HTML 和 JavaScript 代码,你可以访问这个网站,然后看到一则小笑话。
多模态除了可以融合文本和图像之外,还涉及音频等,所以现在 ChatGPT 既可以听也可以说。这种模式类似于我们面对一个对话界面,而无需输入任何文字,就像是 ChatGPT 在和用户直接进行对话,你可以说任何事情,ChatGPT 会通过语音给你回复。这种技术目前已经应用在了很多场景,比如音像、车载语音等,不过以前只是在某些领域的某些问题上可以语音交互,而大模型极大地拓宽了可交流的范围。
这里需要引入《思考,快与慢》一书中系统一与系统二两种思维模式。这两种模式描述了两种不同的思维方式。系统一描述快速、直觉和自动的思维过程,比如问你 2 × 2 等于多少,我们不需要任何犹豫或计算可以立马知道等于 4,因为这个信息是即时可用的,是已经被放到缓存里的。但如果问你 17 × 24 等于多少,恐怕没有多少人可以立马给出答案,这时需要动用大脑中缓慢、理性的部分,执行若干计算和决策,最终得出答案。
再比如下国际象棋,在快速局中,没有时间进行完整的思考,更多是依靠直觉移动棋子,这时更多是使用系统一。在正式竞技对局中,有更多的时间去思考各种可能,这是一个需要人有意识去完成的事情,这就是系统二的工作方式。
目前大模型表现出来的更多是系统一的能力。它们更多是本能的进行响应,不断的生成一个个的单词,无法像人类一样进行深入思考和推理。所以现在许多人受到启发,开始研究如何赋予大模型系统二的能力。
直观上我们可以拿时间换精度,比如告诉 ChatGPT 说你可以不用立刻回答我的问题,给你 30 分钟去思考答案。当然现在的模型还不具备这个能力,这也是许多人正在努力实现的目标。我们希望模型能够构建思考树,每个树枝体现不同的可能性,这样模型可以不断的反思和重构问题,从而得到更准确的答案。这是一个研究方向,现在还做不到。
AlphaGo 是模型自驱成长的一个典型例子。AlphaGo 的产生经历了两个阶段,第一个阶段是不断学习人类专家的围棋对局,通过不断模仿人类的下棋方式来提升棋艺,这一阶段很有效,但最高也不会超过人类专家水平,因此这一阶段的 AlphaGo 还下不赢人类中的顶尖高手,第二阶段通过自我完善的方式,以赢得比赛作为奖励,让模型不断进化,从而超越了人类的水平。
在围棋这种封闭的场景下,模型的自驱成长是有可能的,这里可以非常容易的设置奖励机制,即赢得比赛,通过赢或者输来获取正向或负向的反馈,通过完成百万级别的对局来实现模型的自我成长。在语言模型这种开放场景下,我们只完成了第一阶段,就是教会模型如何模仿人类回答问题。
在语言模型这种开放场景下的第二阶段应该是什么样子呢?首先一个问题就是如何设置奖励机制。因为面临更广泛的场景,每个场景都有不同的问题,很难设置一个单一的简单的奖惩机制来衡量所有场景中回复的好与坏,这种开放场景下如何进行模型的自驱成长仍然是未解之谜。
在我们工作生活场景中会面临非常多的任务类型,我们希望能对大语言模型进行定制,让它们成为各个领域特定任务的专家。Sam Altman 宣布成立 GPT 应用商店,这也是 OpenAI 提供定制化能力的一步。
我们可以创建自己定制的 GPT 模型,目前定制能力还只包括提供一段任务描述的指令来定制 GPT,或者通过上传一个文件,文件里可能包含特定任务的专有知识,模型在回答的时候会参考这个文件中的内容,就像 ChatGPT 使用搜索引擎一样使用这个文件。
未来可能会提供对模型微调或者其他更多的定制化能力,最终希望能基于一个基础模型,通过定制化能力来应对各种各样的场景。
大语言模型不会是一个聊天机器人,更准确的描述应该是一个新型操作系统的内核进程,有一个中央处理器,一些存储单元,同时协调各种各样的工具来解决问题。
在未来的几年,大语言模型可能按照如下的趋势来发展。它们可以阅读和生成文本,在所有领域都拥有比人类更丰富的知识储备,还可以访问互联网或者本地文件来辅助生成内容。它们可以利用现有软件基础架构,比如 Python 库、计算器等,它们具备查看和生成图像和视频的能力,它们可以听见,可以说话,可以创作音乐,它们能够学会系统二进行深入思考,能够自驱成长,能够根据特定任务进行定制和细微调整等等。
下图可以看到这个新型的操作系统,和当前的操作系统存在很多相似之处。
[图片:大语言模型操作系统架构图]
首先这个内存结构是等效的。可以访问本地文件(磁盘)或互联网,这个上下文窗口类似于内存,可以记住我们最近的对话内容,而模型使用这些内容来预估下一个词,这个资源明显更加宝贵,就像内存资源比硬盘资源更宝贵一样。其他的比如多进程、多线程、任务调度执行等,也有非常多的联系。
另外这个新型操作系统和当前操作系统在生态上也非常类似。在当前操作系统的生态中,有一些专有的操作系统,比如 Windows 和 macOS,另外还有一大批基于 Linux 的开源操作系统。同样在新型操作系统里,也有一些专有的操作系统,比如 GPT 系列、Claude 系列以及 Bard 系列,同时也有一个快速兴起并逐渐成熟的开源大语言模型生态系统,比如 Llama 系列。
[图片:开源与大模型生态对比图]
新型操作系统以大语言模型为根基,组织用于解决问题的各种工具,并通过自然语言接口进行访问,这和当前操作系统的架构也是类似的。
随着大模型在实际生产环境中的应用日益广泛,其安全性问题也愈发凸显。以下是几个关键的安全风险点及应对策略:
攻击者可以通过精心构造的输入,诱导模型忽略原有的系统指令,执行恶意操作。例如,让模型输出内部数据或执行代码。防御方法包括输入过滤、指令隔离以及强化模型对系统指令的遵循度。
大模型在训练过程中可能记忆了敏感信息,导致在推理时意外泄露。此外,用户输入的数据可能被用于后续训练。企业应建立严格的数据脱敏机制,并在部署时采用私有化模型或联邦学习技术。
模型可能生成看似合理但完全虚构的内容,这在医疗、法律等高风险领域尤为危险。解决方案包括引入 RAG(检索增强生成)技术,确保回答基于可信知识库,并增加事实核查环节。
通过微小的扰动修改输入,可能导致模型输出错误分类或有害内容。这需要加强模型的鲁棒性训练,使用对抗样本进行预训练。
大模型可能被用于生成钓鱼邮件、恶意代码或深度伪造内容。平台方需建立内容审核机制,限制高风险 API 调用,并监控异常使用行为。
综上所述,大模型的安全性建设是一个系统工程,需要从模型设计、数据治理、部署监控等多个层面协同推进。
本文梳理了大模型技术的核心演进路径,从规模化定律的基础理论,到工具调用、多模态融合等能力扩展,再到思维模式的模拟与自驱成长的探索。同时,文章展望了大模型作为新型操作系统内核的未来形态,并重点补充了当前不可忽视的安全性挑战。理解这些维度,有助于开发者与技术决策者更好地把握大模型的技术边界与应用潜力。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online