大模型入门教程（二）：LLM 的未来演进与安全性

然后我们就得到了下面这个回复：

[图片：ChatGPT 预测的 Scale.ai 未来估值]

Scale.ai 在今天的估值是 1500 亿美元，到了 2025 年底将会成长为近 2 万亿美元市值的公司。

可以使用工具是使大模型变得更加强大的关键因素，现在的大模型不只是一个逐步生成文字的工具，它会将现存的一些计算基础设施都绑定在一起，并与文字交织在一起，产生一段有意义的回复。

上面展示的工具包括了进行数据分析、调用代码库、使用搜索引擎等，根据上面的信息，我现在希望 ChatGPT 可以生成一幅描述 scale.ai 这个公司的图像。因为大模型可以记住上面我们询问的内容（Context Window），它已经对 scale.ai 这个公司有了不少的了解，再加上它本身可能记住了 scale.ai 的一些信息，并且还可以查询互联网，这时，它就可以调用另一个工具 DALL-E 来绘制图像了。

[图片：ChatGPT 调用 DALL-E 生成的公司概念图]

上面展示了 ChatGPT 对工具的使用，这也和人类解决问题的思路非常相近。我们面临问题的时候并不会仅仅在我们脑海里解决问题，我们也会使用大量的工具，这一操作对大模型来讲也是如此，也越来越成为模型发展的一个方向。

多听多看多说 - 多模态融合（视觉、音频）

上面展示了 ChatGPT 生成图像的能力（虽然这些图像只是调用工具的产物），其实，ChatGPT 不仅可以生成图像，还可以看到图像。在 OpenAI 创始人之一 Greg Brockman 的一次著名展示中，他向 ChatGPT 展示了一张自己用铅笔勾画出来的 MyJoke 网站的图片，ChatGPT 便根据这张图片编写出了该网站的功能代码，包括 HTML 和 JavaScript 代码，你可以访问这个网站，然后看到一则小笑话。

多模态除了可以融合文本和图像之外，还涉及音频等，所以现在 ChatGPT 既可以听也可以说。这种模式类似于我们面对一个对话界面，而无需输入任何文字，就像是 ChatGPT 在和用户直接进行对话，你可以说任何事情，ChatGPT 会通过语音给你回复。这种技术目前已经应用在了很多场景，比如音像、车载语音等，不过以前只是在某些领域的某些问题上可以语音交互，而大模型极大地拓宽了可交流的范围。

转变思维模式 - 系统一与系统二

这里需要引入《思考，快与慢》一书中系统一与系统二两种思维模式。这两种模式描述了两种不同的思维方式。系统一描述快速、直觉和自动的思维过程，比如问你 2 × 2 等于多少，我们不需要任何犹豫或计算可以立马知道等于 4，因为这个信息是即时可用的，是已经被放到缓存里的。但如果问你 17 × 24 等于多少，恐怕没有多少人可以立马给出答案，这时需要动用大脑中缓慢、理性的部分，执行若干计算和决策，最终得出答案。

再比如下国际象棋，在快速局中，没有时间进行完整的思考，更多是依靠直觉移动棋子，这时更多是使用系统一。在正式竞技对局中，有更多的时间去思考各种可能，这是一个需要人有意识去完成的事情，这就是系统二的工作方式。

目前大模型表现出来的更多是系统一的能力。它们更多是本能的进行响应，不断的生成一个个的单词，无法像人类一样进行深入思考和推理。所以现在许多人受到启发，开始研究如何赋予大模型系统二的能力。

直观上我们可以拿时间换精度，比如告诉 ChatGPT 说你可以不用立刻回答我的问题，给你 30 分钟去思考答案。当然现在的模型还不具备这个能力，这也是许多人正在努力实现的目标。我们希望模型能够构建思考树，每个树枝体现不同的可能性，这样模型可以不断的反思和重构问题，从而得到更准确的答案。这是一个研究方向，现在还做不到。

扔掉教科书 - 模型的自驱成长

AlphaGo 是模型自驱成长的一个典型例子。AlphaGo 的产生经历了两个阶段，第一个阶段是不断学习人类专家的围棋对局，通过不断模仿人类的下棋方式来提升棋艺，这一阶段很有效，但最高也不会超过人类专家水平，因此这一阶段的 AlphaGo 还下不赢人类中的顶尖高手，第二阶段通过自我完善的方式，以赢得比赛作为奖励，让模型不断进化，从而超越了人类的水平。

在围棋这种封闭的场景下，模型的自驱成长是有可能的，这里可以非常容易的设置奖励机制，即赢得比赛，通过赢或者输来获取正向或负向的反馈，通过完成百万级别的对局来实现模型的自我成长。在语言模型这种开放场景下，我们只完成了第一阶段，就是教会模型如何模仿人类回答问题。

在语言模型这种开放场景下的第二阶段应该是什么样子呢？首先一个问题就是如何设置奖励机制。因为面临更广泛的场景，每个场景都有不同的问题，很难设置一个单一的简单的奖惩机制来衡量所有场景中回复的好与坏，这种开放场景下如何进行模型的自驱成长仍然是未解之谜。

各取所需 - 大语言模型超市

在我们工作生活场景中会面临非常多的任务类型，我们希望能对大语言模型进行定制，让它们成为各个领域特定任务的专家。Sam Altman 宣布成立 GPT 应用商店，这也是 OpenAI 提供定制化能力的一步。

我们可以创建自己定制的 GPT 模型，目前定制能力还只包括提供一段任务描述的指令来定制 GPT，或者通过上传一个文件，文件里可能包含特定任务的专有知识，模型在回答的时候会参考这个文件中的内容，就像 ChatGPT 使用搜索引擎一样使用这个文件。

未来可能会提供对模型微调或者其他更多的定制化能力，最终希望能基于一个基础模型，通过定制化能力来应对各种各样的场景。

不只是聊天机器人 - 大语言模型操作系统

大语言模型不会是一个聊天机器人，更准确的描述应该是一个新型操作系统的内核进程，有一个中央处理器，一些存储单元，同时协调各种各样的工具来解决问题。

在未来的几年，大语言模型可能按照如下的趋势来发展。它们可以阅读和生成文本，在所有领域都拥有比人类更丰富的知识储备，还可以访问互联网或者本地文件来辅助生成内容。它们可以利用现有软件基础架构，比如 Python 库、计算器等，它们具备查看和生成图像和视频的能力，它们可以听见，可以说话，可以创作音乐，它们能够学会系统二进行深入思考，能够自驱成长，能够根据特定任务进行定制和细微调整等等。

下图可以看到这个新型的操作系统，和当前的操作系统存在很多相似之处。

[图片：大语言模型操作系统架构图]

首先这个内存结构是等效的。可以访问本地文件（磁盘）或互联网，这个上下文窗口类似于内存，可以记住我们最近的对话内容，而模型使用这些内容来预估下一个词，这个资源明显更加宝贵，就像内存资源比硬盘资源更宝贵一样。其他的比如多进程、多线程、任务调度执行等，也有非常多的联系。

另外这个新型操作系统和当前操作系统在生态上也非常类似。在当前操作系统的生态中，有一些专有的操作系统，比如 Windows 和 macOS，另外还有一大批基于 Linux 的开源操作系统。同样在新型操作系统里，也有一些专有的操作系统，比如 GPT 系列、Claude 系列以及 Bard 系列，同时也有一个快速兴起并逐渐成熟的开源大语言模型生态系统，比如 Llama 系列。

[图片：开源与大模型生态对比图]

新型操作系统以大语言模型为根基，组织用于解决问题的各种工具，并通过自然语言接口进行访问，这和当前操作系统的架构也是类似的。

三、LLM 安全性

随着大模型在实际生产环境中的应用日益广泛，其安全性问题也愈发凸显。以下是几个关键的安全风险点及应对策略：

1. 提示注入（Prompt Injection）

攻击者可以通过精心构造的输入，诱导模型忽略原有的系统指令，执行恶意操作。例如，让模型输出内部数据或执行代码。防御方法包括输入过滤、指令隔离以及强化模型对系统指令的遵循度。

2. 数据隐私泄露

大模型在训练过程中可能记忆了敏感信息，导致在推理时意外泄露。此外，用户输入的数据可能被用于后续训练。企业应建立严格的数据脱敏机制，并在部署时采用私有化模型或联邦学习技术。

3. 幻觉与虚假信息

模型可能生成看似合理但完全虚构的内容，这在医疗、法律等高风险领域尤为危险。解决方案包括引入 RAG（检索增强生成）技术，确保回答基于可信知识库，并增加事实核查环节。

4. 对抗性攻击

通过微小的扰动修改输入，可能导致模型输出错误分类或有害内容。这需要加强模型的鲁棒性训练，使用对抗样本进行预训练。

5. 滥用与恶意用途

大模型可能被用于生成钓鱼邮件、恶意代码或深度伪造内容。平台方需建立内容审核机制，限制高风险 API 调用，并监控异常使用行为。

综上所述，大模型的安全性建设是一个系统工程，需要从模型设计、数据治理、部署监控等多个层面协同推进。

总结

本文梳理了大模型技术的核心演进路径，从规模化定律的基础理论，到工具调用、多模态融合等能力扩展，再到思维模式的模拟与自驱成长的探索。同时，文章展望了大模型作为新型操作系统内核的未来形态，并重点补充了当前不可忽视的安全性挑战。理解这些维度，有助于开发者与技术决策者更好地把握大模型的技术边界与应用潜力。