大模型（LLM）在企业中的典型应用场景
自生成式人工智能模型问世以来，其潜力已给许多企业领导者留下了深刻印象。大型语言模型（LLM）正在重塑企业的技术架构与业务流程。本文将深入探讨企业正在考虑使用 LLM 的常见应用场景、技术实现路径及潜在挑战。
1. 将自建机器学习模型外包给 LLM
许多先进企业已经聘请了数据科学家来内部构建预测模型，以增强他们的应用程序。对于这些企业来说，一个常见的计划是将他们自行开发的文本分类模型，如'情感分析'、'意图检测'、'文本分类'、'语言翻译'等外包给 LLM。
成本与效率权衡
在这个过程中，当企业被 LLM 按照 token 收费时，需要认识到运营成本的变化。虽然商业 LLM 推理成本可能高于传统小模型，但开发和维护成本大幅降低。许多企业最初会使用商业 LLM 来验证模型效果，然后迁移到开源 LLM 以降低长期成本。
通过将自建模型外包给 LLM，企业希望减少其上市时间（Time-to-Market）以及模型维护成本。对于非核心业务场景，直接调用 API 往往比训练专用模型更具性价比。
2. 通过 LLM 整合分散的数据
使用不同应用程序（如 ERP、CRM 等）运营业务的企业，信息往往分散在多个系统中，这使得构建全面视图变得困难。例如，销售人员可能将客户信息分散在电子邮件、会议记录、在线评论、帮助台等多个地方。
RAG 架构的应用
LLM 可以用来从多个来源汇总信息，构建一个有组织的大局观。结合检索增强生成（RAG）技术，LLM 可以持续消化新信息以更新知识图谱。例如，LLM 扫描电子邮件和聊天机器人对话，检测其中提到的客户和行动，将它们插入后端知识图谱，并使用这些信息为 prompt 提供基础信息。
通过更有效的方式整理分散的信息，可以提高员工的生产力，确保决策基于最新的全局数据。
3. 将 LLM 聊天界面整合到现有产品中
图形用户界面（GUI）一直是用户与应用程序交互的主流方式。应用程序开发者基于对正常使用流程的预期，设计各种屏幕/页面并将它们相互连接。但是使用流程是由应用程序设计者而不是用户控制的，所以一些边缘情况常常没有被考虑到。
自然语言交互的优势
聊天机器人就是把控制权交还给用户，因为用户可以在通用聊天框中输入任何他们想要的内容，而不是跟随预定义的页面流程。有了 LLM，提供有效的聊天界面比以前容易得多。大多数 LLM 提供商提供了一个特殊的'ChatCompletion'接口，允许在对话中明确捕获上下文、问题和答案。
通过精心设计的提示模板，企业可以指导 LLM 查看完整的对话历史，在产生响应之前提取必要的基础数据。LLM 已经证明了它在对话上的强大能力。企业正在积极探索使用 LLM 为他们现有的应用程序添加聊天界面，以便给予用户更多的控制权。
任务执行流程
企业使用高级 LLM 通过对话检测意图，与预定义的交易任务匹配，触发一个子流程，引导用户通过聊天界面提供必要信息。一旦收集到足够的信息并与用户确认，LLM 将生成执行计划并调用后端系统完成交易。
一个流行的界面是'与您的数据对话'，其中用户使用自然语言向数据库提问。LLM 将问题（连同上下文）转化为数据库查询，提取相关数据生成视觉图表，最后向用户提供音频解释。
随着这一趋势的持续，聊天框可能会演变为跨所有应用程序捕获用户输入的通用用户界面，而不是每个应用程序都有自己的 UI 设计。输出将是多模态的，包括文本、图像、音频等。
通过聊天界面将更多控制权还给用户，企业期望增加用户的参与度，并从产品的使用中收集更多反馈。
4. 通过 LLM 改善客户的搜索体验
对于电子商务网站来说，拥有一个有效的搜索界面（使客户能够找到他们需要的东西）对企业收入有直接影响。大多数拥有 Web 界面的企业通常已经开发了自己的搜索机制，通常通过将内容索引到文本数据库中，并在其网站上提供一个搜索框，允许用户提交查询。
语义理解与意图识别
由于具有强大的'查询理解'能力，LLM 可以通过用户在网站上的互动轨迹，分析聊天界面的对话和会话，更深入地理解用户的意图。这提供了比搜索框中的简短查询更多的信号，可以通过多媒体（包含文本和图像）提供更丰富的搜索体验，用户可以使用自然语言对图像或视频的语料库进行搜索。
企业期望 LLM 增强的搜索界面能够返回更有用、更相关的响应，以匹配用户的兴趣，从而提升转化率。
5. 通过 LLM 实现客户自助服务
客户服务是许多企业的重要组成部分。企业已经建立了大型支持系统来支持他们的客户。当客户报告问题时，指定的支持人员通常会将问题描述与一系列知识文章、用户手册、以前的案例等进行匹配，试图找到解决客户问题的方案。这个过程可能非常繁琐、耗时，并且高度依赖于个别支持人员的经验。客户服务通常占企业大部分运营成本的一大部分。
智能知识库问答
因此，简化客户支持至关重要。一个方向是研究如何为客户提供自助服务能力。凭借推理和解释能力，企业开始使用 LLM 作为一个工具，让客户了解他们的产品以及解决自己的问题。这不仅可以减轻支持人员的工作负担，还可以提高客户满意度，因为 LLM 可以更准确地查找现有案例和文章，并更快地解决问题。
企业期望使用 LLM 进行客户自助服务可以大幅降低客户支持成本，并提高客户对产品的整体信心。
6. 使用 LLM 与客户定制化沟通
在客户关系管理周期中，企业经常与客户进行沟通，发送公司新闻、产品更新、促销邮件等。一般企业是通过邮件模板完成的，发送消息时，企业将提取特定于客户的信息（例如姓名、地址等）到数据文件中，用于填充消息模板中的占位符。消息的个性化仅限于占位符所在的位置。
动态内容生成
使用 LLM，填充占位符后构建的消息可以通过 LLM 重写进一步个性化。企业将使用特殊的提示模板指导 LLM 重写消息，加入额外的客户信息，如购买历史、浏览历史等。通过这一额外的重写步骤，每个客户现在都能看到为他们的兴趣和过往互动量身定制的不同消息。
企业期望 LLM 能够使他们进行大规模个性化，并为每个客户提供独特的体验，提高他们的参与度。
7. 使用 LLM 加速开发高级应用程序
在过去的二十年里，以服务为导向的架构主导了我们软件的交付方式。很多公司把他们的软件做成了可以远程调用的 API 形式，现在网上有很多公共服务可以用。公司可以通过组合这些服务来创建更高级别、特定领域的应用程序功能。这通常是通过编码（调用现有服务）或使用工作流工具（用 UI 定义服务流程图）来完成的。
Agent 代理架构
有了 LLM 代理架构，从现有服务中组合高级应用程序功能变得更简单了。公司首先定义他们信任的服务（无论是内部的还是外部的），设定 API 接口和输入/输出的信息格式，再加上详细描述它提供的功能，然后把这些服务存储在一个元数据仓库里。为了构建一个更高级别的应用程序，公司可以用文字描述他们的高级目标，配备了推理和规划能力的 LLM 代理会查看元数据仓库，看看有哪些现有的服务可以用，制定一个计划，然后通过调用这些现有服务来执行这个计划。
公司期望 LLM 能缩短他们高级应用程序开发的周期，使他们能够在快速变化、竞争激烈的商业环境中更快地尝试新想法。
8. 使用 LLM 生成的代码来整合后端系统
将现有后端系统与新开发的应用程序集成一直是许多企业的长期挑战。为了消除功能重复并确保数据一致性，开发新应用程序还需要彻底了解现有后端系统的工作方式，例如数据存储在哪里，如何访问它们等。传统上，这一领域由 EAI 工具覆盖，这些工具提供与各种后端数据库和 ERP 系统的不同连接器。
自动化胶水代码
借助 LLM 的推理和规划能力，企业首先可以将其后端系统用 API 封装起来，并将其与其功能和存储数据的清晰描述一起纳入元数据仓库。之后，企业可以指导 LLM 代理生成必要的胶水代码以与其后端系统集成。
企业期望 LLM 能提供一种更快的方式来与他们的后端系统集成，并降低他们的整体维护成本，因为他们的后端系统独立发展。
9. 总结思考与实施建议
自从 ChatGPT 问世以来，企业正在消化这项新技术以及他们如何能够利用它。LLM 带来了一系列新的能力，使企业能够做以前不可能做到的事情。另一方面，LLM 也带来了一系列新的挑战和未知因素。
风险与挑战
企业在部署 LLM 时需关注以下风险：
- 幻觉问题：模型可能生成看似合理但事实错误的内容，需通过 RAG 和人工审核缓解。
- 数据安全：敏感数据不应直接发送给公有云模型，需考虑私有化部署或数据脱敏。
- 延迟与成本：实时应用需优化 Token 消耗，平衡响应速度与费用。
实施路线图
- 评估阶段：确定高价值场景，如客服、文档检索。
- POC 验证：小规模测试 LLM 效果，建立基准指标。
- 集成开发：将 LLM 嵌入现有工作流，确保稳定性。
- 监控优化：持续跟踪性能，根据反馈调整 Prompt 和模型参数。
通过合理规划，企业可以有效利用 LLM 技术提升竞争力，同时规避潜在风险。