大模型（LLM）在企业中的典型应用场景
自生成式人工智能模型问世以来，其潜力已给许多企业领导者留下了深刻印象。大型语言模型（LLM）正在重塑企业的技术架构与业务流程。本文将深入探讨企业正在考虑使用 LLM 的常见应用场景、技术实现路径及潜在挑战。
1. 将自建机器学习模型外包给 LLM
许多先进企业已经聘请了数据科学家来内部构建预测模型，以增强他们的应用程序。对于这些企业来说，一个常见的计划是将他们自行开发的文本分类模型，如'情感分析'、'意图检测'、'文本分类'、'语言翻译'等外包给 LLM。
成本与效率权衡
在这个过程中，当企业被 LLM 按照 token 收费时，需要认识到运营成本的变化。虽然商业 LLM 推理成本可能高于传统小模型，但开发和维护成本大幅降低。许多企业最初会使用商业 LLM 来验证模型效果，然后迁移到开源 LLM 以降低长期成本。
通过将自建模型外包给 LLM，企业希望减少其上市时间（Time-to-Market）以及模型维护成本。对于非核心业务场景，直接调用 API 往往比训练专用模型更具性价比。
2. 通过 LLM 整合分散的数据
使用不同应用程序（如 ERP、CRM 等）运营业务的企业，信息往往分散在多个系统中，这使得构建全面视图变得困难。例如，销售人员可能将客户信息分散在电子邮件、会议记录、在线评论、帮助台等多个地方。
RAG 架构的应用
LLM 可以用来从多个来源汇总信息，构建一个有组织的大局观。结合检索增强生成（RAG）技术，LLM 可以持续消化新信息以更新知识图谱。例如，LLM 扫描电子邮件和聊天机器人对话，检测其中提到的客户和行动，将它们插入后端知识图谱，并使用这些信息为 prompt 提供基础信息。
通过更有效的方式整理分散的信息，可以提高员工的生产力，确保决策基于最新的全局数据。
3. 将 LLM 聊天界面整合到现有产品中
图形用户界面（GUI）一直是用户与应用程序交互的主流方式。应用程序开发者基于对正常使用流程的预期，设计各种屏幕/页面并将它们相互连接。但是使用流程是由应用程序设计者而不是用户控制的，所以一些边缘情况常常没有被考虑到。
自然语言交互的优势
聊天机器人就是把控制权交还给用户，因为用户可以在通用聊天框中输入任何他们想要的内容，而不是跟随预定义的页面流程。有了 LLM，提供有效的聊天界面比以前容易得多。大多数 LLM 提供商提供了一个特殊的'ChatCompletion'接口，允许在对话中明确捕获上下文、问题和答案。
通过精心设计的提示模板，企业可以指导 LLM 查看完整的对话历史，在产生响应之前提取必要的基础数据。LLM 已经证明了它在对话上的强大能力。企业正在积极探索使用 LLM 为他们现有的应用程序添加聊天界面，以便给予用户更多的控制权。
任务执行流程
企业使用高级 LLM 通过对话检测意图，与预定义的交易任务匹配，触发一个子流程，引导用户通过聊天界面提供必要信息。一旦收集到足够的信息并与用户确认，LLM 将生成执行计划并调用后端系统完成交易。
一个流行的界面是'与您的数据对话'，其中用户使用自然语言向数据库提问。LLM 将问题（连同上下文）转化为数据库查询，提取相关数据生成视觉图表，最后向用户提供音频解释。
随着这一趋势的持续，聊天框可能会演变为跨所有应用程序捕获用户输入的通用用户界面，而不是每个应用程序都有自己的 UI 设计。输出将是多模态的，包括文本、图像、音频等。
通过聊天界面将更多控制权还给用户，企业期望增加用户的参与度，并从产品的使用中收集更多反馈。
4. 通过 LLM 改善客户的搜索体验
对于电子商务网站来说，拥有一个有效的搜索界面（使客户能够找到他们需要的东西）对企业收入有直接影响。大多数拥有 Web 界面的企业通常已经开发了自己的搜索机制，通常通过将内容索引到文本数据库中，并在其网站上提供一个搜索框，允许用户提交查询。
语义理解与意图识别
由于具有强大的'查询理解'能力，LLM 可以通过用户在网站上的互动轨迹，分析聊天界面的对话和会话，更深入地理解用户的意图。这提供了比搜索框中的简短查询更多的信号，可以通过多媒体（包含文本和图像）提供更丰富的搜索体验，用户可以使用自然语言对图像或视频的语料库进行搜索。
企业期望 LLM 增强的搜索界面能够返回更有用、更相关的响应，以匹配用户的兴趣，从而提升转化率。
5. 通过 LLM 实现客户自助服务
客户服务是许多企业的重要组成部分。企业已经建立了大型支持系统来支持他们的客户。当客户报告问题时，指定的支持人员通常会将问题描述与一系列知识文章、用户手册、以前的案例等进行匹配，试图找到解决客户问题的方案。这个过程可能非常繁琐、耗时，并且高度依赖于个别支持人员的经验。客户服务通常占企业大部分运营成本的一大部分。
智能知识库问答
因此，简化客户支持至关重要。一个方向是研究如何为客户提供自助服务能力。凭借推理和解释能力，企业开始使用 LLM 作为一个工具，让客户了解他们的产品以及解决自己的问题。这不仅可以减轻支持人员的工作负担，还可以提高客户满意度，因为 LLM 可以更准确地查找现有案例和文章，并更快地解决问题。
