基于 LLM 技术优化产品流程
在本文中，我们会结合简单的示例，一起研究和学习基于大型语言模型 (LLM) 的产品开发流程，了解基于 LLM 的产品实现的所有必要阶段，包括规划、执行和监控。
自 ChatGPT、Midjourney、Runway 等产品推出以来，围绕生成式人工智能 GenAI 的讨论非常热烈。它所拥有的潜力令人兴奋，有望彻底改变行业并重新定义用户体验。然而，生成式人工智能的成功实施需要战略方法、对流程的理解以及清晰的路线图来应对所涉及的复杂性。
对于初次尝试结合 LLM 对产品进行重构或优化的新手 AI 产品经理，关键在于理解如何将这些工具集成到现有的产品管理流程中。让我们把这个过程分解为几个基本阶段，这些阶段需要周密的计划、精确的执行和警惕的监控。
首先，识别你的产品中可以通过 LLM 提升的部分，例如客户支持、内容生成或数据分析。其次，确定你的业务目标和用户需求，这将帮助你选择合适的 LLM 平台和模型。接着，通过小规模实验来测试 LLM 的效果，并根据反馈进行迭代优化。最后，不断监控 LLM 的表现，并确保它符合业务的长期战略和合规要求。
01 准备：规划基于 LLM 的产品项目
与任何成功的项目一样，LLM 开发项目需要经过彻底的思考和周密的规划。准备阶段致力于制定项目的总体目标并概述战略计划的细节。
阶段目标
此阶段可以由想要构建产品的公司/团队独立进行，也可以与其决定合作的 LLM 提供商（例如 Azure AI、百度千帆、华为盘古、智谱 AI……）合作进行。
在这一阶段，收集必要的资源非常重要，包括将用作上下文输入或用作 LLM 训练过程的数据集的相关数据。第三方供应商（例如 LLM 提供商）可能无法访问某些数据。因此，在现阶段就考虑如何克服这些障碍是必须的。
假设我们是一家名为 Nice 的自营电子商务公司的产品经理，公司（的运营部门）期望我们能提供一个工具（让我们把它命名为'商品描述生成器'），可以根据产品功能的简短列表为其网站生成产品描述。
在此阶段，我们应该收集数据，例如内容风格指南、每个产品的特征列表以及现有的产品描述，这些数据将在训练过程中用作 LLM 的上下文输入和输出。例如，如果公司无法与第三方供应商共享部分信息，可能是因为我们正在推出一款新产品，其详细信息仍然保密，那么就应该在现阶段考虑这个问题，并寻求合理的解决方案。
识别利益相关者（项目干系人）
利益相关者包括首席执行官、首席技术官和产品经理等战略决策者。产品经理通常是这个战略阶段的关键人物，因为我们对技术和业务都有所了解，是能够衔接和转换需求的人。
此外，最终实施该解决方案的人员也必须参与其中，以贡献他们的技术和实践专业知识。其中包括数据科学家、数据工程师、软件工程师、开发人员和设计师。
此外，除了业务分析师和领域专家协助做出最明智的战略决策外，法律和合规团队还应参与解决隐私问题。
当然，在小公司/团队中，可能并不具备这样'完整'的人员配置。
02 构建产品
一旦准备阶段完成，并制定了所需的结果，就可以构建模型了。
阶段目标
在这个阶段，我们的目标是落实准备阶段制定的所有计划，达到预期的结果；即 LLM 模型接受特定的输入并检索和生成适当的输出。
本阶段要完成的任务包括：
- 选择语言模型：这将在 LLM 提供者的帮助下完成。根据具体用例，需要考虑许多不同的因素。这些因素包括成本、性能和模型处理用例复杂性的能力。
- 定义用户流程和线框图（产品原型）：此阶段需要概述正在构建的工具的用户界面，同时确定预期的用户输入数据、其格式和所需的输出。如果正确完成此步骤，将在开发和构建产品时节省大量时间。
- 数据管理：这涉及为特定用例管理和准备必要的数据。这可以包括 LLM 各个组成部分将提供的不同类型输入的示例，以及所需输出的示例。该数据将用于在模型评估阶段测试模型的输出。如果数据安全问题尚未解决，那么现在是时候确定哪些数据可以共享，并找到任何数据隐私问题的解决方案。
- 模型训练/提示词工程：这是一项至关重要的任务，公司需要定制大语言模型以满足其特定需求。
这可以使用两种方法之一或两者的组合来完成。
- 第一个是通过向语言模型提供输入和预期输出的示例来进一步训练语言模型。这使我们能够学习特定语言模式的复杂性。
- 二是提示词工程。这涉及为语言模型精心定义输入查询、指令或上下文，以提供准确且相关的响应，优化特定任务或应用程序的预期输出。
- 模型（参数）调整：根据我们的具体需求调整参数（例如 Temperature、TopP、TopK）以优化响应质量。此步骤完善了模型理解和生成类人响应的能力，与产品目标保持一致。
- 模型评估：根据不同的场景和基准评估模型的性能。该评估提供了对其优势、劣势和需要改进的领域的见解，最终指导我们打造出想要的最终产品。
- 预处理和后处理：预处理涉及清理和构建模型的输入数据，而后处理则完善模型的输出，确保其连贯、语法正确并符合我们的品牌调性/业务需求。
