大模型 AI 应用架构详解
关于大模型 AI 应用架构的文章目前并不多，在经过几次小的项目探索后，本文旨在梳理一套通用的 AI 产品架构，供开发者与产品经理参考。
如果说 2023 年是大模型基础设施爆发的一年，机会主要给了大厂或拿到大笔融资的创业者；那么 2024 年将是 AI 应用落地爆发的一年，意味着普通开发者和中小团队有更多的机会加入这一浪潮。本文将结合基于大模型的 AI 产品架构，探讨如何构建高质量的问答机器人及垂直领域应用。
1. 从 AI 产品的诉求出发看设计
一切的设计都是从需求出发，大模型 AI 产品也不例外。最近接触到的核心诉求是：如何基于自己的知识库构建专属的问答机器人。
典型场景包括：
- 绘本馆老板：希望通过机器人对话推荐书籍，提高社群活跃度。
- 留学咨询机构：希望机器人解答专业论文难题，获取留学线索。
- 企业内部 HR：希望通过机器人进行日常政策答疑解惑。
这些需求早已存在，但传统技术难以完美解决。早期大模型做出来的机器人常被称为'人工智障'，而当前大模型虽然能力增强，却出现了'幻觉'问题（即一本正经地胡说八道）。解决幻觉问题、确保回答基于私有数据，是 2024 年 AI 技术落地的关键趋势。
1.1 为什么不能直接用 ChatGPT？
你可能会问：直接使用 ChatGPT 不就好了吗？
对于绘本馆老板而言，ChatGPT 的通用推荐能力往往不够精准，且无法将用户沉淀在自己的业务系统中。真正的诉求通常包含以下三点：
- 个性化数据：问答中用到的知识库和数据（如客户标签、阅读历史）必须使用私有的。
- 业务逻辑融合：需要结合传统互联网的数据洞察能力（如库存状态、用户画像）给出更精准的回答。
- 可控的表达：强大的知识检索、整合、表达能力，这恰恰是 RAG 等架构要解决的核心。
解决这三个问题的背后，依托的是一个完整的 AI 产品架构。架构的每一层负责解决不同的问题。
2. 基于大模型的 AI 产品架构
优秀的 AI 产品架构通常分为四层：用户层、应用层、模型层和生成层。以下以问答机器人为例展开讨论。
2.1 用户层（前端）提问
这一层的目标是营造良好的用户体验，主要由产品经理、UE、UI 负责，与传统互联网产品无异。
关键点：
- 无感化 AI：让用户感受不到 AI 的存在是最好的体验。在问答产品中，可能只是一个简单的对话框，甚至融入微信、钉钉等现有生态中。
- 主动推送：仅在必要时进行推送。例如在绘本馆场景中，仅在借阅书籍即将到期时提醒，并推荐合适的书籍。
- 交互唤起：当用户主动提问（如'有哪些适合 3-5 岁男孩看的绘本'）时，用户层会触发应用层处理。
2.2 应用层提问
这是区别于传统互联网的关键层，也是 AI 应用开发者的核心工作区。目标是将用户的自然语言提问加工，转化为适合模型层的 Prompt（提示词）。
处理流程：
-
意图识别与提示词转化 将用户简短的问题转化为专业提示词。例如按照 CRISPE 结构（Context, Role, Instruction, Style, Persona, Experiment）进行提问。这一步主要由提示词工程师完成，在小产品中由产品经理兼任。提示词需具备结构化特征，抽象成模板，以便适配不同参数（如将"3-5 岁"抽象为参数
Age）。 -
知识库检索（RAG） 根据提示词去检索客户已有的知识库和数据库内容。这是解决个性化诉求、降低幻觉的核心步骤。当下主要依靠 RAG（Retrieval-Augmented Generation，检索增强生成）技术。
