本文探讨基于大模型的 AI 产品架构，涵盖用户层、应用层、模型层及生成回答过程。重点分析 RAG 检索增强生成技术、提示词工程优化及垂直模型微调策略。通过人才成长阶梯比喻，阐述从算法算力到最终用户体验的转化路径，帮助开发者与产品经理理解如何在 2024 年 AI 浪潮中找到定位并构建高效 AI 应用系统。
关于大模型 AI 应用架构的文章目前并不多，在经过几次小的项目探索后，本文旨在梳理一套通用的 AI 产品架构，供开发者与产品经理参考。
如果说 2023 年是大模型基础设施爆发的一年，机会主要给了大厂或拿到大笔融资的创业者；那么 2024 年将是 AI 应用落地爆发的一年，意味着普通开发者和中小团队有更多的机会加入这一浪潮。本文将结合基于大模型的 AI 产品架构，探讨如何构建高质量的问答机器人及垂直领域应用。
一切的设计都是从需求出发，大模型 AI 产品也不例外。最近接触到的核心诉求是：如何基于自己的知识库构建专属的问答机器人。
典型场景包括：
这些需求早已存在，但传统技术难以完美解决。早期大模型做出来的机器人常被称为'人工智障'，而当前大模型虽然能力增强，却出现了'幻觉'问题（即一本正经地胡说八道）。解决幻觉问题、确保回答基于私有数据，是 2024 年 AI 技术落地的关键趋势。
你可能会问：直接使用 ChatGPT 不就好了吗？
对于绘本馆老板而言，ChatGPT 的通用推荐能力往往不够精准，且无法将用户沉淀在自己的业务系统中。真正的诉求通常包含以下三点：
解决这三个问题的背后，依托的是一个完整的 AI 产品架构。架构的每一层负责解决不同的问题。
优秀的 AI 产品架构通常分为四层：用户层、应用层、模型层和生成层。以下以问答机器人为例展开讨论。
这一层的目标是营造良好的用户体验，主要由产品经理、UE、UI 负责，与传统互联网产品无异。
关键点：
这是区别于传统互联网的关键层，也是 AI 应用开发者的核心工作区。目标是将用户的自然语言提问加工，转化为适合模型层的 Prompt（提示词）。
处理流程：
意图识别与提示词转化
将用户简短的问题转化为专业提示词。例如按照 CRISPE 结构（Context, Role, Instruction, Style, Persona, Experiment）进行提问。这一步主要由提示词工程师完成，在小产品中由产品经理兼任。提示词需具备结构化特征，抽象成模板，以便适配不同参数（如将"3-5 岁"抽象为参数 Age）。
知识库检索（RAG） 根据提示词去检索客户已有的知识库和数据库内容。这是解决个性化诉求、降低幻觉的核心步骤。当下主要依靠 RAG（Retrieval-Augmented Generation，检索增强生成）技术。
上下文合成 将第一步的提示词、第二步检索到的上下文内容合成新的完整提示词。此时，客户的一个简短问题已变为一个包含丰富背景的专业问题。
提示词压缩 随着上下文增加，Token 消耗和成本也会上升。因此，提示词压缩技术应运而生，旨在去除冗余信息的同时保留关键语义。
在这一层，主要有两种模型选择：
选型建议：
模型层生成回复后，应用层需进行一层包装再返回给用户。
包装内容：
我们可以将大模型比作一个'哈佛毕业的本科生'，以此重新审视架构各层：
算法算力数据层（教育体系） 相当于教学硬件（算力）、优秀老师（算法）、丰富资源（数据）。这是科研机构和基础设施厂商的机会。
模型层（学生阶段） 相当于培养出的本科生（通用大模型）或研究生（垂直大模型）。他们具备强大的综合知识和学习能力，但距离真正解决具体业务问题还有距离。
应用层（职业生涯开始） 毕业生进入不同公司，面对不同业务。首先考虑公司是否有现有资源（RAG 知识库），结合外部通用知识提出解决方案。初期可能迅速成长为领域专家，但缺乏同理心，直接面对客户可能会吓跑客户。
用户层（成为受欢迎的专家） 经过几年历练，开始为客户考虑，充分理解诉求，用客户听得懂的语言回答。最终呈现给用户的'产品'，是一个既专业又懂用户的专家形象。
最先掌握 AI 的人，相对于晚掌握的人具有竞争优势。建议从大模型系统设计入手，理解提示词工程，再通过 LangChain 等框架进行平台应用开发，最后尝试微调垂直模型。
掌握大模型应用开发技能，不仅能解决大数据时代的分析决策问题，还能实现 Fine-tuning 垂直训练大模型的一站式掌握。通过理论结合实战，程序员可以显著提高编码能力和分析能力，应对实际项目需求。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
