大模型 AI 应用架构详解
关于大模型 AI 应用架构的文章目前并不多,在经过几次小的项目探索后,本文旨在梳理一套通用的 AI 产品架构,供开发者与产品经理参考。
如果说 2023 年是大模型基础设施爆发的一年,机会主要给了大厂或拿到大笔融资的创业者;那么 2024 年将是 AI 应用落地爆发的一年,意味着普通开发者和中小团队有更多的机会加入这一浪潮。本文将结合基于大模型的 AI 产品架构,探讨如何构建高质量的问答机器人及垂直领域应用。
本文探讨基于大模型的 AI 产品架构,涵盖用户层、应用层、模型层及生成回答过程。重点分析 RAG 检索增强生成技术、提示词工程优化及垂直模型微调策略。通过人才成长阶梯比喻,阐述从算法算力到最终用户体验的转化路径,帮助开发者与产品经理理解如何在 2024 年 AI 浪潮中找到定位并构建高效 AI 应用系统。

关于大模型 AI 应用架构的文章目前并不多,在经过几次小的项目探索后,本文旨在梳理一套通用的 AI 产品架构,供开发者与产品经理参考。
如果说 2023 年是大模型基础设施爆发的一年,机会主要给了大厂或拿到大笔融资的创业者;那么 2024 年将是 AI 应用落地爆发的一年,意味着普通开发者和中小团队有更多的机会加入这一浪潮。本文将结合基于大模型的 AI 产品架构,探讨如何构建高质量的问答机器人及垂直领域应用。
一切的设计都是从需求出发,大模型 AI 产品也不例外。最近接触到的核心诉求是:如何基于自己的知识库构建专属的问答机器人。
典型场景包括:
这些需求早已存在,但传统技术难以完美解决。早期大模型做出来的机器人常被称为'人工智障',而当前大模型虽然能力增强,却出现了'幻觉'问题(即一本正经地胡说八道)。解决幻觉问题、确保回答基于私有数据,是 2024 年 AI 技术落地的关键趋势。
你可能会问:直接使用 ChatGPT 不就好了吗?
对于绘本馆老板而言,ChatGPT 的通用推荐能力往往不够精准,且无法将用户沉淀在自己的业务系统中。真正的诉求通常包含以下三点:
解决这三个问题的背后,依托的是一个完整的 AI 产品架构。架构的每一层负责解决不同的问题。
优秀的 AI 产品架构通常分为四层:用户层、应用层、模型层和生成层。以下以问答机器人为例展开讨论。
这一层的目标是营造良好的用户体验,主要由产品经理、UE、UI 负责,与传统互联网产品无异。
关键点:
这是区别于传统互联网的关键层,也是 AI 应用开发者的核心工作区。目标是将用户的自然语言提问加工,转化为适合模型层的 Prompt(提示词)。
处理流程:
意图识别与提示词转化
将用户简短的问题转化为专业提示词。例如按照 CRISPE 结构(Context, Role, Instruction, Style, Persona, Experiment)进行提问。这一步主要由提示词工程师完成,在小产品中由产品经理兼任。提示词需具备结构化特征,抽象成模板,以便适配不同参数(如将"3-5 岁"抽象为参数 Age)。
知识库检索(RAG) 根据提示词去检索客户已有的知识库和数据库内容。这是解决个性化诉求、降低幻觉的核心步骤。当下主要依靠 RAG(Retrieval-Augmented Generation,检索增强生成)技术。
上下文合成 将第一步的提示词、第二步检索到的上下文内容合成新的完整提示词。此时,客户的一个简短问题已变为一个包含丰富背景的专业问题。
提示词压缩 随着上下文增加,Token 消耗和成本也会上升。因此,提示词压缩技术应运而生,旨在去除冗余信息的同时保留关键语义。
在这一层,主要有两种模型选择:
选型建议:
模型层生成回复后,应用层需进行一层包装再返回给用户。
包装内容:
我们可以将大模型比作一个'哈佛毕业的本科生',以此重新审视架构各层:
算法算力数据层(教育体系) 相当于教学硬件(算力)、优秀老师(算法)、丰富资源(数据)。这是科研机构和基础设施厂商的机会。
模型层(学生阶段) 相当于培养出的本科生(通用大模型)或研究生(垂直大模型)。他们具备强大的综合知识和学习能力,但距离真正解决具体业务问题还有距离。
应用层(职业生涯开始) 毕业生进入不同公司,面对不同业务。首先考虑公司是否有现有资源(RAG 知识库),结合外部通用知识提出解决方案。初期可能迅速成长为领域专家,但缺乏同理心,直接面对客户可能会吓跑客户。
用户层(成为受欢迎的专家) 经过几年历练,开始为客户考虑,充分理解诉求,用客户听得懂的语言回答。最终呈现给用户的'产品',是一个既专业又懂用户的专家形象。
最先掌握 AI 的人,相对于晚掌握的人具有竞争优势。建议从大模型系统设计入手,理解提示词工程,再通过 LangChain 等框架进行平台应用开发,最后尝试微调垂直模型。
掌握大模型应用开发技能,不仅能解决大数据时代的分析决策问题,还能实现 Fine-tuning 垂直训练大模型的一站式掌握。通过理论结合实战,程序员可以显著提高编码能力和分析能力,应对实际项目需求。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online