AI 产品经理产品开发全流程详解
本文以智能文档审阅系统(IDP)和工业互联网数字孪生—故障预测为例,深入介绍 AI 产品经理在产品开发全流程中每一阶段的工作内容、工作流程及注意事项。通过结合具体案例,帮助对 AI 产品经理感兴趣的同学建立系统的认知框架。文中尽量避免使用过于晦涩的数学公式,重点阐述工程落地与业务结合的实操逻辑。
本文详细阐述了 AI 产品经理在智能文档审阅及工业互联网场景下的产品开发全流程。涵盖需求定义、模型预研、数据准备、模型构建、模型宣讲及模型验收六个核心阶段。重点介绍了各阶段的工作内容、流程规范及注意事项,结合合同审核与风电机组故障预测等案例,解析了模型能力边界、数据质量评估及指标选择等关键问题,旨在为 AI 产品经理提供系统化的实践指导。

本文以智能文档审阅系统(IDP)和工业互联网数字孪生—故障预测为例,深入介绍 AI 产品经理在产品开发全流程中每一阶段的工作内容、工作流程及注意事项。通过结合具体案例,帮助对 AI 产品经理感兴趣的同学建立系统的认知框架。文中尽量避免使用过于晦涩的数学公式,重点阐述工程落地与业务结合的实操逻辑。
这一初始阶段集中在从业务角度理解项目的目标和要求,然后把理解转化为模型能力的定义和一个初步执行计划。AI 产品经理不仅要有整体技术研判力(可行性、技术难度、关键技术点),还要有业务洞察力,可以定义出可执行有价值的好问题。
AI 产品经理在本阶段要特别注意模型能力边界和模型类型确定。需避免过度承诺模型效果,确保业务方理解 AI 的不确定性。
这里说的模型类型除了回归、分类、聚类、序列之外,还要基于具体业务考虑其他情形,比如在线还是离线。如果目标客户比较注重数据安全,可能就会要求私有化部署,不允许连接外网调用模型接口。AI 产品经理在需求分析阶段明确模型基础要求,也方便工程师在后续模型预研及成本分析方面提前有所考虑。
关于模型能力边界。请看这一条业务需求'系统自动抽取合同签订日期、中标通知书通知日期并进行时序性校验,合同签订日期不能早于中标通知书通知日期'。AI 产品经理需要将此条业务需求的实现分解成先由模型执行抽取任务后,再由系统(平台)进行时序性比较。因为不同类型模型可执行的下游任务不同,仅以自然语言处理任务层级举例,我们这里提到的模型能力边界指的是第三次,即信息抽取、情感分析、问答系统、机器翻译和对话系统等。这要求 PM 清晰区分 NLP 子任务的颗粒度,避免将复杂逻辑强加给单一模型。
需求确定之后,AI 产品经理需要和工程师进行沟通,要判断目前积累的数据和沉淀的算法,是否可以达到我们的业务需求。以及对原始数据的初步理解,发掘值得关注的数据子集以形成对隐藏信息的假设。
在这个环节中,可能还需要根据算法工程师的预估,对上一阶段的需求内容进行调整。PM 需保持灵活性,根据技术反馈优化业务目标。
此阶段往往需要 AI 产品经理跟算法工程师经过多轮沟通,根据业务目标及原始数据质量的预估,确定模型预研的可行性等问题。比如以智能文档分析(IDP)系统举例,因为文档类型及业务规则的多样性往往需要多个模型共同完成一项业务需求。比如对一份合同的审核既需要对合同基本信息的抽取(如甲方、乙方、签订日期),也需要对合同中建设内容的相似性进行判断,还需要对合同中的表格数据进行分析。这就需要 AI 产品经理与工程师多次沟通,确定模型融合等解决方案的设计,明确各模块的输入输出接口。
数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。'数据准备'阶段往往会占用整个工程 60% 以上的时间。产品经理基于对业务的理解,帮助工程师判断哪些数据集更具备代表性,以及明确数据来源、数据质量处理措施。
'数据质量'问题除了数据模式层面,还要关心应用场景下的数据质量问题,应用场景相关的数据质量问题,与研究问题的范畴和业务上下文有关,通常不容易发现,有一定规律但不存在通用的方法。PM 需深入一线了解真实数据分布。
'数据异常'也许是被忽略的一些'正常场景'。 【业务背景】风电机组大部分采用同步变桨,在正常情形下,三个桨距角应该非常接近。因此,在变桨驱动系统异常研判中,常常会将三个桨距角的不一致性(如角度差或短期时序相关度)作为一个重要特征。 【数据现象】如下图所示,某个风电机组在 2013 年 8 月 9 日 21:45—21:47 的表现。三个桨距角的初始值都在 87.5°左右,然后三个桨距角逐步变为 0°。 【业务解读】这个过程实际上是调试过程中,变桨控制系统逐个重启造成的。在 2013 年 8 月 9 日 21:45:40 左右,第一个变桨控制电路进行了人工重启,然后依次对第二个、第三个进行了重启。 【对数据准备的启发】对于关键数据、关键结果要做必要的数据探索(画图或者看统计分布),数据中包含的内容超过我们的'预设'和'专家经验'。PM 应推动建立数据监控看板,及时发现分布漂移。
AI 产品经理基于对需求和业务的理解,配合算法工程师进行数据集的准备、模型训练、参数调优等等,及时跟进模型的目标优化,针对突发问题做出调整和决策。
前面有提到'数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。'算法工程师们花费在特征工程建立上面的时间,基本上占整个模型构建的 60%。AI 产品经理在此阶段要尽量结合业务经验预判、保证特征的稳定性,防止因业务规则变更导致特征失效。
磨煤机堵磨检测。 【数据特征】磨煤机堵磨研判,几小时内,电流持续上升,伴随入口风量下降。预将入口风量作为特征数据预测磨煤机堵磨。 【业务经验】入口风量影响因素太多,测量稳定性差,不应作为主要研判依据:多台磨煤机共用一个管道,它们的入口风量存在强耦合。PM 需在此时介入,建议引入更多维度的传感器数据或采用时序模型来解耦特征影响。
产品经理组织业务及算法相关同事一起参与,算法同事帮忙说明使用了什么算法和选择这个算法的原因,这个模型选择了哪些重要特征,训练的样本,以及算法同学的测试方案与结果。AI 产品经理要有目的的引导业务了解算法逻辑,并可以用非技术语言跟领导及客户解释清楚模型逻辑。
此阶段主要对特征的来源,训练样本的合理性以及测试结果是否符合业务预期,是否合理进行评估预判。PM 需充当翻译官角色,消除技术与业务的认知鸿沟。
在模型评估环节,产品经理需要做的是,根据业务需求挑选合适的测试样本,请算法同学进行测试,并且提交测试结果。最后,再根据模型宣讲和测试的内容编写模型验收报告。
在不同场景下,由于我们的业务目标不同,对模型的要求不同,对模型统计性指标的关注点也不会相同。AI 产品经理需要明确知道针对不同的 AI 模型对应不同的评估指标,并根据业务需求提出模型验收要求。
模型的评估主要包括三个部分:统计性、模型性能和模型稳定性。 统计性指标指的就是模型输出结果的覆盖度、最大值、最小值、人群分布等指标。以模型覆盖度为例,它表示模型可以覆盖人群的百分比,它的计算公式是:模型的覆盖度= 模型可以打分的人数 / 需要模型打分的人数。覆盖度越高,代表模型可以打分的人数越多,也就是说模型可以评估更多人。如果模型覆盖度过低,即使它的性能表现很好,在某些业务场景下模型也不可用。 模型性能和稳定性评估:分类模型的性能评价指标主要包括:混淆矩阵、KS、AUC 等。回归模型的性能评价指标主要包括:MAE(平均绝对误差)、MSE(均方误差)、RMSE(均方根误差)、R 方等。具体指标的介绍及分析有很多资料介绍,感兴趣的同学可以查一下,这里不再赘述。 工程开发、测试验收模块与传统互联网没有区别这里不再过多介绍。此外对于在线模型,在上线运营后需要对模型评估指标及特征持续性关注,可建立简单的监测系统定时监查,防止模型老化。
AI 产品经理的核心竞争力在于连接业务与技术。随着大模型技术的兴起,AI 产品的形态正在发生变化,从传统的判别式模型向生成式模型演进。未来的 AI 产品经理需要更加关注 Prompt 工程、RAG(检索增强生成)架构以及 Agent(智能体)设计。同时,伦理合规、数据隐私保护将成为产品设计的红线。希望本文提供的流程框架能帮助各位从业者在复杂的 AI 落地项目中找到方向,稳步前行。
在实际工作中,流程并非一成不变,敏捷迭代是常态。PM 应保持开放心态,持续学习新技术,深入理解业务场景,才能在 AI 时代创造出真正有价值的产品。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online