跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
编程语言AI算法

AI 产品经理全流程工作指南:从需求定义到模型验收

综述由AI生成AI 产品经理工作流程区别于传统产品,核心在于算法模型的引入与管理。详细解析了从需求定义、模型预研、数据准备、模型构建、宣讲验收到业务上线的全链路环节。内容涵盖特征工程方法、模型评估指标(如召回率、AUC、PSI)、模型融合策略以及上线后的持续监控机制。通过反薅羊毛案例,阐述了如何在实时性与准确率之间权衡,确保模型有效落地并满足业务目标。同时强调了数据合规、模型迭代闭环及算法伦理的重要性。

kaikai发布于 2025/2/6更新于 2026/6/225 浏览
AI 产品经理全流程工作指南:从需求定义到模型验收

AI 产品经理工作流程详解

一、AI 产品经理工作全流程概览

AI 产品经理的工作流程与普通产品经理的主要区别在于增加了算法模型部分,包括模型预研、数据准备、模型构建、模型宣讲、模型验收等环节。协作对象除了常规的开发、测试外,还多了算法工程师。

二、需求定义

需求定义阶段需要明确以下几点:

  1. 做什么?
  2. 为什么要做,有什么收益和价值?
  3. 业务预期目标、上线期限?

1. 项目背景

以开发一套筛选薅羊毛用户的产品为例。团队发现负责的项目数据统计存在异常,细查后发现存在夜间偷数据的情况。大致行为路径如下:

  • 淘宝购买一批手机号,注册新账号。
  • 通过自动薅羊毛方式(新手礼包、每日签到、周任务等),获取免费券等资源。
  • 夜深人静时,使用免费券或积分批量下载数据。

为彻底堵住这个缺口,决定开发一套筛选薅羊毛用户的产品。

2. 做什么?

开发一套筛选薅羊毛用户的产品。具体设计思路如下:

  • 在领取新手礼包或周任务奖励时,要求用户绑定手机号(简单卡一下,以免影响正常用户体验)。
  • 在使用券进行下载操作时,判断是薅羊毛用户的概率,并根据概率高低分为'正常'、'疑似'、'高危'三类。
  • 针对'疑似'用户,触发极验或验证码校验逻辑;针对高危用户,锁定账号,并在激活时要求绑定微信,避免再出现大量偷数据的情况。

3. 收益与价值

减少公司活动福利被薅羊毛,让福利触达给有效用户。

4. 业务预期目标与上线期限

  • 模式:离线/实时模式。支持实时判断,定义为实时模型。
  • 覆盖率:期望该模型的覆盖率为 100%,面向所有用户。
  • 倾向:尽可能找出所有羊毛党,追求高'召回率',可接受一定程度的误报。宁可错杀一千,不可放过一个。
  • 上线期限:双十一前上线,离现在还有半年时间。

三、模型预研

AI 产品经理将需求同步给算法工程师,算法工程师需判断目前积累的数据和沉淀的算法是否可以达到业务需求。

  • 如果现有数据不满足需求,要么增加埋点补齐数据,要么想办法获取目标数据,要么替换成其他类似数据。
  • 如果算法支持度不够,可能需要调整需求内容,以便达到更适配的效果。以该项目为例,实时模式可能会对原业务的响应速度有一定影响,所以最后调整为离线模型,每天定时处理前一天的用户数据。

四、数据准备

对于算法同学而言,他只能根据现有的数据分析哪些特征对于模型有用。但是,AI 产品经理对业务理解更深,通过判断哪些数据、哪些特征对模型提升有帮助,把自己想到的要点和技术沟通,得到更完善的数据集,再动手去获取数据。

例如该用户是否主要在夜间活动?操作频率是否过高?短时间内同一台终端是否登录过多个用户?用户是否触发过新手引导?尽可能准确地找到羊毛党用户的特征,对模型质量的提升会有极大的帮助。

获取数据时,主要分为以下三类(有时也可与其他公司联合建模):

1. 内部业务数据

如果以前业务有相关数据,那么我们可以从以前业务保留的数据中选取使用;如果当前没有相关数据,而我们有相关业务可以获得数据,我们通过增加埋点的方式将数据留存。

2. 跨部门数据

其他部门数据或统一的中台数据,这些数据需要我们根据公司的数据管理规范流程提取,在数据提取的时候注意筛选有效数据。

3. 外采数据

根据我们的需求向外部公司购买数据。我们需要了解市场上不同公司都可以提供什么数据,比如:极光、友盟提供的是开发者服务,所以他们可以提供一些和 App 相关的用户画像,比如运营商可以提供上网流量、话费等相关数据。

进行外采数据需要注意两点:外采公司的资质审核、采集数据的合法性(需要考虑数据安全和消费者隐私保护)。

五、模型构建

模型构建的具体流程如下:

1. 模型设计

模型设计阶段,我们需要考虑该选择什么样的算法,目标变量应该怎么设置、数据源应该有哪些、数据样本如何获取,是随机抽取还是分层抽样。

a. 算法选择

基于需求定义,模型需要计算出用户是薅羊毛用户的概率,并根据概率高低分为正常、疑似、高危三类,最终技术同学决定采用逻辑回归算法来实现该需求。 逻辑回归算法具有计算速度快、可解释性强的优点,适用于解决需求中的多分类问题,而且还可以对用户'为什么封号'的质疑,有较强的解释性。

b. 定义目标变量及抽取数据样本

在模型设计阶段最重要的就是定义模型目标变量,以及抽取数据样本。 不同的目标变量,决定了这个模型应用的场景,以及能达到的业务预期。 样本是用来做模型的基础。在选取样本的时候,你需要根据模型的目标、业务的实际场景来选择合适的样本。必须要考虑季节性和周期性的影响。另外,还要考虑时间跨度的问题。建议选择近期的数据,并结合跨时间样本的抽取,来降低抽样的样本不能描述总体的这种风险。

2. 特征工程

所有模型的输入都是数量化的信息(用向量、矩阵或者张量的形式表示的信息),所以我们需要通过某种方式,把各种类型的数据转化成数量化的信息,这个过程就是特征工程。

特征工程是模型构建过程中最重要的部分。如果我们可以挑选到足够优质的特征,不仅可以提升模型性能,还能降低模型的复杂度。当选择了优质的特征之后,即使你的模型参数不是最优的,也能得到不错的模型性能,也就不需要花费大量时间去寻找最优参数了,从而降低了模型实现的复杂度。 数据和特征决定了模型的上限,而模型和算法只是逼近这个上限而已。

以薅羊毛项目为例,我们可以通过用户是否在夜间活动、操作频率、历史订单、完成活动速度、同一台终端是否登录多个账号等一系列特征,来表达是薅羊毛用户的可能性,这就是建立了薅羊毛用户的特征工程。我们可以通过这些特征来判断用户的可疑程度。

特征过程包括以下四个流程:

1. 数据清洗

数据清洗主要是算法工程师要做的工作,数据预处理的重要环节,主要是对数据进行重新审查和校验,检查数据一致性、处理无效值和缺失值等。 来解决这些数据可能存在的数据缺失、有异常值或无效值、数据不均衡(比如前面部分数据表现好,后面部分数据表现不好)、单位不一致等问题。 对数据缺失,算法工程师可以通过删除缺失值或者补充缺失值的手段来解决它。 对于数据不均衡的问题,因为数据偏差可能导致后面训练的模型过拟合或者欠拟合,所以算法工程师取数据时需要考虑均衡问题。

2. 特征提取

从原始数据中提取有用的特征,将其转化为一组更具代表性和可解释性的特征。特征提取的目的是减少原始数据的维度,提高数据的表达能力,帮助算法进行更好的完成任务。 一般提取出的特征会有 4 类常见的形式,分别是数值型特征数据、标签或者描述类数据、非结构化数据、关系型数据。

  • 数值型特征:如消费金额、好友人数、浏览页面次数等(相关的业务操作数据、运营数据)。一般来说,会首先提取主体特征,再提取其他维度特征。
  • 标签或描述类特征:如有房、有车、高付费,用来打标签。
  • 非结构化特征:如内容评论,需要判断是否有负面情绪。非结构化数据一般存在于 UGC(User Generated Content,用户生成内容)内容数据中。提取非结构化特征的一般做法就是,对文本数据做清洗和挖掘,挖掘出在一定程度上反映用户属性的特征。
  • 关系型数据特征:如通讯录、收获地址、商品分享(一般分享给亲朋)、LBS 位置信息等维度数据。比如说,在京东购物时,你和一个人在同一收货地址上,如果这个收货地址是家庭地址,那你们很可能就是家人。
3. 特征选择

特征在选择时主要有覆盖度、IV 值(信息价值)、稳定性等指标。 LV 值指的是表示特征对目标预测的贡献程度,LV 值有限定条件,一是面向的任务必须是有监督的任务;二是预测的模型必须是二分类模型。

4. 生成训练集和测试集

算法同学为了给模型训练做最后的准备,需要把数据分成训练集和测试集,他们会使用训练集来进行模型训练,会使用测试集验证模型效果。

3. 模型训练

模型训练是通过不断训练、验证和调优,让模型达到最优的过程。就是要找到一个划分条件(决策边界),使得准确率(拟合)最高的同时兼顾稳定性(泛化性能)。这里涉及几个名词需要理解:

a. 决策边界

决策边界:就是在符合某种条件做出某种选择的条件,根据这个条件可以将结果进行划分。 决策边界分为:线性决策边界和非线性决策边界。曲线越陡峭模型的测试精度越准确(可以理解为不是一刀切),但是越陡峭的曲线模型越不稳定。

b. 拟合与泛化

模型的'最优',指的是模型拟合能力和泛化能力的平衡点。

  • 拟合能力:模型在已知数据上(训练集)表现的好坏。
  • 泛化能力:模型在未知数据上(测试集)表现的好。

如果想让模型有足够好的拟合能力,就需要构建一个复杂的模型对训练集进行训练,但是模型越复杂就会越依赖训练集的数据,就越可能出现训练集的表现很好,但在测试集上表现差的情况,泛化能力比较差,这种情况叫做'过拟合'。 如果想让提高模型的泛化能力,就要降低模型复杂度,减少对训练集的依赖,但如果过度降低复杂度,又可能导致'欠拟合'的情况。

  • 过拟合:模型把数据学习的太彻底,甚至把噪声数据的特征也学习到了,就导致不能很好的识别未知数据,模型泛化能力下降。训练集表现很好,但是测试集很差。产生过拟合的原因一般有:特征过多,模型复杂度过高,样本数据无法代表预定的分类,样本噪音干扰过大等。
  • 欠拟合:模型不能很好的捕捉数据特征,不能很好的拟合数据。在训练集的表现就很差,需要继续努力'学习'。产生欠拟合的原因一般有:模型复杂度过低、特征量过少等。
c. 交叉验证

算法工程师就这样不断的调整模型参数、训练,再用交叉验证的方式,逐渐找到拟合能力和泛化能力的平衡点,这个平衡点就是我们训练模型的目标。

  • 交叉验证:一种评估机器学习模型性能的有效方法,可以用于选择最佳模型参数、模型选择以及避免过拟合等问题。包括简单交叉验证、留出交叉验证、自助交叉验证等方法。

4. 模型验证

经过复杂的模型训练,我们终于得到了一个所谓的'最优解',但是怎么证明这个最优解就是真正的最优解呢?我们需要模型验证阶段来确认这个'最优解'的真假。 模型验证一般通过模型的性能指标和稳定性指标来评估。 模型性能,就是模型预测的准确性。

  • 分类模型性能评估:分类模型的预测结果是具体的分类,一般使用召回率、F1、KS、AUC 等评估指标,来判断分类模型的性能。
  • 回归模型性能评估:回归模型的预测结果是连续值,一般使用方差和 MSE 等评估指标,来判断回归模型的性能。

模型稳定性,指的是模型性能可以持续多久,一般使用 PSI 指标来评估模型的稳定性。 PSI 指标,指模型稳定性指标(或称为客情稳定性指标),PSI 越小越好,如果 PSI>0.25 说明稳定性很差。 综上:模型验收环节,AI 产品经理需要知道常用的性能指标与稳定性指标,并且知道其合理的范围。AI 产品经理对模型验证环节格外关注,需要深入理解评估指标、计算逻辑,并能根据指标的数据判断模型效果是否达标。

5. 模型融合

为了提升模型的准确率和稳定性,有时会同时构建多个模型,再把这些模型集成在一起,确保模型有更优的整体表现。 比如薅羊毛项目这种分类模型,可以用最简单的投票方法来融合,票数最多的类别就是最终的结果。 回归模型的融合主要用算术平均或加权平均。 分类模型的融合,主要是取数据值最大的,如 Blending 和 stacking, bagging 和 boosting。 在模型融合的过程中,产品经理需要考虑好成本问题。

六、模型宣讲与验收

模型构建完成后,产品经理需要组织技术宣讲训练好的模型,介绍内容如下:

  • 使用的什么算法?为什么选这个算法?
  • 选用了哪些特征。
  • 训练集、测试集的大致情况。
  • 模型的测试结果。
  • 是否达到了预期?哪些指标未达预期?未达预期的原因是什么。

宣讲之后,产品经理需要对模型进行评估和验收,该环节也非常重要,至于如何选择合适的评估指标,后续章节会详细介绍。

七、业务开发并上线

验收通过之后,技术会把模型部署到线上,并按之前和业务开发同事约定的接口提供能力。 业务开发完成相应功能后,和模型接口联调通过,就可以进入常规的走查、测试、上线流程了。

需要注意的是,模型上线后,还需要持续监控模型的效果。若运行一段时间后,发现模型效果有明显衰减,就需要分析原因,并针对性的升级模型。这通常涉及到数据漂移(Data Drift)的检测,即线上数据分布与训练数据分布的差异。建议建立自动化监控看板,定期输出模型性能报告,并与业务方保持紧密沟通,确保模型始终服务于业务目标。

此外,AI 产品的迭代是一个闭环过程。上线后的反馈数据应回流至数据仓库,作为下一轮模型训练的新样本,从而实现模型的自我进化。在产品伦理方面,AI 产品经理还需关注算法公平性,避免因数据偏见导致对特定群体的歧视,确保技术应用符合法律法规及社会道德规范。

目录

  1. AI 产品经理工作流程详解
  2. 一、AI 产品经理工作全流程概览
  3. 二、需求定义
  4. 1. 项目背景
  5. 2. 做什么?
  6. 3. 收益与价值
  7. 4. 业务预期目标与上线期限
  8. 三、模型预研
  9. 四、数据准备
  10. 1. 内部业务数据
  11. 2. 跨部门数据
  12. 3. 外采数据
  13. 五、模型构建
  14. 1. 模型设计
  15. a. 算法选择
  16. b. 定义目标变量及抽取数据样本
  17. 2. 特征工程
  18. 1. 数据清洗
  19. 2. 特征提取
  20. 3. 特征选择
  21. 4. 生成训练集和测试集
  22. 3. 模型训练
  23. a. 决策边界
  24. b. 拟合与泛化
  25. c. 交叉验证
  26. 4. 模型验证
  27. 5. 模型融合
  28. 六、模型宣讲与验收
  29. 七、业务开发并上线
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • Spring Data JPA 中 EntityManager 核心用法与持久化操作指南
  • Flutter Web 混合开发:构建跨平台 Web 应用
  • DeepSeek-R1-Distill-Llama-8B:80 亿参数推理模型开源
  • 2026 年 3 月 18 日 AI 行业要闻:算力竞赛延伸至太空与智能体落地
  • AI 产品经理必备:关键技术模型与核心知识体系
  • 31 岁转行软件测试:一位 34 岁从业者的经历与感悟
  • .NET 开源分布式事务解决方案:CAP
  • 二分查找实战:山峰数组峰顶索引与寻找峰值
  • CosyVoice3 英文发音不准?用 ARPAbet 音素标注提升精度
  • VS2019 C++ 调用 YOLOv3 动态库实现目标检测
  • Python 音频隐写术实现:基于 LSB 算法的敏感信息加密传输方案
  • 前端组件库实战:告别重复造轮子
  • Stable Diffusion 底模 VAE 推荐与配置指南
  • FPGA 高云 PLL 锁相环 IP 核配置与多时钟域设计
  • Python 基础:五分钟理解 Jupyter Notebook 的核心价值
  • 前端内容创作 Agent 提示词
  • 基于 n8n 与 AI 模型的智能写作工作流实战指南
  • Java 顺序表实现杨辉三角
  • GraphRAG:基于知识图谱的检索增强技术深度解析
  • QUEST 一体机 SideQuest 安装 APK 与 OBB 数据包教程

相关免费在线工具

  • 加密/解密文本

    使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • Gemini 图片去水印

    基于开源反向 Alpha 混合算法去除 Gemini/Nano Banana 图片水印,支持批量处理与下载。 在线工具,Gemini 图片去水印在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online