跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客我的书AI学习GitHub 精选镜像AI工具UI配色美学关于
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
PythonSaaSAI

基于大模型的信息采集模型实现与提示词优化

如何利用大语言模型从非结构化对话中提取关键信息。通过定义清晰的输入输出规范,设计包含角色设定、逻辑推理及数据清洗的提示词策略,实现了从自然语言到标准 JSON 格式的转换。文章还演示了在扣子平台上构建自动化工作流的具体步骤,包括参数定义、提示词配置及 Bot 发布,为实际业务中的信息抽取场景提供了可落地的解决方案。

观心发布于 2025/2/7更新于 2026/10/2396 浏览
基于大模型的信息采集模型实现与提示词优化

随着人工智能技术的迅猛发展,大语言模型(LLM)作为一种先进的自然语言处理工具,为我们提供了全新的沟通方式和信息提取手段。本文旨在引导读者通过大语言模型,实现从非结构化对话内容中高效提取关键信息的目标。对话作为人类交流的重要形式,包含了丰富的语义信息,然而在海量对话数据中准确而快速地捕捉特定字段一直是一项具有挑战性的任务。通过本文,我们将学习如何利用大语言模型的强大分析能力,结合提示工程技巧,完成从用户对话内容中采集出我们想要的关键信息,并将其转化为结构化的数据格式。

输入输出设计

在构建信息采集模型之前,首先需要明确定义输入和输出的数据结构。我们需要告诉模型接收什么数据,以及它应该返回什么格式的数据。

为了实现从一段对话中提取指定的信息,我们需要定义两个核心输入变量:

  1. keyword:需要采集的关键词列表,例如姓名、年龄、留学国家等。
  2. content:原始的对话文本内容。

对于输出,要求模型以 JSON 格式返回采集到的信息,以便于后续程序解析和处理。例如:

input:
    keyword: ["姓名", "年龄"]
    content: "我叫优弧今年 20 岁了"
output:
{
  "姓名": "优弧",
  "年龄": "20"
}

这种结构化的输出方式不仅便于机器读取,还能有效减少后续数据处理的工作量。

提示词工程基础

编写良好的提示词(Prompt)是决定模型输出质量和准确性的关键因素。一个优秀的提示词通常包含以下几个要素:

  • 目的明确:简单明了地告诉模型你需要它做什么,避免模糊指令。
  • 避免歧义:避免出现有歧义的表述,或者不常用的专业性术语、简写、别称,这些内容会导致模型无法理解你的意图。
  • 简洁性:过多的冗余内容会导致模型抓不到重点,从而偏离我们的目标。保持指令清晰直接。
  • 步骤指导:你可以尝试教模型如何做,比如第一步做什么,第二步做什么,这有助于模型遵循逻辑链条。
  • 角色设定:你可以让模型扮演特定的角色,从而让它快速进入状态。例如,扮演一个'资深数据分析师',它就会有更严谨的输出特性。

迭代测试过程

为了达到最佳效果,我们需要对提示词进行多轮迭代测试。以下是一个典型的优化过程。

第一阶段:基础定位

第一步给模型一个基本定位,并设定目标。

你是一个信息采集模型。
<待分析数据列表>:{{keyword}}
1. 目标:从对话内容中分析并提炼出<待分析数据列表>中列出的关键信息。

对话内容:

{{content}}

在这个阶段,模型能够识别出大部分显性信息,但对于隐含信息可能无法识别。

第二阶段:增加推理能力

在实际对话中,很多信息并非直接陈述,而是隐含在上下文中。例如,如果用户说想去哈佛学习,可以推断其意向留学国家为美国。因此,我们需要赋予模型一定的推理能力。

修改后的提示词增加了推理指令:

你是一个信息采集模型。
<待分析数据列表>:{{keyword}}
1. 目标:从对话内容中分析并提炼出<>中列出的关键信息。
2. 在中对话中没有提到的信息,你可以在保证合理的情况下对用户暂未提及的数据进行推理。

对话内容:
待分析数据列表
<待分析数据列表>

{{content}}

经过测试,模型现在能够根据上下文推断出如'留学国家'、'是否移民'等隐含信息。

第三阶段:数据清洗与标准化

上一阶段的测试结果中,数据格式可能不统一,例如有的用中文数字(二十三岁),有的用阿拉伯数字(23 岁)。为了便于系统处理,我们需要对数据进行清洗和标准化。

我们在提示词中增加了数据规范化的指令:

... (前文保持不变)
3. 对最后的数据进行清洗、润色,使其更规范,如剔除不合理的数据,将被缩写或简写的数据补充完整,将口语化的数据规范化,将中文数字格式化成阿拉伯数字。

这一改进确保了输出数据的格式一致性,例如将'两个半小时'转换为'2.5 小时'。

第四阶段:强制 JSON 输出

在实际开发过程中,调用 API 接口时,模型可能会返回一些无意义的开场白或结束语,这会增加后端解析的难度。为了确保接口调用的稳定性,我们需要强制模型仅返回 JSON 格式。

最终版提示词如下:

你是一个信息采集模型。
<待分析数据列表>:{{keyword}}
目标:从对话内容中分析并提炼出<待分析数据列表>中的关键信息。
1. 在<待分析数据列表>中对话中没有提到的信息,你可以在保证合理的情况下对用户暂未提及的数据进行推理。
2. 对最后的数据进行清洗、润色,使其更规范。
3. 仅返回<待分析数据列表>字段的 json 格式:
{
  "data": {
    "<待分析数据列表中的字段>": "采集到的数据"
  }
}

对话内容:

{{content}}

此时,模型将严格按照要求的 JSON 结构返回结果,方便代码直接解析。

扣子平台工作流实现

在完成提示词的调试后,我们可以将其部署到扣子(Coze)平台上,创建一个自动化工作流。

定义入参

在工作流编辑器中,首先定义输入参数。我们需要添加两个变量:

  • keyword:字符串类型,用于存储需要提取的关键词。
  • content:字符串类型,用于存储原始对话内容。
配置提示词节点

在 LLM 节点中,将上述定义的变量引用到提示词模板中。使用 {{变量名}} 的语法来动态替换内容。确保提示词模板中包含前面优化好的所有指令,特别是关于 JSON 格式的约束。

定义输出

配置工作流的输出节点,将 LLM 节点的返回结果映射为最终输出。由于我们已经要求模型返回 JSON 格式,输出可以直接透传该结果。

创建 Bot

最后,创建一个新的 Bot,并将刚刚配置好的工作流添加为插件或技能。这样,用户可以通过对话界面与该 Bot 交互,Bot 会自动调用工作流处理输入并返回结构化的信息。

生产环境注意事项

在实际业务场景中应用此类模型时,还需考虑以下几点:

  1. 数据安全与隐私:对话内容可能包含用户的个人隐私信息(PII)。在传输和处理过程中应进行脱敏处理,并确保符合相关法律法规。
  2. Token 限制:长对话可能导致 Token 超出模型限制。建议对输入内容进行截断或摘要预处理。
  3. 幻觉控制:尽管提示词中加入了推理指令,但模型仍可能产生幻觉。可以通过设置置信度阈值或引入人工审核环节来降低风险。
  4. 成本优化:频繁调用大模型 API 会产生费用。可以通过缓存常见查询结果或使用轻量级模型来处理简单任务。

通过上述步骤,我们可以构建一个稳定、高效的信息采集模型,并将其集成到实际的业务系统中,显著提升信息处理的自动化水平。

目录

  1. 输入输出设计
  2. 提示词工程基础
  3. 迭代测试过程
  4. 第一阶段:基础定位
  5. 第二阶段:增加推理能力
  6. 第三阶段:数据清洗与标准化
  7. 第四阶段:强制 JSON 输出
  8. 扣子平台工作流实现
  9. 定义入参
  10. 配置提示词节点
  11. 定义输出
  12. 创建 Bot
  13. 生产环境注意事项

更多推荐文章

查看全部
  • MySQL 索引原理:B+ 树演进与操作实战
  • MyBatisPlus 与 Thymeleaf 全栈分页整合实战
  • AI 专利翻译技术解析:功能特性与应用场景
  • Kafka 架构详解:高吞吐分布式消息系统设计
  • Coze(扣子)全解析:100 个落地用途与发布使用指南
  • Spring Boot 微服务架构设计与实战
  • C++ 网络编程实战:基于 TCP 协议的简易计算器实现
  • 顺序表与链表核心算法实战:双指针与快慢指针详解
  • OpenClaw 龙虾机器人 Windows 系统部署指南
  • VR 健身应用开发实战:基于 Unity 与 SideQuest 的全流程复盘
  • OpenClaw 集成飞书机器人配置指南
  • Android Studio 集成 Gemini 进行 AI 编程指南
  • Dify 接入企业微信群聊机器人实战指南
  • RoboBrain 2.0 具身大脑模型复现指南:统一感知、推理与规划
  • 数据结构:二叉搜索树(BST)概念与实现
  • Java 2D 技术体系与常用类详解
  • 基于 OpenClaw 部署飞书机器人实战指南
  • Prometheus 核心函数实战:指标处理与聚合技巧
  • Web 版 IM 聊天消息加密的三种算法实现方案
  • C++26 契约编程落地实践与系统异常治理

相关免费在线工具

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • 随机西班牙地址生成器

    随机生成西班牙地址(支持马德里、加泰罗尼亚、安达卢西亚、瓦伦西亚筛选),支持数量快捷选择、显示全部与下载。 在线工具,随机西班牙地址生成器在线工具,online

  • curl 转代码

    解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online

  • Base64 文件转换器

    将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online