引言
我对 Prompt(提示词)的认知经历了两个阶段:
第一阶段:去年 3 月至 11 月,我认为 Prompt 最终会灭亡。
第二阶段:去年 12 月至今,我有两个理解:
- 在主流 LLM 工具(如 ChatGPT、文心一言等大模型厂商的对话产品)中,Prompt 能力未来会像我们现在使用 Word、PPT、Excel 的能力一样,成为人人必备的技能。
- 在垂直领域的 AI 应用中,Prompt 对用户会消亡,因为好的 AI 应用会把 Prompt 完美地嵌入到 AI 应用中。也正因如此,Prompt 工程是 AI 应用开发者一项必不可少的能力。在这种场景下,我把 Prompt 定义为 AI 应用的最后一公里,是一项系统实验工程。
公众的认知基于数据来看:
- 第一阶段:2022 年 12 月,ChatGPT 第一次发布后,Prompt Engineering 一路飙升到今年 7 月到达最高峰。
- 第二阶段:2023 年 7 月至今,开始迅速回落。
套用被历史多次验证的 Gartner 技术曲线,Prompt Engineering 的发展正趋于稳定,但无论如何不会超过 2023 年的最高峰。所以不要过高估计 Prompt Engineering 的未来发展,也不建议大家把它作为职业生涯的长期规划。类比来说,20 年前有个工种叫办公自动化,主要就是操作 Office 套件,现在人人都能用 Office。
也正是这样一个趋于稳定的时间点,加上最近的一些实践,会让我自己更理性地看待 Prompt Engineering。今天就和大家一起聊聊 Prompt Engineering 的话题,按照我目前的认知分为两个话题:
- 日常工作中我是如何做好 Prompt 来使用 LLM 工具的,目的主要是'教会大家如何使用 Office',也解答周围人经常问我的问题。这一部分会以原则和实例来说明,不会有特别专业的词汇。
- 如何在构建产品时合理发挥 Prompt 的作用,这一部分会单独在下一篇文章中聊一下。目前讲这块的文章确实不多,甚至很多产品都把 Prompt 作为自己的核心、不可泄露的内容。
日常工作中我是如何使用 Prompt 的
直至今日,我身边的大多数人对 LLM 工具的使用是跟着舆论热点走的,比如最近 Claude 3 出来了,大家可能就赶紧再去使用一下,过了几天就凉了。我自己的使用频率稍有不同,是'隔三差五'的频率。
这其中有两个原因:
- 一是 LLM 工具最擅长的文字、Coding 工作仅仅是工作的一部分,Agent 应用有望能 Cover 更多的工作,但 Agent 应用目前还没有普及。
- 二是大家对 LLM 的期待过高,从而导致使用方式的错误,进而容易放弃使用 LLM。我自己也是经历了一段时间后才摸索出来适合自己的方式,这也是本文的重点,希望对大家有借鉴意义。
接下来我会以写文章为例来说明我是如何使用 LLM 工具的,在这之前声明几个重要的原则。
LLM 工具使用原则
- 降低预期:我会借助 LLM 工具来写文章,但往往最后会发现没有一段话是 LLM 直接给我的,所以放低你对 LLM 工具的期待,但它确实会成为你的助手。
- 质量保障:长文的撰写中,LLM 的质量依然没有保障。其实这是好事,不然你的价值又在哪里?
- 独立判断:在撰写任何一篇文章之前,我会做较多的调研和实践,以保证自己对 LLM 的回答有基本判别能力。在调研过程中,我不会使用大模型的总结能力,因为此时我并没有构建出基本的判别能力,总结是一种有损压缩,且损失特别大。除非你对某个话题特别了解,否则不要用总结功能。
- 提供参考:我总是会给 LLM 工具很多我认可的参考文章,而不是纯粹依赖 LLM 的能力。
- 高效敷衍:工作中需要敷衍的文章(我知道大家绝对有这个诉求)确实可以很高效地用 LLM 工具完成。
接下来说说在使用 LLM 工具前要做的准备工作:拆解任务。
准备工作:拆解你的任务
在写文章的例子中,我把这个任务拆成几个步骤:选题 → 调研 → 构思大纲 → 把内容填充到大纲中 → 配图 → 排版。我把每一步 LLM 参与的比例、所花费时间进行分析。
可以看出:
- 最耗时选题和调研是 LLM 工具最难参与的,这一部分从理性角度来讲,我认为目前还是要以真人参与为主,我主张 LLM 在工作中是一个工具。
- 最不耗时的配图和排版 LLM 参与少是因为'打苍蝇用不着大炮'。如果使用 MJ 和 DALL-E 3 等工具精准控图,要说好多提示词,还不如传统工具来得快;另一个步骤排版,传统工具也已经做得很好了。
- 目前看起来只有中间填充大纲内容部分 LLM 工具参与度比较高。


