AI 提示词工程师:2024 年热门新职业与核心技能解析
引言
早在 2017 年,戴尔技术公司和未来研究所联合发布的一份报告就已经指出,到 2030 年,那时候存在的 85% 的工作,目前还没有被发明出来。17 年至今,距离报告的预测已行将过半,虽然该预测的最终效果仍难以定论,但是,工作方式的巨大变革切实发生在每个人的生活场景之中。
目前,一个领域普遍受到看好——提示词工程师(Prompt Engineer)。提示词工程师是「让新一代生成性人工智能应用程序(如 ChatGPT 或 Google Bard)做人类想要让他们去做的事情」的专家。在国内外,已有很多使用大模型进行生产创作的实践应用,涉及到软件开发、文本处理、图像生成等多个领域,「如何写出好的提示词」正在成为各个领域热论的议题。
据外网媒体称,提示词工程师某种程度上不受到计算机编程语言等技术要求的限制。毕竟,正如特斯拉前人工智能主管、现在为 ChatGPT 创建者 OpenAI 工作的安德烈·卡尔帕西所说,「最热门的新编程语言是英语。」更重要的是,人工智能工程师是一个目前工资高达 33.5 万美元的角色。
尽管条件诱人,但要想达到岗位需求仍需要面临多方挑战。也有人提出质疑,这真的是未来的工作领域,还是只是目前人工智能炒作周期过度膨胀状态下的产物?
生成性人工智能工具的影响与挑战
生成性人工智能工具——特别是那些能够创建文本、计算机代码和图形的工具——现在正引起大量的关注(以及相当程度的担忧)。这是因为它们有极大实际应用价值,从营销人员到人力资源、法律、计算机编程和数据分析师等许多不同角色的工作人员的工作日常,都有其应用的场景。
这类工具极大地提高了人的生产力,但如果每个人都能获得同样的技术,又如何保证在使用它的同时仍然表达个体的鲜明特色和创造力?又如何确保工作在与其他人的业绩竞争中脱颖而出,为企业创造有力的竞争优势?这就是提示词工程师所独备的「技能点」。从生成性人工智能中获得最理想化的结果是一项需要学习和磨练的技能,就像要成为任何其他计算机软件的专业高手所要经历的一样。
通常,这是一个反复的过程。一个模糊的、笼统的提示会得到一个模糊的、笼统的回应,想要获取精准而有价值的内容,是需要经历数次迭代的。工程师利用他们的人类判断力和沟通技巧来发现人工智能生成的内容中的不足之处,通过添加上下文以及多元素的提示,将大型任务分解成多个更加简单的子任务,在改进优化中完善提示词,直到得到想要的结果。
使用自然语言生成人工智能,如 ChatGPT,为一个有用的软件应用程序编写代码就是一个很好的例子。假设你有一个新应用的想法——你可能想创建一个工具,让你公司的轮班人员安排共享汽车上班和回家,以减少企业的碳足迹。如果你简单地告诉 ChatGPT 为你写这个应用程序,则它反馈的答案会令人大失所望。代码过于复杂,不可能一次性输出,而且 ChatGPT 没有完成工作所需的数据。
不过,ChatGPT 完全有可能做到——如果工作被分解成适当的小块,如果它被提供了所有必要的数据。一个好的提示工程师可以被认为是人工智能劳动力的「项目经理」,监督构成工作的各个任务的完成,并确保所有工人(人工智能代理)拥有完成工作所需的工具(数据)。
提示工程的核心技术与方法论
1. 角色设定与上下文构建
提示工程中另一个有用的概念是角色。这允许通过定义人工智能的「角色」来生成更相关、更有吸引力的回应。就像人类可能会根据自己是教师、科学家、哲学家还是喜剧演员而以不同的方式回答问题一样,提示工程师可以定义人工智能的个性、特征和信仰,以告知人工智能的反应。
例如,在编写技术文档时,可以设定角色为「资深架构师」,要求语气专业、逻辑严密;在撰写营销文案时,可以设定角色为「创意总监」,要求风格活泼、富有感染力。这种角色设定能显著改变模型的输出分布,使其更符合特定场景的需求。
2. 零样本与少样本学习
- 零样本提示(Zero-Shot Prompting):直接给出指令,不提供示例。适用于简单任务或模型已知能力范围内的任务。
- 少样本提示(Few-Shot Prompting):提供少量输入输出示例,引导模型模仿模式。这对于复杂的逻辑推理或特定格式的输出非常有效。
3. 思维链(Chain of Thought, CoT)
当面对复杂问题时,直接要求模型给出答案往往会导致错误。思维链技术鼓励模型展示推理过程。通过在提示词中加入「让我们一步步思考」或类似的引导语,模型会生成中间推理步骤,从而显著提高回答的准确性。这种方法特别适用于数学计算、逻辑谜题和代码调试。
4. 结构化输出控制
为了确保程序化处理的便利性,提示工程师需要强制模型输出特定格式,如 JSON、XML 或 Markdown 表格。这需要在提示词中明确指定 Schema 或模板,避免模型自由发挥导致后续解析失败。
提示词工程师的非技术技能要求
据介绍,生成式人工智能对于提示词工程师的要求并不局限于编程等硬性技术领域,非技术类的软性技能也是职位所需要的。以下是多学科领域内为人工智能技术发展做出贡献的五项非技术技能,同时也是提示词工程师的职业要求。
第一,学会沟通
就像项目经理、教师或任何定期向其他人简要介绍如何成功完成任务的人一样,提示工程师需要善于给出指示。大多数人需要很多例子来完全理解指令,人工智能也是如此。爱德华·田(Edward Tian)开发了 GPTZero,这是一种人工智能检测工具,可以帮助发现高中论文是否由人工智能撰写,他向大型语言模型展示了示例,因此它可以使用不同的声音写作。当然,田是一位具有深厚技术技能的机器学习工程师,但这种方法可以被任何正在开发提示并希望聊天机器人以特定方式编写的人使用,无论是经验丰富的专业人士还是小学生。
第二,具备领域的专业知识
许多提示工程师负责针对特定用例(例如医疗保健研究)调整聊天机器人。这就是为什么及时的工程职位发布正在涌现,要求特定行业的专业知识。无论是医疗保健、法律、营销还是木工方面的主题专业知识,对于制作强大的提示都很有用。细节决定成败,在与 AI 交谈时,现实世界的经验非常重要。
第三,精准化语言
为了让人工智能成功输出所需内容,它需要被灌输意图。这就是为什么善于使用动词、词汇和时态来表达总体目标的人善于提高人工智能的性能。当安娜·伯恩斯坦(Anna Bernstein)开始在 Copy.ai 工作时,她发现将自己的提示视为一种神奇的咒语很有用:一个错误的单词会产生与预期截然不同的结果。「作为一名诗人,这个角色用接近的语言融入了我的痴迷天性。这是我的文学背景和分析思维的一个非常奇怪的交集,她在接受 Business Insider 采访时说。人工智能提示不是使用编程语言,而是使用散文,这意味着人们在开发提示时应该释放他们内心的语言学爱好者。
第四,拥有批判性思维
生成式人工智能擅长合成大量信息,但它可以产生错觉(这是一个真正的技术术语)。当聊天机器人在质量差或数据不足的情况下进行训练或设计时,就会发生 AI 错觉。聊天机器人有时候会制造一些虚假信息。提示工程师要精准戳中 AI 的弱点,然后训练机器人变得更好。例如,人工智能初创公司 Scale AI 的及时工程师莱利·古德赛德(Riley Goodside)在向聊天机器人提出以下问题时得到了错误的答案:「贾斯汀·比伯出生的那一年,哪支 NFL 球队赢得了超级碗?」然后,他要求聊天机器人列出一系列循序渐进的逻辑推论,以产生答案。最终,它纠正了自己的错误。这强调了对主题有适当程度的熟悉是关键:对于某人来说,让聊天机器人产生他们无法可靠地进行事实检查的东西可能不是一个好主意。
第五,掌握核心创造力
尝试新事物是创造力的定义,也是良好快速工程的本质。Anthropic 的招聘启事指出,该公司正在寻找一位具有「创造性黑客精神」的工程师。语言的精确性很重要,但也需要进行一些实验。模型越大,复杂性就越大,反过来,产生意外但可能惊人的结果的可能性就越高。通过尝试各种提示,然后根据结果完善这些指令,生成式 AI 用户可以增加提出真正独特事物的可能性。
行业应用现状与趋势
从数字广告公司到软件开发商、医疗保健提供商和公用事业公司,都在发布提示词工程师招聘广告。据《时代》报道,在 2021 年和 2022 年之间,含有 GPT 的招聘广告数量增加了 51%。
在国内,AI 提示词工程师主要在两个领域内,一个是类似于 ChatGPT 的大语言模型的应用中,另一种是在 AI 文生图领域。在国内的招聘网站中,也逐渐出现熟练使用提示词以驱动大模型应用道企业生产的岗位,虽然国内尚未明确将提示词工程师规定为新职业,然而在编程架构师、产品经理、新媒体运营、艺术设计等多种品类的求职通道中都能看到「提示词训练」的影子。据业内人士透露,一些中小型企业内部也存在提示工程师的需求。
而在国外,对于提示词工程师岗位的需求则更加丰富。加州人工智能初创公司 Anthropic 表示,其角色是「编程、指导和教学」的混合体,招聘广告中给出的薪水在 28 万到 37.5 万美元之间。总部位于伦敦的数字机构 Rehab 正在寻找能够为 LLM 技术的新应用提供原型的及时工程师,培养他们对语言模型进行微调和沟通的能力,并保持该领域的最新知识。而马萨诸塞州的波士顿儿童医院正在寻找提示工程师,以部署大型语言模型,协助医疗保健研究和临床实践。
系统化的学习路径与技术进阶
随着提示工程需求的爆发,建立系统的知识体系至关重要。以下是一个基于技术深度的进阶学习路径建议,旨在帮助从业者从入门到精通。
第一阶段:基础认知与应用
该阶段让大家对大模型 AI 有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么? 深入理解生成式 AI 的能力边界,包括文本生成、代码编写、图像创作、数据分析等。
- 大模型是怎样获得「智能」的? 了解 Transformer 架构基础,注意力机制,预训练与微调的基本原理。
- 用好 AI 的核心心法 掌握人机协作的最佳实践,明确 AI 作为辅助工具而非替代者的定位。
- 大模型应用业务架构 学习如何将 AI 能力集成到现有业务流程中,设计合理的交互流程。
- 大模型应用技术架构 了解 API 调用、Token 管理、缓存策略、成本优化等技术细节。
- 代码示例:向 GPT-3.5 灌入新知识 学习如何使用 RAG(检索增强生成)技术,将私有知识库注入模型。
- 提示工程的意义和核心思想 理解 Prompt 作为代码的一种形式,其版本控制和测试的重要性。
- Prompt 典型构成 分析指令、上下文、输入数据、输出指示四大要素。
- 指令调优方法论 学习如何通过迭代优化提升指令效果。
- 思维链和思维树 掌握复杂推理问题的拆解方法。
- Prompt 攻击和防范 了解提示注入(Prompt Injection)风险及防御措施。
第二阶段:高阶实战与 RAG 系统
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG 解决大模型幻觉问题,引入实时数据和私有数据。
- 搭建一个简单的 ChatPDF 实践文档解析、切片、向量化全流程。
- 检索的基础概念 理解倒排索引、BM25 算法等传统检索技术。
- 什么是向量表示(Embeddings) 学习如何将文本转化为高维向量空间中的点。
- 向量数据库与向量检索 熟悉 Milvus、Chroma、Pinecone 等向量数据库的使用。
- 基于向量检索的 RAG 实现语义搜索与生成结合的完整链路。
- 搭建 RAG 系统的扩展知识 学习混合检索(关键词 + 向量)、重排序(Re-ranking)技术。
- 混合检索与 RAG-Fusion 简介 探索多路召回融合策略以提升准确率。
- 向量模型本地部署 学习使用 Ollama、vLLM 等工具在本地运行 Embedding 模型。
第三阶段:模型训练与微调
恭喜你,如果学到这里,你基本可以找到一份大模型 AI 相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
- 为什么要做 RAG 再次强调 RAG 与微调的适用场景区别。
- 什么是模型 深入理解权重、参数、层数等基本概念。
- 什么是模型训练 区分预训练、继续预训练、指令微调(SFT)。
- 求解器 & 损失函数简介 了解梯度下降、交叉熵损失等优化目标。
- 小实验 2:手写一个简单的神经网络并训练它 通过 PyTorch 或 TensorFlow 实践反向传播。
- 什么是训练/预训练/微调/轻量化微调 全面梳理模型生命周期中的不同训练阶段。
- Transformer 结构简介 深入 Encoder-Decoder 架构及其变体。
- 轻量化微调 学习 LoRA、QLoRA 等高效微调技术,降低显存需求。
- 实验数据集的构建 学习高质量指令数据的清洗、标注与格式化。
第四阶段:商业闭环与部署
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型 评估 GPU、NPU 等算力设备的性价比。
- 带你了解全球大模型 对比主流闭源与开源模型的特性与生态。
- 使用国产大模型服务 熟悉国内合规的大模型 API 接口。
- 搭建 OpenAI 代理 学习如何安全地封装第三方 API。
- 热身:基于阿里云 PAI 部署 Stable Diffusion 实践图像生成模型的部署。
- 在本地计算机运行大模型 使用 llama.cpp 等工具实现离线推理。
- 大模型的私有化部署 满足数据安全与隐私合规要求。
- 基于 vLLM 部署大模型 优化高并发场景下的推理性能。
- 案例:如何优雅地在阿里云私有部署开源大模型 实战云原生环境下的容器化部署。
- 部署一套开源 LLM 项目 整合 LangChain、LlamaIndex 等框架。
- 内容安全 实施敏感词过滤、价值观对齐检测。
- 互联网信息服务算法备案 了解国内大模型上线的合规流程。
结语
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。如果你能在 15 天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
提示词工程师不仅仅是一个职位名称,它代表了一种新的工作范式。在这个范式下,人类不再是单纯的执行者,而是设计者、指挥者和审核者。随着技术的演进,这一角色将不断进化,但其核心价值——连接人类意图与机器能力——将始终不变。对于希望在这一领域深耕的从业者而言,保持持续学习的心态,紧跟技术前沿,同时深耕垂直领域的业务知识,将是通往成功的关键路径。