GPT 时代算法工程师的职业发展与 35 岁危机应对
GPT 的能与不能
GPT 代表"Generative Pre-trained Transformer",是由 OpenAI 开发的自然语言处理模型。它是通过在大规模文本语料库上进行预训练而得到的,在预训练阶段,模型学会了理解语言的结构、语法、语境和一般知识,之后通过微调,可以适应特定任务或生成特定类型的内容。
GPT 能做的
GPT 可以回答问题和创作。
回答问题: 基于现有知识给出答案,包括但不限于问题解答、翻译、知识查询、论文总结等等。
GPT 也是一个出色的知识库,可以问它自己不了解的问题,例如给出量化交易系统示例代码。
创作: GPT 通过大规模的预训练提高了模型对语言上下文的理解和生成能力,因此能够创作、聊天对话。例如,可以让它模仿鲁迅的文字创作。
GPT 不能做的
正是因为 GPT 只能基于现有的知识进行生成,因此它存在两个缺点:缺乏创新性、不保障准确性。
缺乏创新性: ChatGPT 生成的文本主要基于其在现有的文本数据中学到的模式,不能进行创新;而算法工程师通常需要具备创造性和创新性,能够设计新颖的算法解决问题。如果工作中有时需要结合数据特点创新性的开发新算法,GPT 便不能实现了。
不保障准确性: ChatGPT 会出现幻觉,可能胡说八道,不保障生成内容的准确性。在解决需要领域专业知识的问题时,仍然需要算法工程师的判断。
比如,GPT-3 会把鲁迅和周树人当成不同的人,而我们有文学知识,知道鲁迅是周树人的笔名,是同一个人。
基于这两点原因,GPT 代替不了具有丰富的领域知识、并能独具创新的算法工程师:
如果生成效果差,有经验的算法工程师可以通过调整 prompt、调整数据、调整模型等手段来提升;如果出现了幻觉,有领域知识的算法工程师会给出正确的信息。
而如果判断力不强,就算 GPT 输出很好的内容,也会被埋没。
总而言之,GPT 的作用和使用它的人的判断能力相关,并不能替代人。
但是,我们身处 AI 时代,学习了解 GPT 也是我们所需要的。
在 GPT 时代下我们应该如何应对 35 岁危机
35 岁危机或许是每个打工人心里的一道坎,毕竟'乱纪元是常态',而 GPT 时代给了我们更多的选择。
成为某一领域的专家
GPT 缺乏领域知识,尤其是一些创新性、定制化的内容。
GPT 不会知道对于营销推荐而言哪个客群更重要,它只会生成通用的代码,而熟悉业务的算法工程师则能加大重要客群的权重,得到更适用于业务、更好用的模型。
此外,假设 GPT 出现了幻觉,生成了错误的内容,有经验的算法工程师也能及时校正。
因此,作为算法工程师,就应该精通一个业务领域,熟悉其业务知识;精通业务相关的算法,成为领域专家,不要轻易改变方向。对同一个领域的知识越深入、越精通,则越安全。
了解 GPT,利用 GPT
虽说 GPT 还不能取代算法工程师,但它是个极好用的工具,不仅有全面的知识,而且是生产力利器:例如可以开发代码,给代码 debug,完成周报等等。
在 GPT 时代,一个人就能成为一个团队。我们应该了解 GPT,利用 GPT 来帮助我们提高效能。
首先,可以了解 GPT 的基础:Transformer 架构和它的相关论文。
Transformer 最早是 Google 在 2017 年的 Attention Is All You Need 论文中提出,解决了传统的序列到序列 sequence-to-sequence (Seq2Seq) 模型在处理 [可变长序列时遇到的问题。
也可以看看 GPT 的论文:
- GPT-1:Improving Language Understanding by Generative Pre-training
- GPT-2:Language Models are unsupervised multitask learners
- GPT-3:Language models are few shot learners
- GPT-4:GPT-4 Technical Report
也可以去 GitHub 上搜"ChatGPT",找高 star 的 ChatGPT 相关的资料来学习。
接着,学习使用 GPT API, 即通过编程接口(API)与 GPT 模型进行交互。通过使用 GPT API,可以将 GPT 的强大文本生成和理解能力集成到自己的应用程序、产品或服务中。了解 Prompt Engineering,用更好的 prompt 来和 GPT 交互,得到更好的回答。


