大模型时代程序员可通过五个阶段实现自我成长：从学习提示词改善生活，到借助 LLM 扩展能力边界，再到产品研发全流程介入，团队推广及知识沉淀。文章梳理了基础模型层、中间层（LLMOps、向量数据库）及应用层的生态现状，涵盖国内外主流厂商与技术栈。未来 AI 应融入生活解决实际问题，而非仅追求技术本身。
ChatGPT 发布一周年了，切实改变了我的工作方式和职业路径。作为一名普通程序员，回顾过去一年大模型领域的发展情况以及个人的所思所想，文章分为四个部分：从初次接触 ChatGPT 沉迷追 AI 新闻，到开始亲身实践利用 LLM 进行有价值的工作，以开发者视角总结一年来大模型各个层面的发展，最后浅谈对 AI 未来的一些展望。
2022 年 11 月 30 日，OpenAI 正式发布 ChatGPT，在短短一年时间里，ChatGPT 不仅成为了生成式 AI 领域的热门话题，更是开启了新一轮技术浪潮。从最初的 GPT-3.5 模型，到如今的 GPT-4.0 Turbo 模型，OpenAI 的每一次更新都不断拓宽着我们对于人工智能可能性的想象。最开始，ChatGPT 只是通过文字聊天进行互动，而现在，已经能够借助 GPT-4V 解说视频。
文字是思想的载体，第一次看到 ChatGPT 的演示效果，就被震撼到了。看着对话框中的文字逐个跳现，流畅的内容表达、尽情展现想象力，这与以往任何智能对话机器人截然不同，真正展示了智能的可能性。随后，便开始搜寻一切关于 ChatGPT 的信息，频繁刷新 Reddit 上的 ChatGPT 话题讨论，检索 X 平台的 ChatGPT 关键词，查看科技媒体是否有相关报道。
在接下来的一个月里，既兴奋又焦虑。兴奋源于每当有空闲时间，就能与 ChatGPT 这款'真正的人工智能'进行对话；而焦虑则缘于工作时总忍不住去刷新新闻，生怕错过其他用户分享的新玩法展示和有趣的提示词。当时在国内没引起太大的关注，微信指数、百度指数以及新浪指数也只有浅浅的波动。
随着年假的结束，各类生成式 AI 产品不断走红，包括 AI 生成图像和编写代码等。在此期间，一位朋友分享给我一篇文章，发表在红杉资本美国官方网站上，标题为《生成式 AI：一个创造性的新世界》。我既非投资者，也不负责公司战略，仅是一名普通程序员，对我而言，这些由底层逻辑推导出的宏观趋势不过是'正确的废话'，并不能指导我的实际行动，然而，作为一个契机，却激发了我深层的思考：如何借助这些能力做个人层面实实在在的实践，为自己打补丁，构建对别人有益的产品，最大化的传递这其中的价值，这才是最重要的。
即使到当下，还有很多人通过追 AI 新闻的方式，关注 AI 领域的最新动态。在这里推荐几个优质的资讯来源，所有这些都支持通过 RSS 进行订阅，部分可以邮件订阅，希望能解决你的信息焦虑，节省你的时间，更专注于手头的工作。
对于程序员个人发展来说，目前最理想的选择是加入大厂模型训练或推理平台的基础设施团队，其次，可以考虑前往大模型初创公司的非核心部门。如果这两者不可行，那么可以考虑加入中间层和应用层的创业公司，投身赛道，参与其中才能获得切实的成长和收获。当然，也可以像我一样选择出来单干，但机会依旧有限，坑也就那么多，对大多数程序员来说，比较现实的是在当下，在自己的岗位上用好大模型的能力。我以自己的经历，总结下大概可以分为五个阶段：
学习提示词，了解 LLM 的能力，改善自己和朋友的日常生活体验。举一个例子，我做了一个用于口语化记账的 iOS 快捷指令，分享给身边人用，由于大模型有强大的意图识别能力，记账不再通过在 APP 中手动去记录，而是直接唤起 Siri，口语化表达，然后提炼为结构化的内容，存储在备忘录或者具备 API 接口的记录软件中。给自己做了一个游戏博客，将油管上的游戏类热门视频内容生成文章总结，然后支持 RSS 订阅主题，这样不用去刷，但是也不怕漏掉感兴趣的游戏视频。
像上面这种方式，自定义提示词做个简单应用，用于简历优化、文本校对、生成论文大纲等等，当下这些东西方案成熟，有开源参考，先把 AI 能力用起来。
借助 LLM 扩展个人能力边界：大模型时代，人人都是能实现 MVP 的产品经理。做一个自己的小产品门槛更低了。你说自己不会设计，trace 可以帮你生成 SwiftUI；你说自己不会前端，Screenshot to Code 借助 GPT-4 Vision 可将任何网站的屏幕截图/网址转换为代码 (HTML/Tailwind CSS、React、Vue 或 Bootstrap)，实现精准的网站实时克隆。关键是看你是否有颠覆常规的创意，以及是否能够发掘细分市场的需求，AI 提供了更多根据自己的想法创造的时间和机会。
产品研发层面，在产品生命周期的各个阶段让 LLM 更多的介入进来帮助自己。程序员都有造轮子的爱好，为的就是提高效率，节省时间，那么个人的工作流程能不能优化下，让 AI 参与进来。设计技术文档，和技术沟通方案时，使用时序图和 UML 类图辅助说明十分常见，使用用户旅程图和产品经理交流，使用甘特图和项目经理同步进度，这些内容其实都可以借助大模型了，只要你将自己的想法理清楚表述出来，做图部分交给 AI 生成就可以。从系统设计到代码编写、测试和维护，已经将之前每个项目都要经历的标准产出物都交给 AI 生成了，自己只做不同项目实施时的具有特殊性的部分进行确认完善，当前 AI 已经分担了以往 30% 的日常工作量。
在团队中推广 LLM 知识和技术，提升工作效率，并探索其在组织中的应用：积极地将这些技术回馈到工作中，在可能获得额外回报的情况下帮助同事，改善团队流程，并寻求更多公司层面的机会。例如，可以尝试将团队积累的文档资产转化为知识库问答应用，或者开发一个产品 QA 机器人，先过滤 90% 的用户问题。这个过程会认识到，控制 token 成本的重要性，RAG 技术有一堆 dirty work 要做，还有提示词安全也需要考虑。做完这些你就是团队最懂 AI 的那个人，此外，还可以设计开发一个与团队技术栈相匹配的类 LangChain 内部框架，以支持基于 LLM 的应用规模化开发。
LLM 作为一个新兴领域，大家都站在挖掘其潜力的同一起点上，掌握得越多，就越能显现出你的专业度：上个阶段的经验已经足够有价值，只有好好钻研设计过提示词你才知道如何更好的控制模型输出稳定性，也会有一套包含调试提示词、提示词版本管理、设计 A/B 测试方案、提示词效果跟踪、评估的整体方案。收集来自用户交互产生的高质量数据微调一个服务于产品的模型，尽管并不是每个开发者都必须掌握模型训练和微调的能力，但这也是随着能力提升需要扩展的技能方向。
当然，现在开始学习也不迟，按照下面的路径扎实的学习一遍，就能比 99% 的人更深入地理解大型模型的能力边界，从而更好地驾驭这些大模型。
不得不说，大模型赛道生态太繁荣了，源源不断有新公司冲进来，大厂的新业务也在往这个方向靠。为了话题不要跑太远，还是以一个技术人视角，从最经典的基础模型层，中间层以及应用层的技术图谱角度来聊聊。
从我自己做应用的角度，将基础模型层的能力我分为三类，直接以 API 方式提供模型能力的，提供算力和配套工具能够支持模型训练的，集前面两种能力的云厂商，下面都是我体验过的服务。
OpenAI 一骑绝尘，释放的 API 能力越来越强，价格也越来越便宜，Function Call，Plugin，还有后来的 GPTs，可以看出想在提供基础能力之外做的更多。微软押对了筹码，坐上顺风车，也及时上架了搭载 OpenAI 模型的云服务，同时 bing 搜索，office 套件，Windows 系统都集成接入 AI 能力。开源方面，Meta 的 Llama 和斯坦福的羊驼推动了 AI 技术平权，基本是个人自托管大模型的首选。Bard 插件系统，可以整合谷歌旗下产品，从 Google Workspace（Doc、Gmail、Drive 和 Maps 等）到 Youtube、Google Flights 等。Amazon 推出的大模型托管服务 Bedrock，支持 Amazon 自家和 AI21 Labs、Anthropic、Cohere 和 Stability AI 几家模型，并且与 AWS Lambda 函数服务进行了整合。这里需要提下 Anthropic，Claude 2 的能力仅次于 GPT-4。
最后不得不提，对开发者比较重要的几家服务，Cloudflare 满足 AI 时代应用开发范式，顺势推出 AI 推理即服务平台 Workers AI，矢量数据库产品 Vectorize，用于增强 AI 应用可观察性、可靠性和可扩展性的 AI Gateway；Replicate，连续创业者与人工智能专家联手打造的 AI 模型托管云平台，在费用计算粒度和成本控制及扩展性方面表现出色，让普通开发者也能玩转大模型；最后就是 AI 领域的 Github—Hugging Face，提供了众多好用的预训练模型和数据集，还有限量免费的 AI 推理能力，是个人寻找灵感、验证点子的不二之选。
国内做大模型的，百度得益于以往在 AI 领域的积累，作为国内对标 OpenAI 的厂商，最早推出文心一言，而后紧跟发布插件商店，也是国内最早面向开发者提供 API 的。而智谱由于早期开源大模型的 ChatGLM2-6B，则在开源社区积累了众多用户。百川智能作为新创公司迅速崛起，成立两个月便开源了 Baichuan-7B，16 天之后发布了免费可商用的 Baichuan-13B，值得关注。以上三家都是个人使用过其 API 服务的，其他家的暂未体验。下面其他内容来自道听途说，大厂由于人才密集，加资金雄厚，全产品线推进 AI 能力，比如阿里的通义开始对菜鸟、淘宝、高德等业务进行赋能；大模型创业公司 minimax，可能是国内第一家同时拥有 3 个模态大模型能力的公司，其大模型驱动的 toC 产品 Glow 用户数逼近 500 万（目前已下架），还有团队比较年轻的先锋公司，Moonshot（Kimi Chat 主打超长上下文）、深言科技（WantWords 反向词典、深言达意都很好用）和面壁智能。
前段时间还看到统计说国内大模型已经有 180 家了，虽然可以在风口上糊弄投资人，拉拉股价，但实际体验骗不了做应用的开发者，更骗不了亲自体验的用户，时间会告诉答案。
说到中间层，不得不提一个新名词 LLMOps，这个没有准确的定义，但是很多做中间层的技术厂商都声称自己是 LLMOps 平台提供商。我个人认为应该分为狭义上和广义上的，你需要什么能力再去补足就行。狭义上的 LLMOps 本质上是一套新的工具和最佳实践，用于管理由 LLM 驱动的应用的生命周期，包括开发、部署和运营，我认为这是一些关键能力：
下面是一些符合上面要求的一些 LLMOps 平台：
除了平台型产品，还有一些聚焦细分领域的产品尝试，Rebuff AI 是防御提示词攻击的 AI 应用安全产品，Humanloop 专注于 AI 应用可观测性，还有可观测性平台 Helicone 介绍和 agenta。
而广义上还涵盖了大模型本身的开发、部署、维护和优化的一整套实践和流程，是在传统 MLOps 基础上做了一点变化
这部分几大云厂商有完整的产品覆盖，不过也有创业公司来吃细分领域，Weights & Bases 和 Neptune 是用于记录模型训练实验数据的工具，BentoML 是用于机器学习（ML）模型服务和部署的开源平台，OctoML 和 MosaicML 也都是帮助企业优化和部署机器学习模型的平台，这部分了解不多，训练大模型的实践经验有限，只能谈谈以上都是我简单使用过的产品。
最后，向量数据库需要单独说说，虽然之前的文章万字长文带你深入了解向量数据库谈及过向量、以及向量数据库选型的话题，但是我个人比较认同的观点是：专用的向量数据库是会慢慢褪去热度，而加向量扩展的经典数据库会成为主流，独立的向量数据库会带来额外的开销和运维复杂性，在经典数据库和向量数据库之间跨地区传递数十亿个嵌入，这部分成本也非常高。比如 BaaS 服务提供商 Supabase（主打 PostgreSQL 数据库服务，并且集成了用户登录验证）使用 pgvector 进行向量存储和 embeddings 支持后，开发者使用 Pinecone 的热度没那么高了，MongoDB 也发布了 AtlasVector Search，Elasticsearch 本身提供了向量搜索功能，作为本就精力有限的开发者，有什么理由给自己多加一个数据库，徒增烦恼呢。
终于来到应用层，我对好应用标准是，在当前大模型技术还不够成熟的阶段，没有 AI 能保证基本能力达标，加上 AI 体验能拉到 90 分，应用层的过去一年的变化总体可以分为四个阶段，基本都是由开源项目引爆的。
入门阶段：构建以单一提示词为中心的应用程序。
进阶阶段：通过组合提示词 + 外部知识库创建更复杂的应用。
发展阶段：开发由大模型驱动的智能代理（Agent）应用。
探索阶段：实现多个智能代理协同工作，以应对高度复杂的应用场景。
提示词工程进入更多人的视野，这个阶段最大化的利用了 GPT 文本生成能力，各种内置提示词的套壳应用层出不穷，角色扮演、工具类应用，套壳应用集合，套壳应用发布平台，当然只有一些对细分领域的业务和标准流程有极致理解，并将其提炼为提示词，这类有价值的应用最后脱颖而出，即使到今天也拥有很高的用户留存率。不过应用层的繁荣，必然也伴随着安全风险，提示词攻击的话题也开始被人关注到。
由于大模型的知识范围有限，急需引入外部数据提升模型的问答效果，RAG 话题讨论热度一度达到最高，这种技术基于提示，最早由 Facebook AI 研究机构（FAIR）和合作者于 2021 年发布的论文《检索增强生成用于知识密集型自然语言处理任务》中提出。
AutoGPT 的炫酷展示，引爆了 Agent（智能代理）话题，当然日常能看到谈论最多也是 LLM 支持的自主代理，具备反省能力，搭配记忆管理，任务规划和工具使用，而不是传统人工智能领域的智能体概念。紧随其后的微软 JARVIS，作为一个协作系统，由 LLM 作为控制器和 Hugging Face 上众多的专家模型作为协作执行者。当然这一阶段需要对上一阶段的 RAG 技术的理解要更深一层，回溯哪部分记忆，什么时候调用 API，如结合 LLM 的知识编排你的流程等等。如果说 AutoGPT 只是概念验证，那 SuperAGI（面向开发者的开源 Agent 开发框架）和 MindOS（心识宇宙团队）就是完成度和用户体验都极佳的产品化实践。
多 Agent 协作探索是这一阶段的主要关注点，前一阶段单个 Agent 调教能力扎实，才具备构建这一层的可能性。斯坦福小镇项目是这个阶段开始的标志，创造了 25 个 AI NPC，每个 NPC 都有不同的身份和行动决策，让它们在一个沙盒环境中共存，模拟真实的人类生活。随后开源的 MetaGPT 项目专注于软件开发，从需求分析到代码编写等实现了全流程的覆盖，发布一个月后在 GitHub 上达到 1 万 star，同时登顶趋势榜，可见热度之高；而 AutoGen 综合上面优势，创造性提出用于构建多智能体合作的可编程元框架，灵活性极高，可以根据自己的需求定义任意的 Agent，然后让它们一起工作，这个阶段各种概念验证项目层出不穷，产品化道阻且长，但未来让人充满期待。
Inflection AI 的 Pi 是目前使用体感最好，如果说将 ChatGPT 当作工具人，那 Pi 就是一个善解人意的小伙伴，优先于人的设计理念，相比其他服务于生产力、搜索或解答问题的 AI，可以放心将 Pi 视作一个具有创造力的教练、朋友或者是一个'发泄情绪'的对象，当然有类似定位的还有致力于让每个人都可定制自己的个性化 AI 的 Character.ai，不过靠提示词调教出来的虚拟角色稳定性堪忧，但是以这个项目作为入口，收集海量高质量交互数据，具备构建出体验超过 Pi 的大模型潜力。
国内这边，使用过个性化英语教育（依据你的行业和工作岗位，AI 生成个性化的教材，着重于所在行业的特定语言概念和行业术语，然后对接东南亚性价比较高的外教老师视频 1V1 教学）和跨境电商营销工具类产品，还有儿童绘本定制。
还有接到过的咨询，国企是想在数智化建设中把 AI 融入做舆情监测，偏 ToG 是在进境物品管理方面在传统模式识别基础上增加 AI 能力做准确率提升。
AI 的发展必须着眼于解决我们日常生活中的实际问题，而不应仅仅局限于追求大模型技术本身。正如我们在使用手机时，很少会意识到背后的通信和计算机技术一样，当 AI 技术广泛应用时，也不会特别强调其背后的复杂大模型，真正成熟的技术应当是润物无声，无形中融入我们生活的，悄无声息地提升我们的生活质量。此外，AI 的发展应当是帮助人们更好地思考自我价值和启发创造力，以及对个人学习潜力的激发，实现人本身的更全面解放。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
