AI 大模型与互联网行业变革：人才需求及薪酬分析

AI 大模型与互联网行业变革：人才需求及薪酬分析 | 极客日志

AI 大模型与互联网行业变革

在腾讯股东大会上，CEO 马化腾深刻指出，人工智能（AI）并非仅仅是互联网领域十年一遇的机遇，而是一个具有深远影响的、堪比电力发明的工业革命级别的重大机遇。

行业概览

随着 AI 领域的竞争日益激烈，模型的发展方向开始呈现分化趋势，从追求通用性转向专注于特定领域的专业化。

据目前统计，中国已有超过 40 家企业推出了自己的大型 AI 模型，例如百度的'文心一言'、阿里巴巴的'通义千问'、科大讯飞的'星火'等，以及即将推出的腾讯'混元'、京东'ChatJD'和华为'盘古'等。这些模型主要分为两大类：

通用型大模型：侧重于基础架构的构建，通过在大量通用数据上进行预训练，具备强大的泛化能力，类似于 AI 完成了'通识教育'。这类模型将 AI 开发带入了规模化的工业时代，尽管在特定场景下的专业度尚需提升。
垂类大模型：在开源大模型的基础上，针对特定行业应用进行定制。只有少数具有庞大资金、丰富数据资源和应用场景的巨头企业适合开发通用型大模型，例如百度在搜索领域、腾讯在社交媒体领域、阿里巴巴在电商领域的应用。随着 AI 生成内容（AIGC）技术的不断进步，拥有特定场景数据积累的公司将开发出更多专注于细分市场的垂直领域模型。

应用路径

AI 大模型的应用路径日益明晰，一般遵循从'基础大模型'到'行业大模型'，最终实现'终端应用'的流程。行业大模型则是在基础大模型的基础上，进一步整合行业数据、知识和专家经验，以提高模型的表现力和可控性。目前在金融、能源、制造、传媒等多个领域，一些领先企业和科研机构已经开始联合开发行业大模型。

开源还是闭源

在开源模型与闭源模型的竞争中，开源模型以其低成本、快速迭代和技术可私有化部署的优势，对闭源模型构成了挑战。例如，Meta 的开源模型 Llama 系列在全球范围内受到开发者和爱好者的欢迎，而国内的百度、腾讯、阿里等企业则在持续迭代自己的闭源模型。随着高性能开源大模型的出现，一些垂直行业应用公司开始转向使用开源模型结合矢量数据库的解决方案，以应对特定应用场景的需求。

开源大模型有效解决了闭源大模型在应用中的一些痛点。例如，使用开源模型可以避免从头训练模型所需的高昂成本，同时，开源社区如 HuggingFace 提供的预训练模型可以让用户快速进行微调和部署。此外，开源模型的快速迭代和私有化部署能力，也帮助企业保护了敏感数据的安全性。

AI+ 还是 +AI

在 AI 投资领域，'AI+'与'+AI'的争论一直存在。

+AI：代表了传统企业采用 AI 技术。由于传统行业众多，落地场景广泛，且体量庞大，因此赋能的新增价值能够产生规模效应。
AI+：代表了以 AI 技术为核心的科技企业。它们在算力、算法、数据等方面具有较高的壁垒和先发优势，在自动驾驶等关键领域有机会占据领先地位。

大模型还是小模型

'大模型'，即大型语言模型（LLM），以其庞大的参数量、深层神经网络结构和高维特征空间而著称。这类模型通常拥有数以百亿计甚至上千亿的参数，其训练和部署所需的资源极为庞大，主要表现在以下几个方面：

算力成本：大模型的训练需要强大的计算能力，依赖于大规模的 GPU 集群或专用 AI 芯片，这导致硬件投资和运维成本显著增加。
数据需求：大模型的训练依赖于大量的数据集，以挖掘潜在的模式和规律，这就需要高昂的数据收集、清洗和标注成本。
模型复杂性：大模型的设计和构建更为复杂，涉及多层次的神经网络结构和优化算法，增加了研发的技术难度和人力资源投入。
协同开发：大模型项目通常规模庞大，需要多学科交叉、大规模团队协作来完成模型的研发、训练和优化。

与此相对，'小模型'则更为轻量级，具有较少的参数和较低的计算资源需求。它们结构简单，易于部署和进行实时运算，更适合资源受限的环境和应用场景。尽管在特定任务上可能不如大模型表现出色，但小模型的高效和便捷性使其在实际应用中同样重要。

近期，小模型的发布呈现出井喷之势：

7 月 18 日，OpenAI 推出了 GPT-4o mini，在 MMLU 基准测试中取得了 82.0% 的高分。
同日，Apple 发布了 DCLM 7B，一个真正的开源模型，性能超越了 Mistral 7B。
Mistral 与 Nvidia 联合发布了 NeMo 12B，性能优于 Llama 3 8B 和 Gemma 2 9B。
7 月 16 日，HuggingFace 发布了 SmolLM，包含 135M、360M 和 1.7B 三种规模的模型，仅使用 650B 个 token 进行训练，便超越了 Qwen 1.5B 和 Phi 1.5B。
7 月 17 日，Groq 发布了 Llama 3 8B 和 70B 工具使用和函数调用模型，在 BFCL 上实现了 90.76% 的准确率。
7 月 19 日，Salesforce 发布了 xLAM 1.35B 和 7B 大型动作模型，在 BFCL 上的得分分别为 88.24% 和 78.94%。

特别值得一提的是，GPT-4o Mini 以其经济实惠著称，其成本比 OpenAI 之前最轻量级的 GPT-3.5 Turbo 还要低 60% 以上。GPT-4o Mini 不仅价格低廉，性能同样出色，在 MMLU 测试中得分高达 82%，在 LMSYS 排行榜上甚至超过了 GPT-4。此外，GPT-4o Mini 在数学和编码任务、多模态推理任务方面也超越了 GPT-3.5 Turbo 和其他小型模型，显示出其在性价比和性能上的双重优势。

大模型一览

开源与闭源模型

在 2023 年初，闭源大模型主要以纯文本的语言模型（LLM）为主。然而，随着时间推移，闭源模型在多模态能力上取得了显著进步，目前能够理解图像并生成图像内容。相比之下，尽管开源模型在文本处理能力上有了显著提升，但大多数开源模型尚未实现多模态功能。

国内与海外模型

国内主流大模型在 2023 年底以来的更新中开始追赶 GPT-4。例如：

2023 年 10 月更新的**文心 4.0（Ernie 4.0）**在综合水平上与 GPT-4 相比已不逊色。
2024 年 1 月更新的智谱 GLM-4，其整体性能已接近 GPT-4。
2024 年 4 月更新的商汤日日新 5.0在综合性能上宣称全面对标 GPT-4 Turbo。

代表模型详解

GPT-4

GPT-4 是 OpenAI 开发的最新语言模型，它在生成类似人类语言的文本方面表现出色，是 GPT-3.5 的一次重大升级。OpenAI 指出，GPT-4 在以下三个关键领域实现了显著进步：

创造力：GPT-4 在创意项目生成和与用户合作方面表现更佳，包括音乐创作、剧本写作、技术写作等，并能学习用户的写作风格。
视觉输入：GPT-4 增强了对图像内容的理解能力，能够处理视觉相关的任务。
长文本处理：GPT-4 能够处理长达 128K 个文本令牌的上下文，甚至可以直接与网页链接中的文本进行交互。

尽管 GPT-4 在多个方面取得了进步，但它仍然存在一些局限性，如社会偏见、幻觉以及对抗性提示等问题。这些问题可能导致模型提供错误的答案或不准确的信息。网上有许多例子展示了 GPT-4 的这些局限性，表明尽管 AI 技术不断进步，但仍需持续优化和改进以提高模型的准确性和可靠性。

Claude 3.5

由 Anthropic 公司于 2024 年 6 月 20 日发布的 Claude 3.5 Sonnet 是其 LLM 大语言模型系列中的先遣版本。根据 Anthropic 公布的测评结果，Claude 3.5 Sonnet 在多个标准测试中表现卓越，甚至超越了业界公认的强模型 GPT-4o。

以下是 Claude 3.5 Sonnet 的一些关键特性：

视觉推理：在解释和分析视觉数据方面表现出色，包括理解复杂图表、图形、图解，以及分析信息图和科学可视化。
图文整合：能够无缝整合图像和文本信息，实现全面理解和分析。
对象识别：准确识别和描述图像中的对象。
视觉问答：根据视觉分析，提供详细、准确的回答。
基于图像的问题解决：利用视觉信息协助解决问题，例如分析建筑或工程图。
艺术和设计分析：提供关于艺术风格、设计元素和视觉美学的见解。
手写识别：在识别和转录手写文本方面有出色的表现。
视觉数据提取：从图像中嵌入的表格或图表提取信息。

Claude 3.5 Sonnet 的这些特性使其在多模态任务中具有强大的应用潜力，特别是在需要视觉和文本信息整合的场景中。

Llama 3

Llama 3 是 Meta 创建的一个开源 LLM，用于生成式 AI，包括聊天机器人，能够以自然语言响应各种查询。以下是 Llama 3 的一些关键特性和架构：

评估用例：集思广益、创意写作、编码、文档总结以及以特定角色或人物的声音回答问题。
模型架构：采用标准的密集 Transformer 模型架构，未使用 MoE（Mixture of Experts）架构。
细微调整：与之前的 Llama 模型相比，进行了细微调整以提高训练稳定性。
效率和长序列处理：使用分组查询注意力（Grouped Query Attention）和注意力掩码来提高效率和处理长序列的能力。
模型参数：参数规模从 8B 到 405B 不等，支持的上下文窗口可达到 128K tokens。

Llama 3 的开源特性和灵活性使其在 AI 社区中具有广泛的应用前景，特别是在需要定制化解决方案的场景中。

职业发展

人才市场现状

在 2024 年上半年，人工智能和软件工程领域的人才市场呈现出高度紧缺的状态，特别是在大模型算法、ChatGPT 研究、云计算和数字前端工程等岗位上。这种供需不平衡导致了激烈的人才争夺战，其中人才供需比低于 0.5，意味着平均有两个岗位在竞争一个合适的候选人。

薪资水平分析

在薪资方面，人工智能领域的薪资水平一直保持着较高的增长趋势。根据相关报告，2022 年人工智能新发岗位的平均月薪为 43817 元，而到了 2023 年前 8 个月，这一数字上涨至 46518 元，增长率达到 6.16%。

对于在国家实验室或国家重点实验室等第一梯队核心实验室工作的博士生，年薪甚至可以达到 120 万至 150 万元，这在业界被认为是一个常见的薪酬水平。

国外大模型工资平均薪资水平

根据薪酬网站 Levels.fyi 的信息，OpenAI 的软件工程师年薪总额为 92.5 万美元。这其中包括 30 万美元的基本工资和 62.5 万美元的股权，后者会分 4 年发放。如果员工能够正常完成服务期，总共可以获得高达 250 万美元的薪酬。

产品经理岗位的薪酬同样处于高位，反映了市场对既懂技术又懂业务人才的渴求。

技能要求与未来趋势

要在这个领域获得发展，技术人员通常需要掌握以下核心技能栈：

编程语言：Python 是绝对的主流，其次是 C++ 用于底层优化。
深度学习框架：熟练掌握 PyTorch 或 TensorFlow，理解模型训练流程。
大模型框架：了解 LangChain、LlamaIndex 等应用开发框架，能够构建 RAG（检索增强生成）系统。
向量数据库：熟悉 Milvus、Chroma 等向量存储方案，用于知识库构建。
云原生部署：掌握 Docker、Kubernetes 以及各类云厂商的 AI 平台服务。

未来的发展趋势显示，端侧大模型（Edge AI）将成为新的增长点，这意味着对模型压缩、量化以及边缘计算优化的需求将大幅增加。同时，多模态能力的普及将推动视频、音频与文本融合应用的爆发。对于从业者而言，保持持续学习的能力，紧跟技术迭代节奏，将是应对行业变革的关键。

结论

AI 大模型正在重塑互联网行业的格局，从技术底层到应用层都发生了深刻变化。虽然通用大模型竞争激烈，但垂直领域的深耕机会依然巨大。对于人才而言，这不仅意味着高薪的诱惑，更代表着职业赛道的转换。无论是选择投身于基础模型的研究，还是专注于行业应用的落地，都需要扎实的技术功底和对业务场景的深刻理解。随着技术的成熟，AI 将从概念走向规模化生产，成为数字经济的核心驱动力。

AI 大模型与互联网行业变革：人才需求及薪酬分析