AI 大模型所需的数据类型与质量要求

Commoncrawl 是 2008 年至今的一个网站抓取的大型数据集。它致力于为互联网研究人员免费提供互联网副本，用于研究和分析，数据包含原始网页、元数据和文本提取，文本包含 40 多种语言和不同领域。重点研究实验室一般会首先选取它的纯英文过滤版（C4）作为数据集。

其他数据集

ThePile 数据集：一个 825.18GB 的英语文本数据集，用于训练大规模语言模型。由 ArXiv、WebText、Wikipedia 等在内的 22 个不同的高质量数据集组成。除了训练大型语言模型外，还可以作为语言模型跨领域知识和泛化能力的广泛覆盖基准。其他数据集包含了 GitHub 等代码数据集、StackExchange 等对话论坛和视频字幕数据集等。

多模态数据集

模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，包括文本、图像、视频、音频等。多模态大模型需要更深层次的网络和更大的数据集进行预训练。过去数年中，多模态大模型参数量及数据量持续提升。

语音 + 文本

SEMAINE 数据集：创建了一个大型视听数据库，作为构建敏感人工侦听器代理的迭代方法的一部分，该代理可以使人参与持续的、情绪化的对话。高质量的录音由高分辨率摄像机和同步录制的麦克风提供。录音共有 150 个参与者，总共有 959 个与单个角色的对话，每个对话大约持续 5 分钟。录音被转录和广泛注释，追踪情感维度和相关类别。

图像 + 文本

COCO 数据集：Microsoft Common Objects in Context，起源于微软于 2014 年出资标注的数据集，被视为计算机视觉领域最受关注和最权威的比赛之一。是一个大型的、丰富的物体检测、分割和字幕数据集。图像包括 91 类目标，328,000 张图像和 2,500,000 个 label。 ConceptualCaptions 数据集：图像标题注释数据集，其中包含的图像比 MS-COCO 数据集多一个数量级，并代表了更广泛的图像和图像标题风格。通过从数十亿个网页中提取和过滤图像标题注释来实现这一点。 ImageNet 数据集：建立在 WordNet 结构主干之上的大规模图像本体。目标是填充 WordNet 的同义词集中的大多数。当前状态有 12 个子树，5247 个同义词集，总共 320 万张图像。 LAION-400M 数据集：通过 CommonCrawl 提取出随机抓取 2014-2021 年的网页中的图片、文本内容。通过 OpenAI 的 Clip 计算，去除了原始数据集中文本和图片嵌入之间预先相似度低于 0.3 的内容，提供了 4 亿个初筛后的图像文本对样本。 LAION-5B 数据集：包含 58.5 亿个 CLIP 过滤的图像 - 文本对的数据集，比 LAION-400M 大 14 倍，是世界第一大规模、多模态的文本图像数据集，共 80T 数据。 LanguageTable 数据集：一套人类收集的数据集，是开放词汇视觉运动学习的多任务连续控制基准。 IAPRTC-12 数据集：图像集合包括从世界各地拍摄的 2 万张静态自然图像，每张图片都配有最多三种不同语言的文本标题。

视频 + 图像 + 文本

YFCC100 数据集：包含 1 亿媒体对象的数据集，其中大约 9920 万是照片，80 万是视频，所有这些都带有创作共用许可。数据集中的每个媒体对象都由几块元数据表示，例如 Flickr 标识符、所有者名称、相机、标题、标签、地理位置、媒体源。

图像 + 语音 + 文本

CH-SIMS 数据集：中文单模态和多模态情感分析数据集，包含 2,281 个精细化的野外视频片段，既有多模态注释，也有独立单模态注释。允许研究人员研究模态之间的相互作用，或使用独立的单模态注释进行单模态情感分析。

视频 + 语音 + 文本

IEMOCAP 数据集：南加州大学语音分析与解释实验室收集的一种新语料库，名为'上的二元会话'，这些标记提供了他们在脚本和自发口语交流场景中面部表情和手部动作的详细信息。语料库包含大约 12 小时的数据。详细的动作捕捉信息、激发真实情绪的交互设置以及数据库的大小使这个语料库成为社区中现有数据库的有价值的补充，用于研究和建模多模态和富有表现力的人类交流。

中国 AI 大模型数据集从哪里来

国内各行业数据资源丰富，2021-2026 年数据量规模 CAGR 高于全球，数据主要来源于政府/传媒/服务/零售等行业。据 IDC，2021-2026 年中国数据量规模将由 18.51ZB 增长至 56.16ZB，CAGR 达到 24.9%，高于全球平均 CAGR。从数据来源看，国内各行业数据差异化发展，2021 年政府、传媒、专业服务、零售等行业数据量占比较高，分别为 30.4%、13.4%、13.0%、9.6%，其中接近 90% 的数据为非结构化数据，这也要求了海量数据采集设备和软件的互联互通以及互动互控。另外随着智能化转型的深入，制造、交通运输、批发、教育等行业数据规模在未来也拥有较大的增长潜力。

尽管国内数据资源丰富，但由于数据挖掘不足，数据无法自由在市场上流通等现状，优质中文优质数据集仍然稀缺。目前中文优质数据仍然稀缺，如 ChatGPT 训练数据中中文资料比重不足千分之一，为 0.0991%，而英文资料占比超过 92.6%。据加利福尼亚大学和 Google 研究机构发现，机器学习和自然语言处理模型使用的数据集 50% 由 12 家 Top 机构提供，其中 10 家为美国机构，1 家为德国机构，仅 1 家机构来自中国，为香港中文大学。值得一提的是，数据集与数据机构的基尼系数有升高的趋势，即数据集被少数 Top 机构或特定数据库掌控的集中有所增加。

国内缺乏高质量数据集的主要原因

目前国内科技互联网头部企业主要基于公开数据及自身特有数据差异化训练大模型。具体而言，百度'文心'大模型训练特有数据主要包括万亿级的网页数据，数十亿的搜索数据和图片数据等。阿里'通义'大模型的训练数据主要来自阿里达摩院。腾讯'混元'大模型特有的训练数据主要来自微信公众号，微信搜索等优质数据。华为'盘古'大模型的训练数据出公开数据外，还有 B 端行业数据加持，包括气象，矿山，铁路等行业数据。商汤'日日新'模型的训练数据中包括了自行生成的 OmniObjects3D 多模态数据集。

未来专业及垂直内容平台有望成为国内优质中文数据集的重要来源

1. 专业内容平台：知乎作为问答知识平台，拥有超过 4300 万创作者产生的超过 3.5 亿条优质中文问答内容，涉及政治，经济，文化，历史，科技等几乎全部门类。其问答的数据形式天然适合作为大语言类模型训练使用。微信公众号作为内容分享平台，背靠国民级应用微信生态链，2022 年公众号产出超 3.9 亿篇文章，其中既有专业领域内容分析，也有时事热点分析，这些内容对语言模型的训练迭代有重要作用。
2. 垂类内容平台：参考彭博基于金融垂类数据发布 BloombergGPT 案例，国内在金融，医疗，生物等行业公司的数据可以作为细分领域大模型精确训练的基础。

结语

数据存量的增长速度远远低于数据集规模的增长速度，如果当前的趋势继续下去，数据集最终将由于数据耗尽而停止增长。在语言模型方面，语言数据的质量有好坏，互联网用户生成的语言数据质量往往低于书籍、科学论文等更专业的语言数据，高质量数据训练出的模型性能更好。

未来的大模型竞争将不仅仅是模型架构的竞争，更是数据资源获取与治理能力的竞争。解决数据稀缺问题，需要从开源社区共享、行业数据合规流通、合成数据技术等多个维度入手。只有构建起高质量、多样化且可持续更新的数据生态，才能支撑起下一代人工智能系统的长期演进。