
尽管生成式人工智能(AI)正在改变全球内容生产的格局,但诸多严峻挑战也随之而来:如何准确识别由 AI 生成的内容并防止其被滥用,尤其是在文本生成领域,已成为困扰越来越多人的一大难题。
今天,Google DeepMind 团队发表了一项重磅研究——
他们开发了一种名为 SynthID-Text 的新型水印工具。 该工具采用'锦标赛抽样'(tournament sampling)算法,在不损害文本质量的前提下,通过嵌入隐形水印,使大语言模型(LLM)生成的每段文本都带有独特标识,极大提高了文本追踪和检测的精度。
研究发现,通过在多个公开可用的模型上评估,SynthID-Text 显示出比现有方法更高的检测率。通过对近 2000 万条 LLM 的实时聊天互动数据进行分析,非扭曲模式的水印并未降低文本质量。
相关研究论文以'Scalable watermarking for identifying large language model outputs'为题,以封面文章的形式已发表在权威科学期刊 Nature 上。
这一工具的推出,标志着 AI 文本透明性和责任性的重大进展,为当前 AI 生成内容的溯源和透明性提供了新的解决方案,也回应了当前社会对 AI 内容可信度的担忧。
'揭穿'AI 文本的'隐形指纹'
随着 LLM 技术的发展,像 GPT 系列模型等 AI 工具生成的文本内容流畅度和语言多样性已经接近甚至超越人类编写的文本。然而,这也带来了关于内容可信性和来源问题的挑战,尤其是在教育、媒体等领域,无法辨别生成文本的来源可能会导致误导性信息的传播。
在文本生成的过程中,LLM 将文本分解为 token(最小的语言单位),然后逐步预测下一个 token 的出现概率,然后通过大量语料数据的训练,学习语言的上下文结构,从而实现语言生成。每次预测新的 token,LLM 都基于此前生成的 token 和上下文,逐步构建句子直到完成整段文本。
传统的水印技术往往需要在生成文本中做出一些可察觉的修改,如基于机器学习的分类器和检索式系统,可以在一定程度上检测 AI 生成的内容,但其在大规模应用时表现欠佳,且误报率较高。同时,现有的方法往往存在隐私问题,难以在不影响文本质量的情况下进行大规模应用。

SynthID-Text 的创新在于引入随机种子生成器和多层次的水印函数,在每次生成 token 时,随机种子会传递给多个水印函数,通过锦标赛的方式选出符合水印要求的最高分词嵌入文本。这种方法确保了生成的文本具备水印特征,同时不会显著影响文本流畅性和多样性。
在 LLM 生成文本时,SynthID-Text 的嵌入技术分为三个关键步骤:
- 随机种子生成: 输入上下文后,随机种子生成器生成一个种子,该种子将作为后续水印嵌入过程的输入。
- 锦标赛抽样: 随机种子作为输入传递给多层次的水印函数(如 g_1, g_2, g_3),每个函数生成候选 token。然后,系统通过多轮锦标赛比较不同水印函数得出的分数,选出得分最高的词嵌入到文本中。
- 水印嵌入: 每次生成新的 token 时,锦标赛过程会选择符合水印条件的词,而不会显著偏离原有的 LLM 语言模型分布。

在生成式 AI 应用中,文本质量和多样性至关重要。传统的水印技术可能在嵌入水印的过程中牺牲文本的流畅性,导致生成文本出现语法错误或重复内容。


