Nature专业户DeepMind又登封面,开源水印技术SynthID-Text,Gemini已经用上了

简介: 在AI领域,大型语言模型(LLMs)的应用日益广泛,但如何区分机器生成与人类撰写的内容成为难题。为此,研究人员开发了SynthID-Text,一种基于Tournament采样的生成水印技术。它能有效嵌入水印,同时保持文本质量,具有低计算成本和高检测性能的优势,已在Google DeepMind的Gemini系统中应用。然而,该技术在协调要求、攻击防御及开源模型应用方面仍面临挑战。

在人工智能领域,大型语言模型(LLMs)被广泛应用于合成文本生成,包括语言助手、代码生成、写作支持等多个领域。随着LLMs在质量、连贯性、覆盖面和专业性方面的不断提升,区分合成生成的文本和人类撰写的文本变得越来越困难。特别是在教育、软件开发和网络内容生成等领域,识别和归因LLM文本对于确保技术的安全和负责任使用至关重要。

为了解决这个问题,研究人员提出了多种策略,其中一种就是文本水印技术。文本水印是一种在生成文本中嵌入标记的方法,以便后续能够识别该文本。水印技术可以通过生成过程(生成水印)、编辑已生成的文本(编辑基水印)或修改LLM的训练数据(数据驱动水印)来实现。

在这项研究中,研究人员提出了一种名为SynthID-Text的生成水印技术,该技术使用一种新颖的采样算法——Tournament采样。SynthID-Text可以配置为非失真性(保持文本质量)或失真性(以牺牲文本质量为代价提高水印可检测性)。

SynthID-Text的工作原理是通过修改LLM的下一 token 采样过程来嵌入水印。具体来说,它使用一个随机种子生成器、一个采样算法和一个评分函数来生成和检测水印。

在生成过程中,随机种子生成器根据前一个文本和水印密钥生成一个随机种子。然后,采样算法使用这个随机种子从LLM的分布中采样下一个 token。在这个过程中,采样算法引入了随机种子和 token 之间的相关性。

在检测过程中,评分函数根据这些相关性计算一个分数,该分数可以用于确定文本是否来自带有水印的LLM。这个过程不需要执行计算密集型操作或访问底层LLM(通常是专有的)。

SynthID-Text具有以下几个优势:

  1. 质量保持:SynthID-Text可以配置为非失真性,这意味着它不会对文本质量产生负面影响。研究人员通过在Gemini系统中进行大规模用户反馈评估,证明了这一点。

  2. 可扩展性:SynthID-Text具有较低的计算成本,这使得它可以在大规模生产系统中使用。研究人员通过将SynthID-Text与投机采样技术结合使用,进一步提高了其可扩展性。

  3. 检测性能:SynthID-Text在检测性能方面优于其他水印技术。研究人员通过在多个模型和数据集上进行实验,证明了这一点。

SynthID-Text已经被应用于Gemini和Gemini Advanced系统中,这些系统是Google DeepMind开发的聊天机器人。这表明SynthID-Text可以在实际生产系统中成功实现和扩展,并为数百万用户提供服务。

SynthID-Text是一种具有潜力的水印技术,它在质量保持、可扩展性和检测性能方面表现出色。然而,它也存在一些局限性。

  1. 协调要求:SynthID-Text要求在LLM文本生成服务之间进行协调,以应用水印。这可能在实际应用中存在挑战。

  2. 攻击脆弱性:SynthID-Text和其他生成水印一样,容易受到窃取、欺骗和擦除攻击。这需要进一步的研究来解决。

  3. 开源模型挑战:随着开源模型的兴起,在分布式部署的模型上强制实施水印变得更加困难。

论文地址:https://www.nature.com/articles/s41586-024-08025-4

目录
相关文章
|
异构计算
【自己动手画CPU】运算器设计
【自己动手画CPU】运算器设计
1048 0
|
9月前
|
前端开发 CDN
微信小游戏的开发费用
微信小游戏开发费用因美术、玩法等差异大,轻量级3-8万,精品中度10-35万,重度游戏达50万以上。另需考虑软著、版号、服务器及买量等硬成本,运营投入常超开发。2026年混合变现与首发激励成新趋势。#微信游戏 #游戏外包
|
算法 Python
ABCDE题|2025年华为杯|研究生数学建模|思路、代码、论文|持续更新中....
ABCDE题|2025年华为杯|研究生数学建模|思路、代码、论文|持续更新中....
1229 1
|
弹性计算 机器人 应用服务中间件
一键部署开源Qwen3并集成到钉钉、企业微信
Qwen3系列模型现已正式发布并开源,包含8款“混合推理模型”,其中涵盖两款MoE模型(Qwen3-235B-A22B与Qwen3-30B-A3B)及六个Dense模型。阿里云计算巢已支持Qwen3-235B-A22B和Qwen3-32B的私有化部署,用户可通过计算巢轻松完成部署,并借助AppFlow集成至钉钉机器人或企业微信。文档详细介绍了从模型部署、创建应用到配置机器人的全流程,帮助用户快速实现智能助手的接入与使用。
1610 19
一键部署开源Qwen3并集成到钉钉、企业微信
|
10月前
|
存储 安全 数据安全/隐私保护
Joplin:一款真正属于你的开源笔记与待办事项应用
Joplin是一款免费开源的笔记工具,支持Markdown、多端同步与端到端加密,保障数据自主权。支持全平台使用,可同步至云存储,真正实现隐私安全与知识自由管理,是信息时代的理想笔记伴侣。(239字)
2231 13
|
机器学习/深度学习 人工智能 Cloud Native
秒速出图!体验 TensorRT 加速 Stable Diffusion 图像创作
秒速出图!体验 TensorRT 加速 Stable Diffusion 图像创作
141926 137
|
JSON 人工智能 JavaScript
大语言模型下的JSON数据格式交互
本文作者总结了在解析JSON过程中遇到的一些问题和解决方案。
|
域名解析 网络协议 网络性能优化
如何提升自建DNS服务下的网络体验
网络质量和网络体验是通信过程中的两个不同层面,质量涉及设备上下行表现,而体验关乎端到端通信效果。衡量质量常用带宽、延迟、丢包率等指标;体验则关注可访问性,DNS解析速度和服务位置等。现代路由器能自动调整网络质量,普通用户无需过多干预。自建DNS服务时,选择权威DNS能解决可访问性,但可能不提供最优体验。AdguardHome和Clash等工具能进一步优化DNS解析,提升网络体验。
1155 6
如何提升自建DNS服务下的网络体验
|
Linux Python
Linux 升级安装 Python 3
Linux 升级安装 Python 3
475 2
|
Python
Python量化炒股的数据信息获取— 获取上市公司股东和股本信息
Python量化炒股的数据信息获取— 获取上市公司股东和股本信息
1730 1