在图片中加入噪点就能骗过Google最顶尖的图像识别AI

简介:

0?wx_fmt=jpeg

近期,一群来自华盛顿大学网络安全实验室(NSL)的计算机专家发现,恶意攻击者可以欺骗Google的CloudVision API,这将导致API对用户提交的图片进行错误地分类。


近些年来,基于AI的图片分类系统变得越来越热门了,而这项研究针对的就是这种图片分类系统。现在,很多在线服务都会采用这种系统来捕捉或屏蔽某些特殊类型的图片,例如那些具有暴力性质或色情性质的图片,而基于AI的图片分类系统可以阻止用户提交并发布违禁图片。


虽然这种分类系统使用了高度复杂的机器学习算法,但是研究人员表示,他们发现了一种非常简单的方法来欺骗Google的Cloud Vision服务。


Google的Cloud Vision API存在漏洞


他们所设计出的攻击技术其实非常简单,只需要在一张图片中添加少量噪点即可成功欺骗Google的Cloud Vision API。其中的噪点等级可以在10%到30%范围内浮动,同时也可以保证图片的清晰度,而且这足以欺骗Google的图片分类AI了。


0?wx_fmt=jpeg


向图片中添加噪点其实也非常的简单,整个过程并不需要多么高端的技术,一切只需要一个图片编辑软件即可实现。


研究人员认为,网络犯罪分子可以利用这种技术来传播暴力图片、色情图片或恐怖主义宣传图片。除此之外,Google自己的图片搜索系统也使用了这个API,这也就意味着,当用户使用Google进行图片搜索时,很可能会搜索到意料之外的图片。


解决这个问题的方法很简单


研究人员表示,修复这个问题其实跟攻击过程一样的简单,所以Google的工程师们完全没必要紧张。


为了防止这种攻击,Google只需要在运行其图片分类算法之前,对图片中的噪点进行过滤就可以了。研究人员通过测试发现,在噪点过滤器的帮助下,Google的Cloud Vision API完全可以对图片进行适当的分类。


0?wx_fmt=jpeg


后话


研究人员已经将这种攻击的完整技术细节在其发表的论文中进行了描述,感兴趣的用户可以阅读这篇论文【传送门:http://www.freebuf.com/news/Google%25E2%2580%2599s%20Cloud%20Vision%20API%20Is%20Not%20Robust%20To%20Noise】。


以及值得注意的是,这群研究人员在此之前也使用过类似的方法来欺骗Google的Cloud Video Intelligence API【参考资料:https://www.bleepingcomputer.com/news/technology/researchers-troll-google-video-ai-with-images-of-audi-cars-and-spaghetti/】。


注:他们在一个视频中每两秒就插入一张相同的图片,最后Google的视频分类AI会根据这张不断重复出现的图片来对视频进行分类,而分类的依据并不是视频本身的内容。

原文发布时间为:2017-5-6

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于函数计算实现AI推理
本场景基于函数计算建立一个TensorFlow Serverless AI推理平台。
相关文章
|
1月前
|
人工智能 自然语言处理 API
Google Gemma 模型服务:开放的生成式 AI 模型服务
Google Gemma 模型服务:开放的生成式 AI 模型服务
109 4
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘Google Gemini:AI界的多模态革命者与ChatGPT-4的较量
揭秘Google Gemini:AI界的多模态革命者与ChatGPT-4的较量
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
OpenSAP 上 SAP Generative AI 公开课里提到的一张图片
OpenSAP 上 SAP Generative AI 公开课里提到的一张图片
26 0
|
3月前
|
机器学习/深度学习 编解码 人工智能
AI短视频制作一本通:文本生成视频、图片生成视频、视频生成视频
AI短视频制作一本通:文本生成视频、图片生成视频、视频生成视频
311 0
|
3月前
|
人工智能 前端开发 API
【代码吸猫】使用 Google MLKit 进行图像识别
【代码吸猫】使用 Google MLKit 进行图像识别
78 0
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
四张图片道清AI大模型的发展史(1943-2023)
现在最火的莫过于GPT了,也就是大规模语言模型(LLM)。“LLM” 是 “Large Language Model”(大语言模型)的简称,通常用来指代具有巨大规模参数和复杂架构的自然语言处理模型,例如像 GPT-3(Generative Pre-trained Transformer 3)这样的模型。这些模型在处理文本和语言任务方面表现出色,但其庞大的参数量和计算需求使得它们被称为大模型。当然也有一些自动生成图片的模型,但是影响力就不如GPT这么大了。
981 0
|
6月前
|
机器学习/深度学习 人工智能 Android开发
2023 Google 开发者大会 – AI 领域的技术更新
Google 开发者大会是 Google 面向开发者和科技爱好者展示最新产品和平台的年度盛会。2023 Google 开发者大会 (Google I/O Connect | China) 为开发者提供丰富的学习资源,实践操作和现场演示,提供与谷歌专家互动、与其他开发者交流的契机,助力开发提效,释放团队创造力,简化工作流程,以开放式集成解决方案为开发者效力,共同构建创新生态,开启美好未来。
354 2
|
29天前
|
人工智能 编解码 数据安全/隐私保护
才发现百度自带的AI图片助手这么好用,去水印、画质优化、AI扩图、涂抹消除等功能一应俱全!
才发现百度自带的AI图片助手这么好用,去水印、画质优化、AI扩图、涂抹消除等功能一应俱全!
153 0
|
30天前
|
人工智能 自然语言处理 负载均衡
这款 AI 网关项目简直太棒了,轻松接入OpenAI、LLama2、Google Gem)ini等 100 多种大语言模型!
这款 AI 网关项目简直太棒了,轻松接入OpenAI、LLama2、Google Gem)ini等 100 多种大语言模型!
|
30天前
|
人工智能 异构计算 Python
字节跳动最新研究AI项目:一张图片组合一组动作就可以生成毫无违和感的视频!
字节跳动最新研究AI项目:一张图片组合一组动作就可以生成毫无违和感的视频!