洪水、投毒和社会工程:戏耍AI的黑客攻击

简介:

机器学习技术可帮助公司发现可疑用户行为、恶意软件和欺诈性购买,但即便防御技术一直在进步,攻击者依然能找到各种方式染指公司资源。为了对潜在威胁做出正确的响应,很多防御系统需要被调整,或自我调整。

每次微波加热爆米花都会触发的烟雾警报,要么被换成了不那么敏感的,要么被挪到了远离厨房的地方。而“老司机”早已料到这一行为。举个例子,如果攻击目标装了运动检测报警仪,那么只需每天都很无辜地骑车经过他们家,不出一个月,他们就会关了检测器或者重新校准。这时,入侵机会就形成了。

如果将同样的方法用在机器学习系统上,这就被称作洪水攻击。要记住的一件事是:网络防御并非天气预报。

为了用AI更好地跟踪飓风,即使准确度不断进化,物理规律也并不会突然来个180度大反转。但在网络安全这个世界,网线的另一端是人,他/她可是有着让模型失效的目的的。

洪水攻击中,攻击者会增加信号,有时候是逐渐增加,直到能混在合法活动的掩护下安然溜入。或者,用DDoS攻击耗尽资源。为解决此类威胁,公司需要数据分析之外的技能。

随着威胁态势的不断变化,即使是机器学习和AI也助益不了太多,人类的精巧思维是必需的。在这方面,仅仅具备数据科学背景是不够的,你需要数据科学和特定领域专业知识的交叉。

至少,目前为止,每天凌晨2点骑车经过并朝你们家扔石头触发警报的人需要特别注意,或者烟雾检测器太靠近微波炉之类的情况,还是需要人类专门的知识来理解和判定的。

用网络安全术语来讲,这需要理解事务运行原理,以及特定行为改变是否有意义或指向可疑行为。同样地,领域专业知识能帮助防御者检测用于训练机器学习系统的数据集是否遭到操纵。

恶意软件作者会创建大量合法应用,这些合法应用具备他们计划投放的恶意软件的特征。流氓雇员会调整他们的行为,以便在进行邪恶动作时不会被抓包。这就是很常见的“垃圾进,垃圾出”问题了。

安全人员需要制定策略,来分辨攻击者是否在尝试诱骗AI做出错误决策。如果确实基于坏数据做出了错误决策,要多久才能发现呢?

这种时候,人的判断就起到了很大的作用。灵丹妙药是不存在的。

公司企业要尤其注意避免陷入“安装、启动了系统,然后置之脑后”的情况。事情总会随时间推移而被人遗忘。

进行检查以确保系统得到校准是件常规而烦人的工作,尤其是在员工忘了系统运行方式,公司又无力购置多个系统从不同方向解决问题时,一个个查过去真会要了老命。

这种时候,托管安全服务提供商就是值得考虑的选项之一了。最好是一家对这些特定系统有着深入了解,又有大量机会接触坏蛋们诱骗花招的托管安全服务提供商。托管服务在这一特定领域中是极佳的,会比单一机构带来更多更广的数据集。

虽然机器学习系统算是新鲜事物,用来戏耍它们的战术却是验证过的方法。洪水和投毒——这就是攻击者对路由器和防火墙干的事儿。

另一个老而弥坚的技术,是社会工程。

无论AI有多强大,只要内部有人能扳下开关关了系统,进出易如反掌。因此无论布置了多强大的安全措施,用户总是要时刻准备着弥补最弱的一环——人性的弱点永远存在。


作者:佚名

来源:51CTO

相关文章
|
4天前
|
机器学习/深度学习 人工智能 安全
AI与网络安全:防御黑客的新武器
在数字化时代,网络安全面临巨大挑战。本文探讨了人工智能(AI)在网络安全中的应用,包括威胁识别、自动化防御、漏洞发现和预测分析,展示了AI如何提升防御效率和准确性,成为对抗网络威胁的强大工具。
|
22天前
|
人工智能 搜索推荐 安全
人工智能与未来社会:探索AI在教育领域的革命性影响
本文深入探讨了人工智能(AI)技术在教育领域的潜在影响和变革。通过分析AI如何个性化学习路径、提高教学效率以及促进教育资源的公平分配,我们揭示了AI技术对教育模式的重塑力量。文章还讨论了实施AI教育所面临的挑战,包括数据隐私、伦理问题及技术普及障碍,并提出了相应的解决策略。通过具体案例分析,本文旨在启发读者思考AI如何助力构建更加智能、高效和包容的教育生态系统。
|
2月前
|
人工智能 Java 测试技术
低成本工程实践-AI帮我写代码做需求
本文主要讲述,以“无需训练模型”的方式实现:AI智能分析功能需求、写代码、review代码解决特定业务问题的实践过程
低成本工程实践-AI帮我写代码做需求
|
1月前
|
数据采集 人工智能 测试技术
还在死磕AI咒语?北大-百川搞了个自动提示工程系统PAS
【10月更文挑战第4天】北京大学和百川智能研究人员开发了一种名为PAS的即插即用自动提示工程(APE)系统,利用高质量数据集训练的大型语言模型(LLMs),在基准测试中取得了显著成果,平均提升了6.09个百分点。PAS仅需9000个数据点即可实现顶尖性能,并能自主生成提示增强数据,提高了灵活性和效率。尽管存在训练数据质量和提示多样性等方面的潜在局限性,PAS仍为解决提示工程挑战提供了有前景的方法,有望提升LLM的可用性和有效性。论文详见:https://arxiv.org/abs/2407.06027。
41 3
|
1月前
|
人工智能
用AI人模拟社会学实验,居然成功了?斯坦福、NYU用GPT-4模仿人类,准确度惊人!
斯坦福大学和纽约大学的研究团队利用GPT-4模型成功模拟了人类在社交互动中的行为模式,实验结果显示AI能以惊人准确度模仿人类对话,甚至在在线论坛和社交媒体上与真人难以区分。这一突破不仅展示了AI在社会学研究中的巨大潜力,还引发了对AI伦理和透明度的深入探讨。尽管存在一些局限性和挑战,这项研究为未来社会学实验提供了新工具和方法。[论文地址:https://docsend.com/view/qeeccuggec56k9hd]
57 2
|
29天前
|
人工智能 API 数据安全/隐私保护
[大语言模型-工程实践] 手把手教你-基于Ollama搭建本地个人智能AI助理
[大语言模型-工程实践] 手把手教你-基于Ollama搭建本地个人智能AI助理
123 0
|
2月前
|
机器学习/深度学习 人工智能 安全
针对AI模型的对抗性攻击日益增多:你现在应该怎么做?
针对AI模型的对抗性攻击日益增多:你现在应该怎么做?
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
还不懂如何与AI高效交流?保姆级且全面的chatGPT提示词工程教程来啦!(一)基础篇
这篇文章是一篇保姆级的教程,旨在全面介绍如何与AI进行高效交流,包括ChatGPT的前世今生、应用场景以及提问的基础技巧。
还不懂如何与AI高效交流?保姆级且全面的chatGPT提示词工程教程来啦!(一)基础篇
|
2月前
|
人工智能 JSON 自然语言处理
你的Agent稳定吗?——基于大模型的AI工程实践思考
本文总结了作者在盒马智能客服的落地场景下的一些思考,从工程的角度阐述对Agent应用重要的稳定性因素和一些解法。
141 12
|
2月前
|
数据采集 机器学习/深度学习 人工智能
云栖实录 | GenAI 时代 AI Infra 工程技术趋势与平台演进
本文根据2024云栖大会实录整理而成,演讲信息如下: 演讲人:林伟 | 阿里云智能集团研究员、阿里云人工智能平台 PAI 负责人;黄博远|阿里云智能集团资深产品专家、阿里云人工智能平台 PAI 产品负责人 活动:2024 云栖大会 - AI Infra 核心技术专场、人工智能平台 PAI 年度发布专场

热门文章

最新文章