一、前言
随着AI技术的蓬勃发展，前有马斯克把AI开源，后有新型AI攻击产生。
二、有黑客尝试使用AI技术来创建恶意软件代码片段或生成网络钓鱼电子邮件
近年来，随着AI技术的飞速发展，不法分子也开始将其应用在恶意领域，瞄准网络安全防御体系的关键环节——YARA规则发起挑战。
近日，网络安全研究机构Recorded Future发布的一项研究报告揭示了一个令人警醒的趋势：AI正被恶意行为者用于强化并变异小型恶意软件源代码，使其巧妙地规避基于字符串匹配的传统YARA检测规则，从而显著降低被检测及拦截的概率。
该研究团队实地演示了一项实验，他们将与APT28黑客组织关联的知名恶意软件STEELHOOK样本及其对应的YARA规则输入到一款强大的AI语言模型中，请求模型修改源代码以实现躲避检测，同时确保软件的基本恶意功能得以保留且生成的新代码逻辑无误。这意味着，借助于AI的反馈优化机制，新型的、具备自我增强特性的恶意软件能够轻易穿透基于字符串简单规则的安全筛查。
三、AI技术被用于欺诈活动和盗取保密数据
AI技术还在其他恶意活动中展现其破坏力。
例如用于快速生成看似合法的钓鱼邮件内容，精准模拟高层管理人员的身份进行欺诈活动，甚至通过深度伪造技术规模化仿冒官方网站实施影响力操作。
更值得关注的是，AI生成式技术在信息搜集阶段也发挥着日益重要的作用。
它能加速威胁行为者对关键基础设施的侦查速度，通过分析工业控制系统（ICS）和制造业设备的公开图像及视频资料，挖掘出地理位置、设备制造商、型号以及软件版本等珍贵的元数据信息，为后续针对性攻击提供战略情报。
微软和OpenAI最近亦发出警告，APT28组织已开始运用大型语言模型获取卫星通信协议、雷达成像技术以及其他关键技术参数，显示了他们意图深入探查卫星能力的企图。两家公司强烈建议各类组织机构密切关注并审慎管理那些包含敏感设备信息的公开图像和视频资源，必要时应及时采取删除措施，以防此类潜在威胁的加剧。
四、针对AI模型的新型攻击
学术界还揭示了一种针对AI模型的新颖攻击方式——ArtPrompt。
研究指出，通过精心构造的ASCII艺术形式输入，攻击者能够绕开基于大语言模型的安全过滤机制，诱导模型产生有害内容。由于某些模型在处理ASCII艺术形式的数据时可能存在识别盲点，这类攻击手法凸显了当前AI安全防护技术所面临的新一轮挑战。
五、如何保护企业免受人工智能网络钓鱼攻击
网络钓鱼是网络犯罪分子社会工程武器库中的超级武器。网络钓鱼尤其危险，因为它是网络犯罪分子获得初始访问权限的最可靠方式。
1.AI网络钓鱼攻击
AI网络钓鱼攻击通常通过模仿可信的个人信息或机构来进行。攻击者利用深度学习等技术，生成逼真的电子邮件、消息或网站，诱使用户泄露个人信息或下载恶意软件。
人工智能已经开始使网络钓鱼攻击变得更加有效。虽然许多网络钓鱼攻击会发送大量欺诈消息，希望少数攻击能够成功，但人工智能可以极大地提高网络犯罪分子发起鱼叉式网络钓鱼攻击的能力。这些攻击利用人工智能筛选大量数据来制作定制的网络钓鱼消息，其成功率比标准的大规模网络钓鱼攻击高得多。
2.识别AI网络钓鱼攻击
识别AI网络钓鱼攻击是防范的第一步。以下是一些关键的识别方法：
① 检查发件人信息：AI网络钓鱼攻击可能会模仿官方邮箱或联系人，但仔细检查发件人的邮箱地址，通常可以发现端倪。
② 留意邮件内容：AI生成的邮件内容可能会出现语法错误或不符合官方风格的表达，仔细阅读可以识别出异常。
③ 不要点击不明链接：AI网络钓鱼邮件中常含有诱导向恶意网站的链接，不要轻易点击，尤其是要求输入个人信息的链接。
3.防范AI网络钓鱼攻击的策略
1)提高安全意识：了解AI网络钓鱼攻击的特点和手段，提高自身的安全防范意识。
2)更新安全软件：定期更新操作系统和防病毒软件，以抵御新出现的网络威胁。
3)强化身份验证：在涉及敏感信息的操作中，启用双因素身份验证，增加账户安全等级。
4)谨慎分享个人信息：不在不安全的网络环境中分享个人敏感信息，尤其是身份证号、银行账户信息等。
总结：面对日益复杂的网络环境，我们必须保持警惕，增强对AI网络钓鱼攻击的识别和防范能力。通过不断学习和实践，我们可以更好地保护个人信息安全，维护自己的合法权益。同时，相关部门也应加大打击力度，共同维护网络空间的安全与和谐。
