GenAI浪潮下的安全2.0升级

本文涉及的产品
Web应用防火墙 3.0,每月20元额度 3个月
云安全中心 防病毒版,最高20核 3个月
云安全态势管理CSPM免费试用,1000次1年
简介: 本次分享的主题是GenAI浪潮下的安全2.0升级,由阿里云智能集团专家团队带来。内容涵盖生成式人工智能云上实践、安全大模型构建智能运营最佳实践以及复杂对抗场景下的AI人脸鉴伪。

GenAI浪潮下的安全2.0升级

内容介绍

一、生成式人工智能云上实践

二、安全大模型构建智能运营最佳实践

三、复杂对抗场景下的AI人脸鉴伪

 

本次分享的主题是GenAI浪潮下的安全2.0升级 ,由阿里云智能集团云安全产品线风险策略专家杨梦博、阿里云智能集团高级产品专家陆芬和阿里控股集团安全部高级技术专家曾吉申分享。

今天将和其他两位同学一起跟大家分享,生成人工智能在安全领域基础安全业务最佳安全实践

 

一、生成式人工智能云上实践

1. 内容安全实践

主要分成4部分,第部分在生成人工智能时代面临的风险和挑战,第二部分是团队阿里在内容安全领域的实践,介绍团队阿里云生成人工智能利用大模型方式在内容安全领域的三种实践范式,最后团队会一起进行内容安全大模型的展望。

(1)生成式人工智能内容风险与挑战

首先介绍生成人工智能的风险与挑战,stable diffusion在2022年的年底开源之后以及2023年gpt3.5发布之后,国家发布了一系列相关的法律法规政策,2024年9月5号,国家网络安全标准管理委员会发布了生成式人工智能安全框架1.0版本,在所有的法律法规政策里面,tc 260是具备指导意义的一部法律法规文件。团队基于TC260文件以及内容安全传统领域的风险分类的方法,使团队整体的生成人工智能的风险分成以下三个部分,第部分传统的社会主义核心价值观要求的底线的风险类型,包括违法,违禁淫秽色情,还有设计政治的底线风险第二部分是TC260比较着重强调在生成人工智能领域,涉及到个人的隐私以及知识产权以及其他的商业法律法规的违法违规的政策第三部分是生成人工智能里面要求会比较多,在传统的udc以及PC领域不常见,但是大模型在生成的时候会参与到很多的语料学习,在语料学习的过程中具备一定的自意识,并且在此方面会涉及到非常多的关于偏见歧视,不良价值观导向以及身份认同领域的风险情况,这部分相对于传统的PC和udc不同的风险分类

风险分类,了解在生成人工智能时代相较于传统的内容安全领域不同的几个风险的趋势

趋势生成人工智能生产违规违法信息的成本要远低于人类生成信息的成本,使得它的风险量级是成大规模增加的趋势,从2022年年底,团队推出第一款针对生成人工智能的风险检测内容安全的服务时间点以来,团队观测到在文本领域,风险的比例增长到了1%~4%左右,在世界领域,缺乏校准的大模型,并且它的风险能够达到70%~80%,平均观察指标是5%~30%

第二个风险趋势团队会遇到更新的风险类型,比如伦理道德在身份认同以及国家认同的内容上面,传统的PC和UC不会遇到问题,但是在生人工智能大模型的时代,团队会遇到大模型判断国家到底是哪个国家,而这是比较新型的风险类型

第三个趋势它会产生更加复杂的攻击手段,即利用黑产将文本信息和经过微调的大模型结合,产生视觉攻击的手段它相较于传统识别的OCR的手段或者目标检测的手段,非常难以覆盖到风险

2阿里云内容安全实践

介绍团队阿里云在内容安全的实践,团队是在2022年的年底推出了第一款针对aigc领域的风险检测的服务,截止到目前接近两年的时间,团队累计服务了700多个客户,客户既有AI领域的创业公司和团队,用大模型服务于传统行业的公司,团队现在日均的检测量级是超过了亿,无论是在服务端还是在知识层和算法层,团队进行了大模型的实践,服务端团队是发布了4款针对大语言模型的perry,response,以及AI领域的视觉的大模型的检测的风险服务,团队在知识层和算法层也使用大模型进行实践的尝试

(3)内容安全大模型的三种范式

分享在内容安全大模型领域的三种实践范式。第一种最先接触大模型的时候,团队内部提出问题:大模型的技术会不会把从事内容安全的人员进行革命就有大模型后,它有非常强大的通识能力,但不意味内容安全领域的风险不存在

团队最先尝试的一种方式是使用prompt的工程的方式去使用通用大模型进行内容安全的检测用一种最不经济的方式进行尝试。比如团队把谐音或者变音变异的单词,放入到大模型的query里面使用特定的prompt工程让他去检测,这里面是否包含危害违规的信息。大模型在暗喻的信息,包括变形变异谐音的判断上面有着远超传统专家模型的能力的。

首先介绍基于prompt工程的通用大模型内容检测。

团队在工程 prompt工程的尝试里持续了1~2个月的时间截止到目前为止,团队是一共应用到了10多个风险场景代替人工审核,或者是再进行样本标注的层面上,经常会使用到方式

团队利用prompt工程去调用通用大模型,有两个步骤,第步骤需要按照比较标准的方案,把团队工程的规范去编写的提示词。比如需要进行角色的设定,需要会去有清晰的指令,告诉大模型需要什么样的结果,需要告诉大模型需要什么样的输出的格式

过程中可跟大模型提供比较典型的案例去辅导大模型拿到和人类一样的标注的水平第二部分团队在编写完这工程词之后,团队会去少量的调用大模型的接口,去根据大模型返回的结果去尝试看去看大模型,在内容安全领域识别的效果是否足够的稳定,是否足够的准确,返回的格式是否足够的准确以及稳定

团队目前为止按照方式累计一共在10多个风险分类的场景进行了样本标注,累计有高质量的样本100多万产生团队实践过程中,团队发现这相对于人工的标注成本大,模型标注成本下降了80%,效率提升200%

存在大模型远超于人类标注的情况不同的标注的人员对于某信息有着不同的理解标准的大模型prompt工程只要是保持一致,理解与标注的结果比较稳定优势可以无缝的接入,只要拥有比较强大的基础模型,拥有一定的安全领域的知识,掌握工程的规范,就可以比较好的去使用一种范式同时存在缺点,它对于复杂的多分类标注结果会产生非常不稳定的情况另外它对于领域知识比较垂类的信息无法覆盖。

其次介绍基于SFT的内容安全大模型。

团队基于prompt两个问题进行第二种尝试,基于sft监督微调的方式去训练了一款专家大模型。在方式中有三个要素,第要素团队需要一款非常强大的基础模型,因为团队在做尝试使用了7P,14b的千问的大模型,也有尝试过使用max更高性能的大模型,包括团队也尝试使用了通义vl视觉大模型进行。

第二个要素团队需要有非常高质量的领域知识以及高质量的风险样本,团队在使用通义vl视觉进行视觉大模型的过程中,团队提供了10多万样本,累计的有80多个细分类的标签,团队希望用方式将大模型的泛化知识转化成领域知识。

第三个要素团队需要一款非常强大的模型训练和部署平台,团队使用的是阿里云的百炼平台,它支持团队在使用可视化的方式,将模型样本上传到团队的模型训练平台,并且支持团队可视化的模型配置以及参数调整,可以使团队的整体模型训练和迭代的时间缩缩短到日级别

举例说明团队基于SFT专家微调大模型训练出来的视觉大模型在做内容安全检测的效果

传统内容安全检测的服务针对一种视觉攻击,它分成会分成两个步骤,第步骤它先通过oci或者目标检测的方式去检测图像中的元素,再将OCR解析出来的文字,通过语义分析的方式去检测出它是否具有具备违法违约的信息,团队在第一步的 OCR的过程中,很难去把视觉攻击的文本信息进行很好的识别。团队在使用通义vl,完全大模型方式的过程中,团队是能够比较好的将视觉攻击中的文字一种文本的形式呈现出来,并且去分析理解它的语义信息。团队在做一系列的测评的过程中,发现基于监督微调大模型在检测结果以及检测准确率的过程中,比专家的模型提升了百分之提升了20个百分点在暗喻分析,推理以及视觉攻击的分类过程中比传统的专家模型提升有30~40个百分点。比如意识形态涉及政治领域在传统的专家模型效果已经达到比较好的情况下,视觉大模型对他们提升相比较就会弱一点

团队在达到了在验证基于SFT微调大模型的识别效果的过程中,团队发现了新的问题:团队训练的专家的模型是训练基于监督微调产生出来,内容安全的专家大模型识别性能相对于传统的专家模型较差性能指推理过程多长时间,qps可以支持每秒多少的并发因为内容安检还是相对普惠工作,团队在做SAT微调大模型的过程中,发现团队需要在成本以及性能层面上做提升,就开启了下一种范式的时间使用知识蒸馏的方式将团队的大模型轻量化,把比较大参数的大模型压缩成比较小参数大模型,进而在检测效果不太损失的前提下,提升团队的模型的性能指标

介绍知识蒸馏方式下轻量化内容安全大模型。过程中,分成4个步骤,第步骤团队会做样本级的构建。第二个部分是获取外源知识,第三部分是做相应的模型测评。第4部分做模型的部署,在这4个步骤里面,因为团队传统的分类模型机器学习机器学习的模型都是基于label的分类标签进行学习所以最关键的步骤获取外源的知识它学习的只是分类的结果,但团队想要开发知识蒸馏的大模型不仅要学习教师模型的分类结果还要学习教师模型在推理过程中的推理的步骤

举例说明:中间图表介绍了调用通义千问MAX大模型获取外延知识的过程。如团队就拿吃狗肉的这件事情,它非常明显的会有偏见歧视,如果说团队只标注了偏见歧视标签,很难去了解到大模型它最终是怎么判断信息的,千问的MAX大模型通过prompt的方式,不仅将标注的结果明确出来,还会把识别为偏见歧视推理过程把它保存下来,团队的学习的学生模型也会学习专家模型,教师模型在推理过程中的一系列的信息

团队在轻量化大模型的开发过程中,在传统测评的8个比较大的一级分类过程中,它整体的性能指标提升了20~30个百分点,和团队基于SFT专家监督微调模型开发了大模型效果基本上持平,但它的性能提升了一百倍左右传统的gpu上面跑的专家的分类模型qps能达到几百现在知识蒸馏的小参数的大模型qps也能达到几十到100量级,团队后期会进行更深入的算法工程的开发去提升性能。

(4)内容安全大模型的展望

介绍团队在大模型实践过程中的思考和展望,在云栖大会2023年团队展望一共是两个主题,第主题内容安全大模型第二个主题叫多模态目前两个展望已经达到。

今年的三个展望首先为团队今会继续持续的在样本标注以及获取外延知识过程中持续投入更多的精力原因为团队无论是大模型的参数的提升,以及大模型的性能的提升,在进行模型对齐以及模型训练的过程中都离不开知识点以及样本的储备。

第二个展望团队模型参数要有大模型变成小模型的展望。因为团队基于内容安全的基于大模型的一种方式去开发的内容安全服务。如果不进行参数压缩它是无法实现内容安全的普惠化的。在做知识蒸馏的模型过程中,能够把qps提升到几十到100,但是并没有达到团队内容安全普惠化的过程包含两种思路,思路直接把大模型压缩成小模型让大模型去负责所有的事情。第二个思路由大模型进行知识的调度,用大模型和小模型结合的方式进行。内容安全的服务类似团队现在进行agent智能体的开发

第三个展望是多模态。团队今年开发基于通义VL的视觉模态的内容安全大模型,团队在这一年多的时间过程中会有不一样的想法,团队现在所有多模态大模型的发展,以及它效果的提升,它的底层架构是依赖的文本大模型的发展团队文本大模型的理解以及分析的能力达到另外新的高度,多模态大模型的识别效果以及分析效果才能达到另外的一种高度。对于团队传统的多模态的类似图像或者视频的识别的方式,团队更多的使用的是元素分析以及目标检测的一种方式,或者是分类的方式去分析图像的内容与范式。团队需要借助更多的整体对于图片的内容的理解实现多模态的风险检测。

 

二、安全大模型构建智能运营最佳实践

下面介绍安全大模型在智能运营场景的最佳实践主要分为4个方面,首先会给大家展望一下团队在安全大模型在网络安全垂直领域的探索和应用第二个是主要是围绕着云上团队安全运营管理者面临的风险和困境第三围绕着团队整体针对风险和困境,如何应用完成大模型来解决问题第四团队在云安全产品当中的最佳的实践案例

1.安全大模型在垂直领域的探索

安全大模型在垂直领域的探索和应用团队通过之前的客户的调研,以及传统安全厂商以及idc garden的报告的研究。团队整个网络安全垂直领域,如何使用安全大模型使用大模型的能力,解决哪些问题进行总结。第一通过大模型的能力进行威胁分析的场景,主要是围绕着威胁分析的多样化的能力以及威胁因为传统的威胁分析,团队会通过传统的知识库,规则库去运营团队的规则,通过规则去进行分析,有了大模型之后,团队可以使用大模型泛化的能力,生成更多的规则,针对位置的威胁去进行分析,提升威胁分析的准确性。

第二方面围绕安全运营的助手的能力,传统的安全厂商,包括团队的云厂商,都会围绕着团队安全运营工作者在日常的安全告警的处置核心能力进行一体化的运营在安全告警的整个的链路去提升团队整个自动化的应答,自动化的处置以及自动化的响应的一体化的运营的能力都会应用到大模型的能力,帮团队进行提效和降本的效果。

团队在云上以及安全运营过程中,团队最大的风险来自于漏洞,在漏洞的管理的场景,团队有很多比如漏洞修复失败,漏洞的解释,基于大模型的这部分能力都可以做到很好的运营能力的和运营提效的效果的补充高级的大模型的应用在能力比如通过大模型进行威胁的狩猎,还有智能的安全配置的管理,以及基于配置的不当导致的风险的解释,以及去结合威胁情报的能力通过大模型来针对聚焦到团队整体的安全运营的链路去帮助安全运营管理者去进行降本提效提升团队整体的运营效率。

2.云上安全运营面临的困境

介绍云上安全运营的困境和与传统的区别。从三方面进行介绍首先团队在网络安全的垂直领域,安全从业人员稀缺云上面临的风险以及告警事件,因为它结合了底层的云上云原生的组件,还有工具,基础设施,它在研判规则和告警产生的时候,相比较更加的依赖安全从业者的经验和能力,所以对他在云上的安全研判的技术的经验相比较会更高对云相比较也要比较熟悉另外团队现在在团队的CSo或者是团队的安全团队,相比较人员都比较少,一两个的安全管理者可能会面临十几款的安全产品,对于安全产品的风险的收敛,相比较都是有会比较重的工作量。

第二个在云上的新技术的驱动,会导致业务的变化比较快,风险相比较也会比较多,在云上,比如云上有不同的产品的形态,现在最新的比如adlice serverless,不同的底层的基础设施的发展新技术的发展都会引入新的风险带入到云基于新的风险,团队如何去处置。在新的基础设施上面应用上面带来的安全风险,如何去收敛,这块也会对团队的安全运营管理者的挑战和困境会越来越深。

第三个不确定的风险处置的周期比较长,会带来整体的安全运营的效率比较低团队发现紧急的告警的时候,由于团队的人手相比较又比较比较紧张比较少,整体的风险研判的链路比较长,所以很难能够快速的去识别或者收敛整体的安全告警事件整个的研判链路的消耗比较长,对团队的挑战相比较都是比较大的

3.如何使用安全大模型做到智能运营

(1)云上安全大模型的能力模型

针对围绕困境,云安全安全中心是如何使用安全大模型,做到智能运营的问题。团队搭建了云上安全大模型的整体的能力框架,围绕着能力框架用了大模型能力,帮助团队的运营管理者去进行提效在过程团队进行好的安全大模型的产品,并且从效果上能够得到保证,最关键的三点,第团队要有高质量的数据集,第二点丰富的工具集,最后一点模型的大小因为模型的大小决定了模型生成的效果,以及对计算性能的影响。

整体团队围绕着这4个方向,从整体的数据的沉淀,安全垂直领域的的告警的数据支持图谱,团队云上的基础设施的日志文档,用户反馈,去积累这么多的数据,做到第二层的数据接入。在数据接入团队保证团队输出的数据的质量在模型的选择团队当前使用通义千问的机模,后续的模型训练和模型推理决定了通过大模型生成的整体的效果。当前团队的大模型的能力在云安全的产品主要是集成在几款产品,一团队把它集成在像云安全中心等产品,同时团队也把团队底层创建的大模型整体的架构的能力植入到了团队日常的安全运营工具,团队的安全服务同学给用户做代维也会使用到能力去帮助客户去快速的进行止血风险的收敛,以及提升自动化的效率。

2云上安全运营的应用场景

团队所有的能力都是围绕着安全运营工作者的提效的场景进行的,在提效的过程中,可以了解安全运营是特别复杂的过程此过程包含四个关键点首先团队要有安全运营团队,并且要有完善的运营的管理的流程,这样才能保证能够当发生风险的时候,能够及时的去响应调度,去治理团队的问题还有围绕着团队安全运营工作的支撑的工具,支撑的工具团队现在有很多用户,比如他会自己去自建sock,底层会从 open API的方去接入基础的原子工具,将数据接到自己的运营平台上面,它底层支撑的工具是特别多的数据会驱动团队的运营的流程的完善,以及团队整个运营工具是否完善,在整个的安全运营的链路,这一块主要是围绕着团队安全运营管理者的,从资产的盘点,风险的评估,风险的收敛,告警的处置,一直到最终团队资产的加固,形成了完整的闭环

在运营的链路,还有很多横向的支撑的能力,包括团队日常安全问题的咨询安全事件,整体的自动化的处置的过程,以及最终的安全报告的总结,都是团队在安全运营的过程需要的输出物

围绕着安全过程的整个链路,团队主要针对自动的应答,日常的安全问题的咨询进行相关工作。

首先由于大模型它有强大的自然语言的能力,团队可以通过工单的接入产品问题的咨询链路帮用户去很好的去解答用户在使用团队安全产品的过程中遇到的问题,从而就不需要用户再去提供单了,来简化用户在上面对团队的平台的依赖,以及帮助用户解决问题的效率

其次在风险收敛方面团队很多的安全用管理者,当发生紧急的高点事件,或者是高危漏洞的时候,很多他更多的时间都是在做告警的研判,以及漏洞是否要修复比较纠结的局面,并且周期是特别长的围绕着链路,团队是可以通过大模型的意图识别去调用底层的工具集,去进行整合,可以帮助用户能够快速的提升mttd的响应效率,同时当团队每发生安全事件或者是高危的事件的时候,团队的运营管理者都会去对应的生成对应的安全报告,会进行汇报能力,大模型也可以通过大模型的能力去帮助团队去自动化的生成完全报告来节约团队整个运营的效率提升整个团队运营的质量

4.安全大模型在云安全运营实践中案例分享

介绍两个典型案例。

第一个案例为安全应用管理者当前在日常运营经常从事的工作整个告警一体化收敛的过程。团队围绕着大模型如何帮助用户提升针对告警收敛的效率

围绕着整个告警提效自动化提效的场景,对于安全专家主要有三方面问题。第一时间紧第二告警信息无法理解,不了解告警具体原因第三告警较多,中低位告警比较多,告警降噪的问题如何去解决

团队主要通过大模型的能力核心的告警进行整个告警快速的研判和处置,针对告警去快速的收敛利用该能力团队可以做到最底层围绕着告警本身,当发生告警时可以查看去告警的详情,同时调用大模型的能力助用户进行告警解释,告诉用户告警发生的原因以及所在的位置,所在的文件以及是哪些具体的命令行的高亮方式,去帮用户进行告警的分析围绕着告警分析会生成对应的告警处置的建议,在此过程团队也可以通过大模型做到围绕着告警本身生成告警是从哪来的往前去的过程同时生成整体的事件的链路的调查,比如告警,它的暴露面影响面有哪些围绕影响面,团队面对资产的加固建议和修复方式是怎样在底层的话,团队会围绕着整个的高顶事件进行大模型底层的包括工具的调用,能帮团队做自动化的处置,包括情报的关联,能够帮团队提升告警自身的准确性,以及最终会帮用户出完整的总结报告此为团队在整个告警一体化的链路,智能运营的效率的提升的案例。

第二个案例大模型的能力覆盖安全服务工具的最佳实践。团队的安全管家服务,提供服务的方式是钉钉群钉钉群里面,团队当前把大模型的能力嵌入到了钉钉的机器人,通过机器人主要解决两个方面的问题,是围绕着用户侧的告警事件,帮助用户进行快速的响应,还有一部分辅助运营

在快速响应,团队主要做三件事,第一围绕着告警本身去进行告警的分析,以及风险的评估,比如漏洞,发现新的漏洞的时候,漏洞团队应该去怎么去处置它,如何去收敛漏洞,或者是告警事件的风险。团队会通过大模型去监测整体的安全事件漏洞的风险,包括配置合规能力进行到自动化的监测和响应

第二点是自动化处置,团队会通过大模型的意图识别的能力,针对风险告警,通过意图识别去调用底层的工具集,进行整合,做到能够自动化的快速的自动处置能力。

第三个告警降噪,团队会通过大模型的能力,针对相似度进行达标,或者是针对告警会进行微调来减少告警的误报,辅助用户去提高告警的优先级进行决策。

在辅助运营的场景,团队通过安全服务的工具,可以帮团队的运营管理者或者是帮助团队的客户进行何种工作

第一可以帮助团队去完善整体的知识库建设由于日常团队在安全服务的过程中用户存在许多问题,围绕问题团队会进行数据的标注建设高质量的安全的数据集以及安全的知识库

第二作为情报服务去进行收集因为每个客户对团队的安全服务的要求是不一样的,团队可以通以往的用户反馈的收集,通过语义分析去进行服务满意度的预测和需求的分析完善整个服务的内容以及服务质量。

第三多元的事件的关联分析,团队可以汇聚多元的数据,通过大模型进行自动化的关联分析,最终形成关联分析的说明,提供给团队的安全管理者

5.安全大模型打造高效安全运营解决方案

围绕着这两个案例,介绍安全大模型打造高效安全运营解决方案以及目前相关显著的效果当前团队整个的大模型的能力体现在云安全中心的产品,用户可以通过云安全中心能力去使用和体验团队的大模型

团队通过两种不同的场景用户提供大模型能力

第一为智能安全助手,团队的自由绘画在自由绘画的场景团队可以帮助用户针对产品的问题去进行应答,用户可以通过智能助手的方式进行问话,减少提供单的效率场景,运营管理者对团队的安全产品的使用提供帮助

第二为智能事件全链路的一体化运营。团队将大模型能力直接集成到了告警,安全告警漏洞管理不同的原子能力中。通过原子能力的应用,能够帮助用户全链路的快速的进行告警及风险的研判和预估结合的这两个场景,团队当前在产品咨询的场景以及安全事件的调查和响应,以及智能报告的场景,团队有显著的效果指标截止到现在上个财年团队整体的AI事件的处置率可以达到70%以上,整个处置的误报率数字指标是0,AI辅助用户去运营的指标以及团队可以自动通过AI大模型的方式,自由问答的方式能够解答用户77%的问题,全网告警类型的覆盖度可以达到99%,整个用户的覆盖度在云安全心中,团队有88%的用户都已经在使用团队的大模型能力去提升整体的运营效率整体通过大模型的能力的威胁分析的能力,以及当前的告警类型的覆盖截止到8月底团队的准确率较去年同期已经提升了20%

 

三、复杂对抗场景下的AI人脸鉴伪

讲解复杂对抗场景下的AI人脸鉴伪。主要分4部分进行讲解

1.复杂场景下人脸伪造手段

首先介绍一下目前团队应对的人脸伪造的风险现状。目前,随着众多音质图文aigc技术的快速发展,团队发现市面上有许多容易获得的aigc软件,这也使得人脸伪造的门槛变低,效果更逼真手法也变换也更加容易。

团队通过调研了目前黑产团伙的攻击链路,团队发现目前已经有大部分的黑产团伙已经具备一定的新型AI伪造的能力,而且由于现在技术的快速迭代,也能使得黑产团伙的攻击速度也变得更加的迅速。由此造成的人脸伪造的经济损失也是在逐年上升。团队现在目前面临的是比较复杂的人脸伪造的攻防形式。

问题带来了两个挑战。首团队目前遇到的AI伪造手段,它的攻击方式是层出不穷的。例如以前团队是有defi给换脸的攻击手段,现在黑产它也会用上AI数字,还有AI生成人脸的方式去进行攻击此外还有黑产,它会用PS去拼接人脸或者背景,再进行视频活化的方式对团队的系统进行攻击

第二个挑战是目前黑产团伙有越来越多样化的后处理攻击手段,例如他们可能会对图像进行加照,或者是模糊来攻击团队的检测系统。

2.新型AI人脸鉴伪技术

团队遇到复杂的人脸鉴伪场景需要自研一系列的新型AI人脸的鉴伪技术。团队研究处人脸AI鉴伪关键的6项技术。

第一项虚假合成人脸检测和第二项的PS检测以及第三项全图的aigc检测,是用于判断人脸是否存在合成和编辑的痕迹第四项明水印检测和第五项翻拍检测可以用来判断图像是否存在后处理攻击。第六项同图模板风险检测可以对判断图像是否存在模板批量造假的情况,也能捞回新型的黑产攻击方式。在实际的使用中可以对方法进行组合应用来面对线上遇到的不同的攻击手段,包括换脸aigc生成等等。

首先介绍虚假合成人脸检测技术在前期准备阶段,团队是调研市面上百种的deep fake和数字人生成人脸方法基本涵盖了目前已有的公开产品,开源模型还有大部分的学术数据集。团队通过方式是收集整理了数数亿级别的和虚假合成人脸数据集用于团队的模型训练。在模型训练阶段,团队也会通过对模型训练时候加入各种数据增广方式来应对黑产的各种伪造后处理攻击手段。

团队可能会对数据集进行美颜,还有AI重构,或者是其他的传统数据增强方式来应对黑产在实际攻击中做的后处理手段在训练策略方面,团队会针对线上的特定的栏样本进行特定的优化。在特定的场景,会根据场景的需求进行特定针对性的模型训练优化。

介绍新型的AI人脸检测技术,该技术主要是用于判断图像是否由新型的aigc模型生成。问题的主要难点在于目前工业界和学术界上有非常多种类和系列的AI生成aigc的方式,且迭代速度也非常的快。团队发现已有的方法,在跨不同系列生成方式的检测,下面会出现精度的显著下降。

因此团队提出了扩散重构的基本思想。思想团队在训练的时候,团队自己用aigc生成方式对团队的征途进行重构,得到非常接近真图但属于AI生成的重构假图

通过该方式团队可以使模型有效的分辨AI生成图像。具体的团队的思路团队先给模型进行更加难分辨的任务模型进行多或难比的任务之后,对简单的任务有有效的检测能力。目前通过方案,团队能够支持市面上大部分的AIGC生成方法,在跨域生成方法的检测平均准确率也能达到较高的检测准确率。

介绍PS伪造检测技术,技术主要是针对PS编辑软件编辑人脸的检测问题的挑战也是在现在PS伪造的手段也比较多样,后处理攻击也比较长。为了应对挑战,团队也是针对问题去专门构造边缘的损失函数,加入各式的对抗攻击增强

同时团队也会使用AI大模型自动的去生成大规模的PS伪造样本,从而使得团队的模型具有更加准确或者是更加多样化的解决伪造手段的能力。目前团队方案是在人脸PS和背景PS上获得比较好的效果。同时人脸图像,团队也能够对市面上的资质证件门脸凭证等其他类型的图像有比较好的检测效果。

团队在线上发现较多的一种攻击方式是黑产团伙的模板换脸攻击方式,这里的攻击原理主要是因为黑产,往往会有一套固定的攻击物料的制作流程,他们会比较偏向于使用同一套模板去制作伪造样本。另一方面当黑产在一套攻击物料模板攻击成功之后,他们后续也会更加倾向的继续使用这套攻击物料去攻击团队的系统。

针对这一情况,团队也是对应的研制了基于模板的防御原理,团队是研制了一套高准确率的铜图模板检测算法,通过提取图像的特征,跟风险模板库进行匹配,可以有效拉回之类风险

另外团队对提取的特征进行聚类分析,也能有效的去发现潜在的黑产新型的攻击的方式。

3.鉴伪技术应用与对抗

介绍技术在实际场景的应用场景和对抗迭代

首先是虚假合成人脸检测的应用场景。这项技术目前主要是应用在实验认证场景,它可以有效的捞回线上大部分的虚假合成人脸,同时也能对翻拍翻录的伪造样本有一定的召回。

同时可应用于诈骗场景包括视频通话中进行虚假换脸,伪装成认识的人进行换脸攻击。团队算法实时的捞回诈骗的案例

场景网络直播场景可以利用这项技术进行数字人的识别。

最后,在社交平台场景,技术也可以用来验证图像的人脸中图像中的人脸的真假,用来辅助团队判断新闻舆情的真实性。

目前aigc检测技术目前有比较广泛的应用,随着现在国内对这方面的监管有了要求,后续会有更多的应用场景。

第一应用场景主要体现在人脸检测与认证可利用aigc图像检测来捞回大部分的通过aigc生成合成的人脸。

第二,AI二维码反诈场景。有黑产利用AI去生成伪装的艺术二维码伪装的引流诈骗的图像针对此类情况团队的算法都能够把案件进行准确的捞回。

第三,可应用于平台的aigc内容审核。团队可以对图像,视频,音频等判断它媒体内容是否是属于AIGC生成的。

第四,在电商平台团队可以用aigc检测技术去识别商品图是真实实拍的商品还是由aigc生成的一种商品图。

最后是模板算法的应用。团队构建了非常大规模的同图模板风险库风险库可以鉴伪各个环节和各个链路上起到比较重要的作用。首先,在主链路在人脸鉴伪的主链路里可以实时的提取图像的特征跟团队风险库里面的模板进行匹配和检索,达到拦截有风险模板的样本的作用。

在异步链路方面团队可以实现对新模板的自动收集和检测例如团队可以通过检测包含有多身份和高频次的特征,以及结合团队前面的几项关键的换脸检测技术捞回的黑样本,做到及时的补充团队的黑样本库来应对黑产越来越多的攻击手法和手段。

在构建技术能力后团队就可以主动高效的进行到算法对抗的迭代训练。例如,团队可以使用提到的风险模板库去持续的进行线上的新攻击的洞察,持续的对黑样本进行收集,结合团队人工抽检的黑样本实时的去更新团队算法库所需要的黑样本,再根据团队的模型自学习的过程,可以通过利用新型攻击的黑样本去实时的迭代团队的底层的算法模型再通过自动验证和自动上线的方式可以持续的去对黑产变异的攻击的图像的手段做到防御和拦截。

4.总结与展望

此为deepfake检测能力总体框架图。针对各种各样的复杂场景下的攻击手段,团队构建包含了数10种检测能力的检测能力库关键技术包括在人脸鉴伪场景虚假合成人脸检测,AI gc合成人脸检测以及PS检测和同图风险模板检测

团队在实际使用可以通过组合团队能力库检测能力库里面的各项能力,形成团队一系列的deepfake检测产品。目前团队的产品在线上服务的活跃客户是有3000多家,日均拦截的攻击是超过了25万起,平均的拦截成功率接近100%基于团队整套的算法能力库和模板更新的方式能够做到分钟级的去收集黑样本模型进行微调和更新。

在未来展望方面,团队对虚假合成人脸技术进行未来展望。第一部分为后续会持续对需要定制的场景提供模型定制与微调。如常用的基础模型结合实人认证场景等功能达到针对特殊需求做到定制和能力提供,不同的场景提供不同的服务。第二部分团队在不断迭代算法模型提高泛化能力,达到对未知数据模型有较高能力检测效果。第三部分针对黑产团伙逐渐发展的专业化后处理攻击,团队通过不断研发以获得更高鲁棒性。第四部分为团队在不断研发将音视频模态,文本模态进行融合以达成多模态高精度模型。

在媒体鉴伪能力总体能力框图中,媒体安全团队运用多种能力应对安全挑战,通过这些能力保障音视频以及图文的真实性、原始性和完整性。检测能力库主要包含三方面,第一方面为媒体篡改检测能力,可通过原图识别判断图像原始性,通过篡改定位进行区域标记。第二方面为人脸鉴伪能力,主要为deepfake AIGC和数字人检测能力。第三方面为媒体来源识别,包括对媒体相机来源和平台来源识别,可了解相机的相关参数以及图像经过哪些平台的传输。同时具有水印标识识别,翻拍截图检测以及关键信息检测能力。这些能力可根据客户需求进行提供。

相关文章
|
2月前
|
人工智能 自然语言处理 供应链
《AI引领传统企业:数字化转型与商业创新的破局之路》
在当今时代,AI为传统企业带来数字化转型和商业创新的机遇。通过数据分析、精准决策、业务流程优化、产品服务创新、营销渠道拓展及人才管理,AI助力企业提升效率、降低成本、增强竞争力。企业需转变思维、加大技术投入、培养AI人才,建立适应转型的企业文化,以充分挖掘AI潜力,实现可持续发展。
143 15
|
7月前
|
供应链 安全 物联网
未来已来:探索新兴技术的浪潮与影响
在科技的巨轮下,我们正站在一个新的时代门槛上。本文将深入探讨区块链、物联网、虚拟现实等新兴技术如何重塑我们的工作与生活方式,并分析这些技术在未来社会中可能扮演的角色。通过具体实例和数据分析,文章旨在揭示这些创新技术背后的发展趋势,以及它们如何在现实世界中找到应用场景。
89 1
|
6月前
|
安全 物联网 区块链
未来已来:探索新兴技术的浪潮与应用
【8月更文挑战第13天】 随着科技的飞速发展,新技术不断涌现,改变着我们生活的方方面面。本文将深入探讨区块链技术、物联网(IoT)、虚拟现实(VR)等新兴技术的发展趋势和应用场景,揭示这些技术如何塑造未来社会的面貌。我们将从基本概念入手,逐步展开到实际应用案例,并展望未来可能带来的影响。
56 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC 3D即将爆发,混合显示成为产业数字化的生产力平台
AIGC 3D即将爆发,混合显示成为产业数字化的生产力平台
|
6月前
|
人工智能 安全 测试技术
|
6月前
|
传感器 物联网 区块链
未来触手可及:探索新兴技术的浪潮与影响
【8月更文挑战第6天】 随着科技的日新月异,区块链、物联网、虚拟现实等技术正逐步从概念走向现实,它们不仅重塑了我们的生活方式,也预示着未来社会的发展轨迹。本文将深入探讨这些技术的发展趋势和应用场景,揭示它们如何共同构建一个更加智能、互联的世界。
56 2
|
8月前
|
机器学习/深度学习 人工智能 算法
AIGC技术:引领智能化新时代浪潮
AIGC技术:引领智能化新时代浪潮
122 1
|
9月前
|
机器学习/深度学习 人工智能 算法
【AI赋能】——我国战略新兴业务快速发展 —产业结构调整持续优化
【AI赋能】——我国战略新兴业务快速发展 —产业结构调整持续优化
266 2
|
人工智能 供应链 Cloud Native
重磅发布 | 拥抱产业数智金融,赋能传统产业转型升级
重磅发布 | 拥抱产业数智金融,赋能传统产业转型升级
223 0
|
9月前
|
运维 监控 Cloud Native
袋鼠云创始人陈吉平: 深耕国产自研数字化技术与服务,持续为客户创造价值
在经济面临下行压力、疫情反复等不确定因素之下,推动数字化转型就成为了许多企业的“救命稻草”。然而,较高的数字化转型门槛、不成系统的数据服务,以及缺乏规范的行业标准等都成了企业数字化转型路上的“绊脚石”。2015年,袋鼠云成立并毅然投身于具有巨大想象力的数字经济发展浪潮,经过7年努力实践,不断完善自己...
187 0