“刺激的”2017双11 阿里安全工程师首度揭秘智能风控平台MTEE3

简介: “太刺激了,太刺激了!如果那个48%真出问题,整个安全部的双11就可能是3.25!”

“太刺激了,太刺激了!如果那个48%真出问题,整个安全部的双11就可能是3.25!”知命推了推眼镜,语速明显快了一些。伴随着肢体语言,知命表现出来的是程序员解除了重大Bug时的那种兴奋与激动。
_1995
用这部IMDB评分最高的电影向阿里安全的工程师致敬

MTEE3是什么?那个48%又是什么鬼?

知命,阿里安全业务安全产品技术高级专家,智能风控平台MTEE3的技术负责人。这一切,他向我们和盘托出。

MTEE3,性能、智能双重加持

MTEE3的中文名称叫业务安全智能风控平台,最后面的3代表这是全新一代的3.0系统。这套系统的功用是为阿里经济体的各类核心业务提供账号安全、黄牛刷单、活动反作弊、内容安全、人机识别等几十种风险的防护与保障。据悉,在2017天猫双11当天,MTEE3处理了超过300亿次的业务风险扫描,扫描峰值超过200万次/秒,这组数据在全球来看也是独一无二的,同时也证明了系统的性能非常强悍。

为了便于我们更了解,知命先做了业务安全的概念普及。

“MTEE3是业务层的安全防控平台。”知命向笔者解释道。据知命介绍,从业务层来看,传统的安全威胁,如盗号、垃圾账号(通过机器批量申请的帐号)等,对于网站的正常运营是有影响的。黑灰产利用这些账号来抢红包、薅羊毛。

“防羊毛党,我们叫营销反作弊;还有就是黄牛党,我们的平台有很多热销产品,比如酒水、手机等;还有识别机器行为的人机防控;还有就是内容方面的防控。这些都是在网络层以上的,我们叫业务安全。”知命说。

据介绍,阿里的业务安全,基于大数据实时分析建模技术,通过每个用户行为背后数千个数据指标的实时计算,利用规则引擎、模型引擎、关系网络、团伙分析、设备画像、语义分析、机器视觉等技术对风险进行快速有效的防控,而运行的平台就叫MTEE3。MTEE3上部署了大量的规则和模型,为阿里经济体多个业务提供防护。“我们将用户的行为称为‘事件’,比如用户的注册、登录、修改基础信息、聊天、下单、支付、发货、收货、评价等等,每个行为点上我们都会去进行防控。”知命告诉笔者,正是因为进行全链路的防控,所以MTEE3能够“轻易地”识别出恶意账号等。

MTEE3的“轻易地”还包含了其毫秒级的响应能力,今年双11,MTEE3将下单环节的风险扫描控制在10毫秒左右,用户几乎无感知。

综上所述,MTEE3的性能是非常强大的,但除此之外,它还具备了智能的特性。对此,知命也进行了详细的解释。

对于正常的用户、机器账号,抑或是黄牛,MTEE3会分析很多的变量(指标),然后综合进行判断。这些变量有多个维度,这些维度包括有账号、设备、环境、内容以及用户的行为等。

“MTEE3对这些信息进行实时的计算和分析,而且这个过程需要在极短的时间内完成。”知命说。

知命表示,MTEE3都是基于信息流的计算,它并不是将所有的数据保存下来,然后再通过数据库去查询,因为这样效率会非常低。阿里安全的工程师赋予MTEE3的是一边计算一边存储的模式,经过计算后,得出结论,然后将结果返回给交易,最后再存下来。“MTEE3其实具备的是流式计算的能力。”知命说。

知命告诉笔者,基于规则和模型的安全防控,基本上历年都在用。而今年安全策略中心团队在双11智能化上的突破,是全新启用了决策天平,利用机器学习算法进行智能化决策,并在双11中使用,首战告捷。决策天平综合考虑风险防控、用户体验、商业考量等多方面因素,利用全局寻优算法计算当前最优解,并考虑到风险分布的变化,利用强化学习对最优解进行修正,产出下一时刻的风险处置决策,通过系统自动化执行决策,同时利用实时计算做到了秒级的决策方案更新。决策天平打造了未来风控模式的雏形。

“刺激的”2017双11

对于知命和他的团队来说,2017年的双11是相当“刺激”的。

首先,他们要解决性能的问题。如果只是简单地叠加资源,比如增加服务器数量,这个问题看上去似乎也不是那么的难。然而,事实却是,知命面对的是资源的增长只有那么一点点,但要求的指标,比如交易峰值,却是要比去年双11翻倍。

这个问题怎么解?

阿里安全的工程师对计算引擎进行了完全重写方式的改造,目的就是让它算得更快,性能提升100%有余;同时,对策略体系的部署进行优化;而与其他安全防护层,比如网络层,进行实时联动,提升整体的效率。

另外,2017双11,安全策略中心团队和产品技术团队一起针对策略体系也进行了重构改造,建立起层次化、体系化的策略架构,去除策略孤岛,规则和机器学习模型有机组合,筑起全新的防控大坝,提升对风险的覆盖率和精准度。

知命告诉笔者,由于补贴方案到最后两天都还会有变更,因此相应的策略、模型和规则等都会产生实时的变化,同时,黑产从哪里来,这个也无法确定。这三方面的“不确定”,让阿里安全的技术团队承受着极大的压力。

然而,知命和他的团队还是提出了解决方案。“由于这些不确定性,所以我们今年决定要容忍一些变化。特别是计算引擎,我们希望在策略变化的前提下,系统的性能是能保证的,资源消耗要在同一量级,而不是说线性增长。”知命说。据介绍,MTEE3项目团队做了相当多的工作,比如,将规则引擎、模型引擎进行重构改造,特别是规则引擎全部重写。经过改造之后,MTEE3的性能成倍增长。

“我们做这个项目,双11是个重要的节点,但并不是只为了它,更是要为未来做准备,是为了策略的重构做升级。计算引擎一直在运行,运行过程中进行升级,相当于是给飞行中的飞机换引擎,这是相当大的挑战。”知命说。

实际上,MTEE3是2017年3月份才上线的。但是,到618的时候并没有被应用,而99酒水节才是真正意义上的实战检验。而这次之后,就是双11了。

我们非常好奇,双11前夕,知命和他的团队是怎样的状态和节奏?

11月8日,MTEE3接到最后一个需求变更。这个时间点,原本是不再允许接受新的需求变更了,但经过各个Leader的综合判断,这个变更必须进行。

11月9日晚上十点的时候,知命和小伙伴们还在反复地测试MTEE3。到了11月10日早上七点,反复测试多轮,所有功能点终于全部验证完毕。

一切看上去似乎风平浪静。

然而,早11月10日零点的时候,又发现了一个“大问题”。“安全策略工程师发现:下单场景下,安全防控策略存在48%的防控拦截失败?最大的挑战在于阿里安全的工程师不确定究竟是所有策略出了问题,还是只有一条策略是这样。但此时,距离2017双11已经不足24小时。”知命说。

“本来大战前1天是希望大家休息一下了,但还是赶紧把所有人叫起,排查这个问题。”知命说,“最后搞到11月10日凌晨三点多,幸好最终查证是虚惊一场。这个是真的非常刺激!”

MTEE3保护着上亿的资金,如果双11当天,这48%拦截失败,后果无法想象。“今年跟以前不一样,今年是前期的准备压力特别大。特别是那个48%,太刺激了,太刺激了。如果这个没防住,整个安全部的双11就可能是3.25!”知命说。

直到11月10日晚上,知命还在和策略中心团队对焦重点防控人群的问题,而最终敲定具体的策略已经是当晚八点多钟。

但真正到了11月11日零点的时候,负责MTEE3系统的工程师反而放松下来。“去年,我们整整待了36个小时,加上跨境,一共是38个小时。今年,待到晚上2点多,很多同学就已经可以回去睡觉了。”知命淡淡地说到。

目录
相关文章
|
10月前
|
机器学习/深度学习 编解码 算法
《多模态数据信息提取解决方案的体验与部署》
《多模态数据信息提取》解决方案提供了一站式的文本、图像和音频数据处理平台,通过先进算法实现关键信息的高效提取。函数应用模板简化了部署流程,标准化接口和自动化配置降低了技术门槛。然而,参数设置、错误处理和文档说明等方面存在细节问题,需进一步优化以提高用户体验和部署效率。改进措施包括加强参数说明、完善错误处理机制及优化文档,推动多模态数据处理技术的发展。
207 23
|
12月前
|
存储 安全 大数据
CDGA|数据流通新策略:高效利用,解锁数字经济新动能
在数字化时代,数据成为推动经济社会发展的关键要素。然而,数据孤岛、安全隐私及标准化不足等问题制约了其高效利用。本文探讨数据流通的新策略,包括强化数据治理、技术创新、安全保护及标准化建设,旨在构建高效利用体系,赋能数字经济高质量发展,激发数据要素潜能,推动产业升级与经济转型。
|
消息中间件 存储 Python
详解Python TimedRotatingFileHandler多进程环境下的问题和解决方法
`TimedRotatingFileHandler`在单进程应用中非常有用,但在多进程环境下直接使用可能会遇到挑战。以上提到的方案可以根据具体情况选取,解决在多进程环境下的日志文件管理问题。综合考虑,采用外部日志管理工具或集中式日志记录方案通常更为稳健和有效,尤其适用于大型或复杂的系统架构。
635 3
|
tengine Kubernetes Cloud Native
Tengine-Ingress 高性能高可用的云原生网关
Tengine-Ingress 高性能高可用的云原生网关
703 0
|
NoSQL 开发工具 数据库
开发与运维测试问题之应用启动报 Can not load this fake sdk class 的异常如何解决
开发与运维测试问题之应用启动报 Can not load this fake sdk class 的异常如何解决
203 0
|
SQL 存储 NoSQL
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
阿里云实时计算产品经理李佳林(风元)在 Flink 峰会的演讲。
基于 Flink 构建大规模实时风控系统在阿里巴巴的落地
|
人工智能 弹性计算 Cloud Native
平头哥杨平超:倚天CPU架构以及产品特性介绍
2023年8月8日,【倚天实例迁移课程】首节课程《倚天CPU架构以及产品特性介绍》正式上线,由平头哥倚天解决方案架构师杨平超主讲,内容涵盖:倚天710芯片概述;倚天710的主要特点;倚天710应用落地介绍,本期节目也在阿里云官网、阿里云微信视频号、阿里云钉钉视频号、InfoQ官网、阿里云开发者微信视频号、阿里云创新中心直播平台&微信视频号同步播出。
平头哥杨平超:倚天CPU架构以及产品特性介绍
|
人工智能 运维 架构师
数美科技首席架构师陈建:基于云上弹性的高可用实时风控架构实践
2023年10月31日-11月2日,2023云栖大会在中国杭州·云栖小镇举行,北京数美时代科技有限公司首席架构师陈建在【CloudOps云上运维专场】发表了题为《基于云上弹性的高可用实时风控架构实践》的主题演讲,从在线实时风控架构及高可用解决方案等方向做了分享。
|
存储 NoSQL 应用服务中间件
SSO(单点登陆)
SSO(单点登陆)
|
存储 网络协议 编译器
字节序,主机字节序与网络字节序
是指多字节数据在计算机内存中存储或者网络传输时各字节的存储顺序。在计算机中是以字节为单位,每个地址对应一个字节,一个字节8bit。在C中,除了8bit的char以外,还有16bit的short,32位的int,64位long,当然具体要由编译器决定,可以通过sizeof来获取不同类型在内存中占用的字节数。在计算机系统中,当物理单位的长度大于1个字节时(所以char数据就不用区分字节序),就要区分字节顺序。常见的字节顺序有两种:大端和小端,当然还有其他字节顺序,但不常见,例如Middle Endian,通俗的讲,字节序就是cpu对内存中进行存储的顺序(以字节为单位进行存取)
441 0