决战双11之巅 阿里安全治理黑灰产之技术图谱曝光

简介: 2017天猫双11又一次创造了商业奇迹,高达1682亿的交易额,交易峰值为32.5万笔/秒,支付峰值为25.6万笔/秒。这一组数据已经足够惊人,但更令人称奇的是,双11当天用户获得了“如丝般顺滑”的购物体验。这一切的背后,阿里安全的技术团队发挥了非常重要的作用。

2017天猫双11又一次创造了商业奇迹,高达1682亿的交易额,交易峰值为32.5万笔/秒,支付峰值为25.6万笔/秒。这一组数据已经足够惊人,但更令人称奇的是,双11当天用户获得了“如丝般顺滑”的购物体验。这一切的背后,阿里安全的技术团队发挥了非常重要的作用。

“狠怼”黑产

对于互联网来说,流量是至关重要的,但是并不是所有的流量都是“正向”的。阿里安全技术平台负责人黄眉认为,由于黑灰产的猖獗,流量很可能呈现“劣币驱逐良币”的状态,所以,必须确保把流量这块做好。

事实上,对于每年的双11,黑灰产都是虎视眈眈。在它们眼中,秒杀、红包、优惠券、返利、补贴等等都是一块块“肥肉”。如何把这些实惠送达真正的“剁手党”?这是阿里安全的工程师必须解决的问题。

“让商家的促销顺利进行,并真正触达目标人群,让用户‘拣便宜’,这是我们要考虑的问题。”阿里安全业务安全产品技术高级专家知命表示,“这个如同春节回家,我们要为用户创造平等的机会,让大家都能够买到票。”

这与阿里安全技术平台产品专家砚墨的观点完全一致,他认为,如果这些“好处”都被黑灰产“薅羊毛”了,平台、商家和消费者三方都受损,这是无法接受的情况。

于是,阿里安全的工程师使出了杀手锏——霸下和MTEE3,决心要狠怼黑产。霸下是阿里安全作用在全集团网络流量层的清洗产品,负责将流量中夹杂的各种黑灰产异常请求、黑客攻击进行精准的识别和清洗,只将正常用户的请求放给后端。而MTEE3是作用在交易内部的智能风控引擎,能够针对用户的行为进行进一步风险判断。

“我们发现,以前最核心的问题是对机器流量的拦截效果不好,黑产每天都在研究我们,对我们的系统非常了解,也知道哪些地方比较薄弱。” 砚墨说。阿里安全的工程师们决定打造全新的系统来对抗,但是面临的挑战也是前所未有的。

据砚墨介绍,新系统的架构,无论是从设计逻辑上,还是理念层面的,与以前的都完全不同。相当于把技术上的产品重新做一遍,从应用角度、从代码角度,都得全部重新写。

但是,从去年双11立项开始,阿里安全的技术团队仅仅用了半年的时间,就把霸下系统搞定了,并且在今年的618大促和99酒水节中得到了实战验证。

而在2017天猫双11中,霸下系统处理的请求峰值高达1800万QPS,经过霸下系统的过滤,交易系统的流量纯净度高达99.85%!

除了霸下,阿里安全的工程师还开发出了全新一代的业务安全智能风控平台——MTEE3。这个平台为阿里经济体的各类核心业务提供账号安全、防黄牛刷单、活动反作弊、内容安全、人机识别等几十种风险的防护与保障。

据阿里安全业务安全产品技术高级专家知命介绍,MTEE3风控平台基于大数据实时分析建模技术,通过毫秒级每个用户行为背后近千个数据指标的实时计算,利用规则引擎、模型引擎、关系网络、团伙分析等技术对风险进行快速有效的防控。MTEE3.0风控平台建立起一套基于账号、设备、环境、行为、内容等多维度风险特征体系,能够对风险行为精准定位,快速实施防控。同时,MTEE3能够根据对关键业务指标的监控,进行规则与模型动态调整与升级,以快速适应业务与风险的变化。

知命展示了MTEE3的一组数据。在2017天猫双11当天,MTEE3处理了超过300亿次的业务风险扫描,扫描峰值超过200万次/秒。

“这套平台能够在毫秒级的响应时间内,识别出有风险的用户和请求,经过智能决策,快速执行最优的风险处置动作,同时,保证用户获得更好的购物体验。”知命说。“今年双11下单环节的风险扫描控制在10毫秒左右,用户几乎是无感知的。”

防止信息泄露

为了防止信息泄露,阿里安全的工程师还开发了一套名为“御城河”的系统,通过数据泄露风险检测及溯源技术,可预警商家、服务商、物流环节在内的内鬼操作、账号风险、异常访问行为、木马风险等各类数据风险。
222

“御城河从风险的预防、发现、定位、处置、感知,整条链路上都设计了一系列产品,是一整套的解决方案。它涉及很多层面,包括后端、前端、客户端,贯穿整个环境。”阿里安全技术平台资深专家玄泰表示。

据玄泰介绍,目前,御城河保护数百万商家的1300多万终端、1000多家核心服务商的近千个应用,以及20家主流物流公司的10万余个网点,实时检测人员、账号、设备等30多个维度的数据访问风险。

在2017天猫双11当天,御城河进行风险检测65亿多次,发现主机、访问、木马等风险1万多个,拦截账号、主机等风险数万个。

即时识别诈骗

为了准确识别诈骗电话,保护用户的资金安全,国务院联席办联合阿里巴巴推出了钱盾反诈平台。阿里安全的工程师为钱盾配置了最为强大的恶意号码检测模型——DeMalC系统。

据介绍,在用户授权的情况下,移动终端特征数据包括“号码属性”、“通话频次”、“通话时长”、“号码活跃度”、“空间分布”、“设备分布”以及“历史通话号码间的社交关系”等多个维度,总共有190多个特征。阿里安全的工程师们将这些特征进行自动组合,并进行高效的计算,然后判断号码的属性。

“DeMalC系统充分利用特征对电话号码进行多维度的画像,然后再运用机器学习的算法为每个号码的风险打分,并最终得出该号码的标签。如果是恶意号码,那么它至少会在某个维度表现异常。”钱盾反诈平台高级安全专家永良说。
111

除此之外,阿里安全的工程师还在钱盾APP上推出“防骗助手”。双11期间,当手机收到促销短信或消息时,可以打开钱盾APP,将这些短信或消息拷贝粘贴到主界面的空白框内,然后点击下方的“一键识别”,钱盾APP就可以迅速地判断出短信或消息的真伪。

“即便是手机上没有安装钱盾APP,我们也提供H5页面进行短信或信息的识别。”钱盾反诈平台高级安全专家洪通表示,“而且,还可以将这个H5页面发给自己的还有或父母,也帮助他们免受诈骗的侵害。”

怼黑产、防泄漏、反诈骗……,事实上,阿里安全的工程师做的远不止于此。“对于安全技术团队来说,我希望双十一不是‘运动’式的,而是要让这些动作成为日常,随时确保用户的安全。”阿里安全技术平台负责人黄眉说。

目录
相关文章
|
数据采集 监控 数据挖掘
如何打造数据治理闭环?以金融行业为例 by彭文华
如何打造数据治理闭环?以金融行业为例 by彭文华
|
开发框架 移动开发 前端开发
人物志|辟起:从前线业务到基础技术
人物志|辟起:从前线业务到基础技术
197 0
人物志|辟起:从前线业务到基础技术
|
新金融
《未来保险 新金融时代》——二、保险科技的第一性原理——特征2:“多位一体”的渠道
《未来保险 新金融时代》——二、保险科技的第一性原理——特征2:“多位一体”的渠道
86 0
|
机器学习/深度学习 人工智能 自然语言处理
IDC最新报告复盘疫情大考 百度AI交高分答卷
IDC最新报告复盘疫情大考 百度AI交高分答卷
236 0
IDC最新报告复盘疫情大考 百度AI交高分答卷
短评:蚂蚁金服要想保障高估值,就要和阿里系继续深度协同
短评:蚂蚁金服要想保障高估值,就要和阿里系继续深度协同
184 0
短评:蚂蚁金服要想保障高估值,就要和阿里系继续深度协同
|
机器学习/深度学习 安全 双11
“刺激的”2017双11 阿里安全工程师首度揭秘智能风控平台MTEE3
“太刺激了,太刺激了!如果那个48%真出问题,整个安全部的双11就可能是3.25!”
6359 0
聊主集中营——让技术更有价值,来聊天也能拿赏
聊主集中营 技术更有价值,聊天也能拿赏 无论是混迹代码江湖的技术大神,还是初出茅庐的技术黑马。总有一些技术看法、板砖经验,希望与更多小伙伴分享与探讨。云栖社区正为广大技术聊主提供了一个既能畅聊技术、还能拿福利、发礼品的聚能聊技术话题热议平台。
4059 0
案例酷 | 彩生活:全球最大社区服务运营商的云上转型样本
在房地产行业增速放缓的大环境下,转型焦虑几乎已经弥漫整个地产行业,中国内地大型地产商几乎都在积极尝试转型,转型方向主要有商超连锁、养老地产、教育地产、物流地产、体育产业以及社区物业O2O等。但只有少数地产商的表现亮眼。地产公司花样年集团采用“线上线下一体化”的原则,将云上的虚拟服务与线下的实体跟进密切结合,成功打造了全球最大的住宅社区服务运营商——彩生活服务集团,探索出了一条社区服务运营的数字化、智慧化路径。
1157 0