互联网安全公司 Imperva 对全球10万个域名的网站访问进行分析,发布了一份《2016年机器流量报告》(Bot Traffic Report 2016)。称全球范围内约 52% 的互联网流量来自“机器人”(bots),这里机器人指的是自动化程序。也就是说,许多网站大部分的访问者不是人类而是自动执行的程序。
“ 52% 的流量来自机器人,它代表着机器人再次战胜人类,成为互联网流量的主导者。”这话听起来确实挺唬人,但其实并不足为奇,也不值得恐慌。因为自 2012 年 Imperva 公司监测网络流量以来,机器产生的网络流量就连续三年超过人类产生的流量,仅在2015年以微弱优势反超过一次,数据也很快被反扑。
“机器”的好坏之分
报告将非人类产生的网络流量一并称之为“机器流量”(Bot Traffic),其实称之为“自动化程序流量”更妥当,因为其中的“机器人”就是指自动化执行的程序,通常用于执行简单重复的任务,比如搜索引擎用来检索网站的爬虫机器人、刷春运火车票的抢票程序、投票活动时的程序刷票等等。
报告将机器人(姑且这么称呼)分为善意机器人和恶意机器人两种,从网络流量上来看,恶意机器人一直碾压善意机器人,从未被超越。
善意机器人主要有这几类:
信息流抓取:这些机器分布在网站和应用程序中,抓取有用信息展示给用户看,比如微博。
搜索引擎爬虫:各大搜索引擎的大量爬虫机器人,用于检索海量信息和网站。
商业数据抓取:用于商业化的数字营销工具、网站数据统计等等,比如Alexa。
监控机器人:用于监控网站的可用性和各种在线功能的正常运行。
【全球最活跃的的45家善意机器人】
恶意机器人主要分为模拟人类的机器人,通常用于分布式拒绝服务(DDos)攻击以及刷票等、垃圾邮件机器人、黑客工具,其中最可恶的机器人是那些模拟正常用户活动的恶意机器人(DDos机器人就属于这一类),去年此类机器人占到了整体互联网流量的约 24% 。其中,最臭名昭著的包括 Nitol 恶意软件、Cyclone机器人和 Mirai 恶意软件。
报告分析,之所以DDos 机器人带来的网络流量如此之高,主要原因有两点,其一是目前模拟人类活动提交请求的实现成本非常低,但是收益非常高。比如一个春运的刷票机器人,不断模拟正常用户提交买票请求,很难找到有效方法来彻底规避这种行为,但是刷票提供者往往能从中获取不菲收益。
其二是目前DDos 的攻击手法对于黑客来说相当好用,用僵尸网络中的成千上万个机器来对一个目标发起看似合法的请求,从而让目标服务崩溃,目前看来还没有可以完美防御的手段。
94.2 %的网站经历过机器攻击
报告中有一项数据看起来令人震惊:在过去五年内,平均算下来一个网站每进来三个用户,里头就有一个是机器人。其中有一部分善意机器人,一部分恶意机器人。
不同流量的网站中的机器人比例各不相同,呈现的大致趋势是,网站流量越大,机器人占比越低。
虽说近年来人工智能发展迅速,我们时不时能在各个领域看到“机器人战胜人类”的相关新闻,不过雷锋网宅客频道认为此篇报道更大的意义在于给人们呈现出互联网流量的整体态势。人类流量大还是机器流量大,这个话题本身意义不大。