元乙
2018-07-30
2826浏览量
数据驱动早已不是什么新概念,现在我们听说过的互联网公司无一不是数据驱动类型的公司,数据的重要性直接关乎企业的命运。数据驱动一般分为4个步骤的循环:数据获取、数据分析、数据应用和数据反馈。
其中种类最多、工作最繁琐的当属数据获取,每个业务方根本没有人力物力单独建设一套完整的日志采集系统。阿里和Facebook、Netflix、LinkedIn等公司一样,都已将日志采集作为公司的基础设施进行建设和维护。
建设一套完备的日志采集基础设施并不简单,尤其在全球化逐渐普及的今天,我们需要去面对各种各样的应用类型、客户端类型、数据类型、网络条件、地域限制、数据安全性、合规性等等问题。
其中有两项工作最繁琐和艰难:
上图为某短视频的下载延迟和可用性基准测试结果
作为用户最终的目标是为了分析数据。但这些问题的存在,需要消耗大量人力、精力和物力,干了不一定干得好。
而阿里云日志服务(SLS)就是一款专门解决日志采集、处理、分析的开箱即用型产品,本篇文章我们把重点放在如何基于日志服务把全球化数据采集做的又全、又快,更关键的是省时、省力、省钱。
日志服务提供30+种开箱即用的数据采集手段,包括直接和云产品打通的日志、移动端、服务端、程序、SDK、网页、嵌入端等。在之前的一篇全方位数据采集中,我们对各种日志采集方式进行了全方位的介绍。
概括起来,这些采集特点与试用场景如下:
方式 | 应用场景 | 当前规模 | 优势 |
---|---|---|---|
Logtail | X86服务器采集 | 百万-千万 | 功能强 |
Android/IOS SDK | 移动端数据采集、手机、POS机等 | 千万DAU | 断点续传 |
C Producer Library | 硬件资源受限的系统(如 IoT、嵌入式、RTOS等) | 千万-亿级 | 资源消耗低 |
Web Tracking | 网页静态数据采集 | 千万-亿级 | 轻量级,无验证 |
近期日志服务联合阿里云CDN推出了一款全球数据上传自动加速方案:“基于阿里云CDN硬件资源,全球数据就近接入边缘节点,通过内部高速通道路由至LogHub,大大降低网络延迟和抖动 ”。
该方案有如下特点:
日志服务全球加速会为加速project专门开通一个加速域名,所有通过加速域名的访问均具有加速效果。对于加速域名的请求处理流程如上图所示,整体流程详细说明如下:
{your-project}.log-global.aliyuncs.com
发起日志上传、下载等请求,首先需要向公共DNS发起域名解析请求。{your-project}.log-global.aliyuncs.com
域名指向的是CNAME地址{your-project}.log-global.aliyuncs.com.w.kunlungr.com
,此时域名请求会转发至阿里云CDN的CNAME节点。全球加速使用极其方便,只需根据文档步骤开通加速服务,对于日志服务提供的30+种采集方式,都可切换到全球加速方式:
安装Logtail时可选择 全球加速 方式即可。
其他通过Web Tracking,Android SDK,IOS SDK ,Producer 等访问日志服务的方式均可通过替换endpoint获得加速效果:将endpoint替换为log-global.aliyuncs.com
。
在我们的日志上传基准测试中,全球7个区域对比整体延时下降50%,在中东,欧洲、澳洲和新加坡等效果明显。除了平均延时下降外,整体稳定性也有较大提升(参见最下图,几乎没有任何抖动,而且超时请求基本为0)。确保无论在全球的何时何地,只要访问这个加速域名,就能够高效、便捷将数据采集到期望Region内。
测试地域 | 延时ms(普通公网) | 延时ms(加速) | 超时占比%(普通公网) | 超时占比%(加速) |
---|---|---|---|---|
杭州 | 152.881 | 128.501 | 0.0 | 0.0 |
欧洲 | 1750.738 | 614.227 | 0.5908 | 0.0 |
美国 | 736.614 | 458.340 | 0.0010 | 0.0 |
新加坡 | 567.287 | 277.897 | 0.0024 | 0.0 |
中东 | 2849.070 | 444.523 | 1.0168 | 0.0 |
澳大利亚 | 1491.864 | 538.403 | 0.014 | 0.0 |
测试环境:日志服务所在Region:华北5(呼和浩特);平均上传数据包大小:10KB;测试时间范围:1天(取平均值);请求类型:HTTPS;请求服务器:阿里云ECS(规格1C1GB)。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。