开发者社区> EdgePlus> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

一文深度解读阿里云CDN实时日志的前世今生:挖掘实时数据的无限价值

简介: 阿里云CDN实时日志服务可以将CDN采集的日志,秒级的交付给用户, 并且可以对采集到的日志进行实时、交互式分析和报表呈现,为监控、报警、渠道分析、运营分析提供实时、可靠的数据参考,让用户远离锁事,专注数据价值。
+关注继续查看

阿里云CDN实时日志服务可以将CDN采集的日志,秒级的交付给用户, 并且可以对采集到的日志进行实时、交互式分析和报表呈现,为监控、报警、渠道分析、运营分析提供实时、可靠的数据参考,让用户远离锁事,专注数据价值。

12月26日,阿里云CDN实时日志服务举办线上直播发布会,全网首次深度解读阿里云CDN大数据系统技术演进、产品特性、应用场景与业务实操。

CDN实时日志源起何处?

阿里云CDN从2014年正式商业化至今,服务了百万域名,每天处理数PB的数据,并应对亿级并发的洪峰流量,实现最低秒级延迟,并且提供100%的高数据准确性服务。伴随系统规模发展,CDN产生的日志数据量也越来越庞大,同时CDN业务场景下的原始数据分布广泛、处理环节复杂、使用场景繁多等等现状也给阿里云大数据系统带来了不小的挑战。

image

另一方面,阿里云CDN服务了全球三十多万客户,在与客户沟通中,通常会面临这样的问题:

1. 用户无数据源

绝大部分的CDN产商都只提供离线日志下载,日志数据从产生,到用户可下载,需要几十分钟到数个小时不等。这样大的数据产生延时,大大削减了高实时性要求场景的数据分析价值,无法驱动运营调整策略

2. 无法进行实时监控报警

无法实时把握CDN服务性能,对线上问题排查的不及时,遇到问题的灾备方案对客户端有感,进而无法实现更自动化、智能化的运维,不能提前发现业务瓶颈,进一步提升CDN的服务质量

3. 数据分析及可视化的开发、运维成本高昂

为了解决各类定制化的数据分析需求,用户通常需要自建数据仓库, 自建流式和离线分析平台, 数据可视化平台。投入大量建设资金的同时, 还需要投入大量的研发和运维人力

4. 自建系统技术挑战大

整个数据平台的数据来源广泛,数据处理方式复杂,随着业务的快速发展, 对系统稳定性、数据实时性、数据准确性、全球化服务能力也不断提出严苛的要求。使用开源软件对企业的技术挑战很大, 在性能、成本、定制化、稳定性也未必能跟上业务要求。

image

综上所述,更通用、实时、准确的日志获取, 分析和可视化的需求逐渐凸显,阿里云CDN大数据系统在这个背景之下走上了技术演进之路。

阿里云CDN大数据系统架构演进

起初,阿里云CDN大数据业务架构完全基于开源软件搭建,但是随着业务系统越来越大,我们发现在开源方案中解决问题的成本也越来越高,考虑到成本和后续服务的及时性、稳定性、定制化等因素,逐渐将开源方案以集团内部自研方案来替换。

image

比如,Scroll这个协议就是自研的一套日志数据编解码方案;Crimea是在节点上进行数据基础的采集、降维分析以及数据持久化的自研应用;Blink是阿里集团的流式计算平台; MaxCompute是阿里云对外售卖的通用离线分析平台。

阿里云高级技术专家姜晓东表示:“整个CDN的业务逐渐复杂,对业务的稳定性要求也更高,数据是稳定性的基础条件,网络条件再好,硬件条件再好,缺少数据决策的能力,也不可能做到非常高服务能力。我们可以预测到阿里云CDN系统会有PB/EB级别的规模数据增长,同时我们对于数据的完整性、可用性、全球化部署等指标都有比较高的追求,所以我们逐渐演进、集成沉淀了现有的大数据解决方案。”

如今的架构在CDN节点上实现了数据采集和第一步数据降维分析,延迟低,稳定性高;所有数据传输通过阿里云SLS和OSS来完成,通过SLS遍布全球的接入点实现秒级可见,对于批量或者文件处理,通过节点把数据写入OSS,再进行读取和分析;在数据分析这层,采用了阿里集团的MaxCompute和Blink的方案,实现离线大规模数据分析和在线流式分析。同时,SLS也使用了CDN的动态加速能力,提高在海外和弱网情况下的数据投递成功率。

image

该技术架构具有以下两个技术优势:

一、在数据采集阶段,自研了Scroll+Crimea应用,具备优秀的计算和容灾能力,运用内容自解释、高效编码、边缘预处理与降维分析、自动容灾处理、任务隔离等方案,确保了数据完整性、实时性和准确性。
二、基于SLS实现全球多部署点写入,无缝对接存储和分析平台,达到秒级延迟,支持单次10亿级别的分析,并且无需付出代码和运维成本,能够实现快速、稳定、低成本、高容量的传输和分析

用数据价值赋能用户 CDN实时日志服务诞生

CDN实时日志服务基于阿里云CDN大数据系统解决方案,将日志的实时采集、多维分析、可视化运营、监控与报警打通,形成一站式解决方案,整个系统中复杂的事情都交给阿里云来做,让用户尽可能地可以远离“琐事”,更专注挖掘数据价值,专注在业务本身。

image

它具有以下五大优势:

一、延时不超过60秒

CDN实时日志可以从全球多个区域、数万节点实时采集日志,通常延时不超过60秒,否则日志的实时价值大打折扣。同时,在开通服务后,CDN将日志数据自动投递到日志服务(SLS),免去繁琐的传统日志分析的流程,实时查看日志分析结果。

二、平均节省60%成本

使用实时日志还可以大幅降低资源、人力运维、分析等成本,以某家大型公司为例,每天系统产生日志约100亿条,自建Hadoop+Es集群,集群规模1500+服务器,运维+研发10人左右,一年总成本大约需要5000多万。而使用实时日志,平均减少投入60%以上,运维只需要将精力集中在访问监控上,而运营将精力聚焦在业务分析上,更专注业务本身。

image

三、多维度SQL分析,秒级10亿+规模

CDN实时日志系统支持每天千亿、万亿的日志7*24小时不间断采集,并实时对海量日志进行多维度分析,流计算系统在毫秒级。让用户更加专注于和业务更紧密、更有价值的数据“分析”上。

四、数据可视化及大数据挖掘

最终分析结果的展示也非常关键,CDN实时日志可以为用户提供基于业务的可视化报表服务,用户可轻松地掌控业务健康度、缓存命中率、平均下载速度、流量情况、网速、运营商、延时分布等数据。

五、日志、监控、告警联动的一站式解决方案

在CDN场景下,对服务的可用性、性能要求苛刻,需要对于各类异常进行实时、准确的报警,这就需要依赖可靠的监控报警系统。CDN日志系统未来将和监控、告警、处理机制联动,自动化的解决常规问题,缩短业务故障的时间,避免用户损失。

CDN实时日志典型应用场景

适用场景一:直播

在直播场景下,用户访问集中,数据时效性非常强,对系统的稳定性要求又极其高,通过CDN实时日志可以获取秒级推流状态,并通过日志分析自定义报表,快速进行访问监控和错误追踪。

image

• 推流概览 : 实时知道当前的推流数量、各个推流的流量和速度、从各省、运营商维度统计
• 推流质量:多维度的推流质量统计、重点推流的实时质量监控
• 错误根源追踪:快速定位错误产生的源头(直播源、服务端、客户端、运营商等)

image

比如,虎牙直播就采用了CDN的实时日志服务,将访问节点的日志实时获取后对日志进行分析,对可能的用户运行风险进行及时预警,实现故障自愈和问题定位,同时实时评价CDN节点健康度,主动发现影响客户体验因素,屏蔽质量较差的节点和线路。

适用场景二:大型活动或突发事件监控

在类似双12双11的大型营销活动中,网站的访问突然激增,通过CDN实时日志可以快速搭建当前节点一系列数据报表,判断节点和运营商的访问质量,保证终端用户访问顺畅。在此基础上,运营可以通过用户分布、终端分布和版本分布,优化资源投放以及实时调整策略,真正实现数据驱动决策。
image

• 整体质量:
健康度 : 在所有的访问中,有多少请求是成功的
Cache命中率 : 命中率越高,用户访问延时越低,体验越好
下载速度 : 这也是关系到播放质量的重要因素
• 多维度分析:
top域名访问次数、流量 : 重点域名的访问质量
地域、运营商统计:各个链路的质量
下载量、速度、延时:多项关键指标
• 错误诊断:
实时错误QPS、比例 : 整体错误情况
错误Top 域名、URI : 错误是否和自身相关
错误Top 地域、运营商 : 错误是否和外部因素相关
错误客户端分别 : 是否是新发布版本引入的问题

image

除了以上两个典型场景,CDN实时日志还可以应用在游戏直播监控或报警、在线教育直播监控或报警、网站大型推广或内容投放效果分析,网站促销活动监控或效果分析,内容运营效果分析等场景之下。适用不仅限于游戏、电商、教育、体育赛事、机酒订购等行业。

CDN实时日志接入与实操指南

点击链接跳转服务详细文档与开通指南

开通仅需三步:

image

一、打开CDN控制台,点击日志-实时日志推送,点击开通日志服务,按照指引步骤操作。

image

二、单击创建实时日志推送服务,配置Project、Logstore、地区等信息,然后单击下一步。
image

三、选择关联域名并绑定,然后单击创建。

image

开通完毕,如何查看报表,进行日志分析?

CDN默认帮用户创建了4张报表,分别是CDN基础数据、错误分析、热门资源和用户分析,用户可以通过这四张报表可以快速的去查看CDN的质量和分布数据。
image

image

同时,用户也可以通过日志分析进行定制化的查询,查询完成后,可以将查询内容保存到现有的报表,或者是新建一份报表。另外,也可以将报表的任意统计项或者当前查询项保存为报警项,及时的发现和定位问题。

image

实操演示:

发布会直播的最后,CDN高级产品经理容蓓带着用户实操演练了整个开通和操作的流程,点击回顾视频版,上手更轻松:https://yq.aliyun.com/live/699

image

此前,阿里云CDN实时日志系统经过了长期演进,已经成功运用在世界杯、双11等阿里集团大型活动之中,为活动提供实时、可靠、全面详实的数据监控系统。在当今大数据时代,阿里云会将同款能力开放赋能给行业用户,挖掘数据的无限价值,让业务决策快人一步。

技术红利来啦:12月26日至2月28日,CDN实时日志7折优惠,低至0.042元/万条,欢迎大家登录CDN控制台开通与使用。

image

点击回顾发布会直播

点击了解CDN实时日志服务详情,立享7折开通

关注实时日志产品选型与使用文档

点击参与聚能聊话题讨论,赢取阿里云代金券与精美礼品

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
利用工具合并 CDN 日志操作| 学习笔记
快速学习利用工具合并 CDN 日志操作。
0 0
CDN 诊断工具与日志的作用| 学习笔记
快速学习 CDN 诊断工具与日志的作用。
0 0
CDN转存离线日志到OSS,实现更长时间的日志存储
CDN转存离线日志到OSS,实现更长时间的日志存储
0 0
秒懂边缘云 | CDN基础入门:CDN日志下载与分析
CDN提供了离线日志、实时日志两种日志的对接方式,通过本文您可以了解CDN提供的日志相关的功能和产品。
0 0
先收藏!海量CDN日志高性价比分析方案
CDN产生大量日志,可以进行日志转存 到OSS bucket中。也可以进行实时日志推送,推送到日志服务SLS中进行实时分析,也可以在日志服务SLS中配置OSS日志投递,将海量CDN日志长期保存在OSS中。在OSS中的海量CDN日志,利用Data Lake Analytics进行分析。
715 0
海量CDN日志高性价比分析方案
概述 CDN产生大量日志,可以进行日志转存(https://help.aliyun.com/document_detail/88894.html)到OSS bucket中。也可以进行实时日志推送(https://help.aliyun.com/document_detail/121169.html),推送到日志服务SLS中进行实时分析,也可以在日志服务SLS中配置OSS日志投递,将海量CDN日志长期保存在OSS中。
559 0
作为互联网流量入口,CDN日志大数据你该怎么玩?
CDN是非常重要的互联网基础设施,用户可以通过CDN,快速的访问网络中各种图片,视频等资源。在访问过程中,CDN会产生大量的日志数据,而随着如今越来越复杂的网络环境变化,和业务的迅速增长,日志数据变得更大量、更多维度,同时其稳定性和报警监控的要求越来越高。
1479 0
功能发布 | 大数据驱动业务决策,CDN实时日志重磅上线
阿里云CDN上线了实时日志功能,打通日志服务(SLS)的能力,将CDN采集的实时日志,在小于60秒的时间内投递至日志服务,进行实时、交互式分析和报表呈现。通过CDN日志的实时分析,可以快速的发现和定位问题,进而对日志数据的挖掘,提高数据的决策能力,将业务推向一个新的高度。
2388 0
CDN日志实时分析
CDN是互联网网站、应用上极其重要的基础设施,通过CDN可有效降低访问延时、提升体验有很大帮助,也有助于源站降低负载,容应对流量高峰,保证服务的稳定。CDN日志可实时导入日志服务,基于日志服务灵活、快捷的统计分析能力,用户对于CDN的数据分析将变得极其简单和方便。
4958 0
阿里云云存储和CDN
阿里云云存储和CDN自制脑图, 介绍了云存储简介,对象存储(OSS),表格存储(Table Store),文件存储(NAS),阿里云CDN。
0 0
+关注
EdgePlus
阿里云产品运营,专注边缘计算和视频云产品与技术传播
文章
问答
来源圈子
更多
+ 订阅
相关文档: 边缘节点服务 ENS
文章排行榜
最热
最新
相关电子书
更多
构建智能化的视频系统 阿里云CDN的进化
立即下载
CDN数据化实践
立即下载
白山直播CDN流传递链路优化实践
立即下载