开发者社区> 简志> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

日志服务(原SLS)新功能发布(4)-- 使用OSS进行日志存储与分析

简介: 对于大部分开发者而言,经常会面临这样一种场景:“我知道日志数据很宝贵,但今天没有明确需要,能否有一种成本很低的方案先把日志备份起来,不占用空间。有一天有明确需求时,能够快速、方便分析日志”。 日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投
+关注继续查看

对于大部分开发者而言,经常会面临这样一种场景:“我知道日志数据很宝贵,但今天没有明确需求,能否有一种成本很低的方案先把日志备份起来,不占用空间。有一天有明确需求时,能够快速、方便分析日志”。

日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投递到OSS、ODPS等存储类服务,配合EMR(Spark、Hive)等离线计算,以最小成本支撑这类需求。

screenshot

整体方案

LogShipper是LogHub后续消费者,用以将实时流数据,转化为离线块数据。目前支持OSS、ODPS两种存储。即将会支持OTS(表格存储)、OAS(归档服务)等更多存储服务。

screenshot

该方案在日志服务中位置:

  • 日志枢纽(LogHub):通过Agent/API实时收集、订阅、消费数据
  • 日志投递(LogShipper):将日志定时归档至存储/计算类服务(ODPS/OSS)
  • 日志查询(LogSearch):提供基于时间、关键词查询用以定位及分析问题

screenshot

方案优势:

  • 易用:0运维、管理,1分钟完成
  • 0维护:自动重试、稳定、可靠
  • 弹性:扩展,最大支持百TB/天级数据量
  • 成本低:通过压缩+OSS对数据进行最低成本存储,按需通过EMR/ODPS进行最低成本计算

数据产生到通过LogShipper投递时间:

  • OSS:5 分钟
  • ODPS:15-30 分钟,取决于调度任务时间

整个数据生命周期看,比较适合准实时、T+1、以及长时间归档的场景。对于实时性更高的要求,可以通过LogHub接口进行Pull模式流式消费(<3秒),可以参考 stormspark streaming

screenshot

什么样的场景适合?

  • 对日志暂无明确处理需求,但需要长时间存储。OSS是目前单价最便宜的存储服务,并且价格在持续优化
  • 通过开源软件EMR (Spark,MapReduce)、或ODPS处理OSS日志的用户
  • 分析类计算场景不多,主要目标是存储的用户

场景1:日志审计

小A维护了一个论坛,需要对论坛所有访问日志进行审计和离线分析

  • 社会部门需要小A配合记录最近180天内用户访问情况,在有需求时,提供某个时间段的访问日志
  • 运营同学在每个季度需要对日志出一份访问报表

小A使用日志服务(LOG)收集服务器上日志数据,并且打开了日志投递(LogShipper)功能,日志服务就会自动完成日志收集、投递、以及压缩。有审查需要时,可以将该时间段日志授权给第三方。需要离线分析时,利用EMR跑一个30分钟离线任务,用最少的成本办了两件事情。

场景2:日志分析

小B是一个开源软件爱好者,喜欢利用Spark进行数据分析,他的需求如下:

  • 移动端通过API收集日志
  • 通过Spark Streaming对日志进行实时分析,统计线上用户访问
  • 通过Hive进行T+1离线分析
  • 将日志数据开放给下游代理商,进行其他维度分析

通过今天LOG+OSS+EMR+RAM组合,可轻松应对这类需求

screenshot

如何使用

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
兴业证券:高效VPN日志分析保障疫情防控远程办公精细化管理
疫情常态化,防控更要精细化。 全行业大力推进数字化转型,也为远程办公的便利性与高效性夯实了基础。各行业积极响应,纷纷开启了远程办公模式,向员工大量开放VPN,一时间VPN使用流量及连接峰值屡创新高。VPN远程办公能够帮助员工实现远程登录办公内网,使用OA及邮箱服务器以及访问业务系统,然而不规范的员工登录与操作行为可能导致威胁从个人电脑入侵内网,进而影响到内网更多终端设备。响应疫情防控精细化政策的同时,远程办公安全保障方案更要精细化。
65 0
日志服务新版控制台使用指南
阿里云日志服务(Log Service)于八月上线新版控制台,相较于旧版的控制台,我们致力于提供更加清晰快捷的功能入口,方便用户快速接入数据和管理资源项
3104 0
海量游戏日志的存储与分析了却了谁的心事?
摘要:6月29日2016云栖大会成都峰会拉开帷幕,阿里云高级专家简志带来了“海量游戏日志的存储与分析”的重要演讲。从数据、云计算改变游戏行业,再谈到日志服务的整个过程,包括日志的作用、日志处理的挑战,以及日志通道的原理、模型,最后分析了日志服务的部分功能和典型应用场景。让我们一起先睹为快吧——
8001 0
日志服务(原SLS)新功能发布(5)--使用Logstash接入数据
日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考。 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能。
7366 0
使用windows服务和MSMQ和进行日志管理(解决高并发问题)
转载:http://www.cnblogs.com/lori/archive/2012/02/10/2345203.html
594 0
IDS日志分析
General Approach通用方法1. Identify which log sources and automated tools you can use during the analysis.确认哪些日志源和自动化工具在分析过程中可以使用。
1200 0
Wordpress的主题与插件的使用
下载主题(Theme) wordpress的主题是由一系列的模板文件组成,通常包括一个CSS样式文件,至少一个PHP代码,可能还有一些图片文件。 更换主题时,只需将下载的文件解压到wordpress安装目录下的wp-content/themes/目录内,即可在管理后台看到新上传的主题,会有一张缩略图,只需单击这张缩列图就可以激活这个主题 插件使用(Plugin) 同主题一样,插件也只需解压到安装目录的wp-content/plugins/下,即可在后台管理页面的插件管理中看到,然后激活就可以使用下载插件了。
761 0
+关注
简志
阿里云计算高级专家,擅长领域日志分析与处理。 微博: http://weibo.com/sandbeach 博客: https://aboutlog.wordpress.com/
57
文章
2
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载