日志服务(原SLS)新功能发布(4)-- 使用OSS进行日志存储与分析

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 对于大部分开发者而言,经常会面临这样一种场景:“我知道日志数据很宝贵,但今天没有明确需要,能否有一种成本很低的方案先把日志备份起来,不占用空间。有一天有明确需求时,能够快速、方便分析日志”。 日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投

对于大部分开发者而言,经常会面临这样一种场景:“我知道日志数据很宝贵,但今天没有明确需求,能否有一种成本很低的方案先把日志备份起来,不占用空间。有一天有明确需求时,能够快速、方便分析日志”。

日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投递到OSS、ODPS等存储类服务,配合EMR(Spark、Hive)等离线计算,以最小成本支撑这类需求。

screenshot

整体方案

LogShipper是LogHub后续消费者,用以将实时流数据,转化为离线块数据。目前支持OSS、ODPS两种存储。即将会支持OTS(表格存储)、OAS(归档服务)等更多存储服务。

screenshot

该方案在日志服务中位置:

  • 日志枢纽(LogHub):通过Agent/API实时收集、订阅、消费数据
  • 日志投递(LogShipper):将日志定时归档至存储/计算类服务(ODPS/OSS)
  • 日志查询(LogSearch):提供基于时间、关键词查询用以定位及分析问题

screenshot

方案优势:

  • 易用:0运维、管理,1分钟完成
  • 0维护:自动重试、稳定、可靠
  • 弹性:扩展,最大支持百TB/天级数据量
  • 成本低:通过压缩+OSS对数据进行最低成本存储,按需通过EMR/ODPS进行最低成本计算

数据产生到通过LogShipper投递时间:

  • OSS:5 分钟
  • ODPS:15-30 分钟,取决于调度任务时间

整个数据生命周期看,比较适合准实时、T+1、以及长时间归档的场景。对于实时性更高的要求,可以通过LogHub接口进行Pull模式流式消费(<3秒),可以参考 stormspark streaming

screenshot

什么样的场景适合?

  • 对日志暂无明确处理需求,但需要长时间存储。OSS是目前单价最便宜的存储服务,并且价格在持续优化
  • 通过开源软件EMR (Spark,MapReduce)、或ODPS处理OSS日志的用户
  • 分析类计算场景不多,主要目标是存储的用户

场景1:日志审计

小A维护了一个论坛,需要对论坛所有访问日志进行审计和离线分析

  • 社会部门需要小A配合记录最近180天内用户访问情况,在有需求时,提供某个时间段的访问日志
  • 运营同学在每个季度需要对日志出一份访问报表

小A使用日志服务(LOG)收集服务器上日志数据,并且打开了日志投递(LogShipper)功能,日志服务就会自动完成日志收集、投递、以及压缩。有审查需要时,可以将该时间段日志授权给第三方。需要离线分析时,利用EMR跑一个30分钟离线任务,用最少的成本办了两件事情。

场景2:日志分析

小B是一个开源软件爱好者,喜欢利用Spark进行数据分析,他的需求如下:

  • 移动端通过API收集日志
  • 通过Spark Streaming对日志进行实时分析,统计线上用户访问
  • 通过Hive进行T+1离线分析
  • 将日志数据开放给下游代理商,进行其他维度分析

通过今天LOG+OSS+EMR+RAM组合,可轻松应对这类需求

screenshot

如何使用

  • 阿里云官网:投递日志至OSS
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
5月前
|
存储 监控 文件存储
存储之外,还有什么?云计算对象存储服务OSS深度洞察
存储之外,还有什么?云计算对象存储服务OSS深度洞察
262 0
|
3月前
|
存储 Java 对象存储
springboot配置阿里云OSS存储实现文件上传下载功能
【1月更文挑战第1天】springboot配置阿里云OSS存储实现文件上传下载功能
508 2
|
22天前
|
存储 安全 数据安全/隐私保护
oss数据加密与存储
阿里云OSS提供多种数据加密(SSE-S3, SSE-KMS, SSE-C, CSE-KMS)与存储安全措施,包括服务器和客户端加密、数据在磁盘上加密存储、多重冗余备份、访问控制列表和HTTPS安全传输。KMS支持密钥管理,确保数据静态和传输时的安全。严格的访问策略和身份验证保护资源免受未授权访问,满足高安全性和合规性需求。
35 3
|
2月前
|
存储 监控 BI
OSS日志查询
实时日志查询功能将OSS与日志服务SLS相结合,允许您在OSS控制台直接查询OSS的访问日志
26 1
|
7月前
|
监控 安全 BI
使用日志服务SLS进行OSS可观测分析
本场景主要介绍如何使用SLS提供的CloudLens for OSS功能针对对象存储OSS进行可观测分析,包括资源用量、访问分析、安全分析、异常检测等角度。
361 0
|
3月前
|
存储 对象存储 Python
Python中使用阿里云OSS存储实现文件上传和下载功能
Python中使用阿里云OSS存储实现文件上传和下载功能
399 2
|
3月前
|
SQL 存储 分布式计算
Hologres实时湖仓能力增强,挑战5分钟加速分析OSS数据
5分钟快速使用Hologres实时湖仓能力,无需移动数据,直接加速读取存储于数据湖OSS上的Hudi、Delta、Paimon等格式类型的数据
|
4月前
|
存储 对象存储 数据安全/隐私保护
这个错误提示表明你没有权限列出OSS的存储桶
这个错误提示表明你没有权限列出OSS的存储桶
76 1
|
6月前
|
存储 运维 监控
OSS生命周期管理与访问行为分析实践
认证考试:OSS生命周期管理与访问行为分析实践
|
7月前
|
存储 弹性计算 开发工具
云存储Clouder认证:基于存储产品快速搭建网盘—课时7:基于对象存储OSS快速搭建网盘
云存储Clouder认证:基于存储产品快速搭建网盘—课时7:基于对象存储OSS快速搭建网盘
211 0