如何使用 Serverless 对日志进行 ETL 处理? -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

如何使用 Serverless 对日志进行 ETL 处理?

小天使爱美 2020-03-27 16:57:01 267

如何使用 Serverless 对日志进行 ETL 处理?

处理日志 etl处理 serverless处理 serverless日志 etl日志
分享到
取消 提交回答
全部回答(1)
  • 小天使爱美
    2020-03-27 17:15:24

    概述 本实践通过模拟搭建电商网站 Demo,演示如何使用阿里云日志服务接入电商系统 Web 服务器的接入日志,并在函数计算中编写 ETL 托管程序,对日志服务中数据进行处理,然后通过日志服务的仪表盘进行可视化展示。ETL 托管程序通过日志服务触发器以秒级准实时的频率被调用。

    应用场景 数据加工场景:实时消费日志服务写入的日志

    数据投递场景:从数据源抽取(Extract)出所需的数据,经过数据加工(Transform),最终按照预先定义好的数据仓库模型,将数据加载(Load)到数据仓库中去。

    方案介绍 通过日志服务 + 函数计算 ETL,快速完成日志采集、加工、查询、分析和展示。

    etl

    日志服务+函数计算 ETL 的优势 一站式采集、存储、加工、分析和展示 全托管日志加工任务,按时间周期进行触发执行,自动重试 日志库资源按Shard水平扩展,满足大数据需求 基于函数计算提供数据加工、弹性资源、按需付费以及自定义代码逻辑 持续增加内置函数模板,降低主流需求下的函数开发代价 方案详情: 使用函数计算对日志服务中的数据进行 ETL 数据处理

    0 0
云原生
使用钉钉扫一扫加入圈子
+ 订阅

云原生时代,是开发者最好的时代

相似问题
最新问题
推荐课程