开发者社区 > 云原生 > Serverless > 正文

如何使用 Serverless 对日志进行 ETL 处理?

如何使用 Serverless 对日志进行 ETL 处理?

展开
收起
小天使爱美 2020-03-27 16:57:01 1389 0
1 条回答
写回答
取消 提交回答
  • 概述 本实践通过模拟搭建电商网站 Demo,演示如何使用阿里云日志服务接入电商系统 Web 服务器的接入日志,并在函数计算中编写 ETL 托管程序,对日志服务中数据进行处理,然后通过日志服务的仪表盘进行可视化展示。ETL 托管程序通过日志服务触发器以秒级准实时的频率被调用。

    应用场景 数据加工场景:实时消费日志服务写入的日志

    数据投递场景:从数据源抽取(Extract)出所需的数据,经过数据加工(Transform),最终按照预先定义好的数据仓库模型,将数据加载(Load)到数据仓库中去。

    方案介绍 通过日志服务 + 函数计算 ETL,快速完成日志采集、加工、查询、分析和展示。

    etl

    日志服务+函数计算 ETL 的优势 一站式采集、存储、加工、分析和展示 全托管日志加工任务,按时间周期进行触发执行,自动重试 日志库资源按Shard水平扩展,满足大数据需求 基于函数计算提供数据加工、弹性资源、按需付费以及自定义代码逻辑 持续增加内置函数模板,降低主流需求下的函数开发代价 方案详情: 使用函数计算对日志服务中的数据进行 ETL 数据处理

    2020-03-27 17:15:24
    赞同 展开评论 打赏

快速交付实现商业价值。

相关产品

  • 函数计算
  • 热门讨论

    热门文章

    相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载