light-rain
light-rain_个人页
light-rain
文章
7
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Java
- Python
-
发表了文章 2019-10-15
使用Spark Streaming SQL进行PV/UV统计
PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。
-
发表了文章 2019-09-04
Kerberos使用OpenLDAP作为backend
本文介绍Kerberos对接OpenLDAP, 使用OpenLDAP作为principal数据库
-
发表了文章 2019-07-22
使用EMR-Kafka Connect进行数据迁移
流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移。
-
发表了文章 2019-07-05
使用Spark Streaming SQL基于时间窗口进行数据统计
流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。
-
发表了文章 2019-04-30
使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS
E-MapReduce从3.20.0版本开始对EMR-Flume新增了Log Service Source。借助Log Service的Logtail等工具，可以将需要同步的数据实时采集并上传到LogHub，再使用EMR-Flume将LogHub的数据同步至EMR集群的HDFS
-
发表了文章 2019-04-10
使用EMR-Flume同步Kafka数据到HDFS
Flume是一个分布式、可靠和高效的数据汇聚系统，其source、channel和sink的结构设计，不仅实现了数据生产者与消费者的解耦，还提供了数据缓冲的功能。一个比较通用的使用场景是使用Flume将Kafka的数据按照时间分区同步至HDFS，进行实时的流式分析或离线统计。
-
发表了文章 2019-04-10
使用EMR-Flume同步HDFS audit日志到HDFS
E-MapReduce从3.19.0版本开始对EMR-Flume提供集群管理的功能。通过集群管理功能，可以在Web页面方便的配置和管理Flume Agent。 本文将使用EMR-Flume实时同步HDFS audit日志至HDFS，便于对HDFS操作记录进行离线统计和实时分析。
暂无更多信息
-
发表了文章
2019-10-15
使用Spark Streaming SQL进行PV/UV统计
-
发表了文章
2019-09-04
Kerberos使用OpenLDAP作为backend
-
发表了文章
2019-07-22
使用EMR-Kafka Connect进行数据迁移
-
发表了文章
2019-07-05
使用Spark Streaming SQL基于时间窗口进行数据统计
-
发表了文章
2019-04-30
使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS
-
发表了文章
2019-04-10
使用EMR-Flume同步Kafka数据到HDFS
-
发表了文章
2019-04-10
使用EMR-Flume同步HDFS audit日志到HDFS
滑动查看更多
暂无更多信息
暂无更多信息