light-rain_个人页

2019年10月

• 10.15 18:10:38
  发表了文章 2019-10-15 18:10:38

  使用Spark Streaming SQL进行PV/UV统计

  PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。

2019年09月

• 09.04 20:19:34
  发表了文章 2019-09-04 20:19:34

  Kerberos使用OpenLDAP作为backend

  本文介绍Kerberos对接OpenLDAP, 使用OpenLDAP作为principal数据库

  

2019年07月

• 07.22 11:07:35
  发表了文章 2019-07-22 11:07:35

  使用EMR-Kafka Connect进行数据迁移

  流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移。
• 07.05 12:25:17
  发表了文章 2019-07-05 12:25:17

  使用Spark Streaming SQL基于时间窗口进行数据统计

  流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。