Kafka项目实战-用户日志上报实时统计之编码实践

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

1.概述

  本课程的视频教程地址:《Kafka实战项目之编码实践

   该课程我以用户实时上报日志案例为基础,带着大家去完成各个KPI的编码工作,实现生产模块、消费模块, 数据持久化,以及应用调度等工作, 通过对这一系列流程的演示,让大家能够去掌握Kafka项目的相关编码以及调度流程。下面,我们首先来预览本课程所包含的课时,他们分别有:

  接下来,我们开始第一课时的学习:《数据生产实现

2.内容

2.1 数据生产实现

  本课时主要给大家演示Kafka数据生产的代码实现,在前面搭建好的集群环境下,完成Kafka的数据生产功能,以及一些注意事项,为我们编写
消费代码做好准备,让大家掌握Kafka的数据生产的代码实现。

  实践本课时的内容,我们需要设计到两个知识点,他们分别是:

  接着,我们先从一个知识点来开始实践,实践数据生产模块所包含的内容,有以下几点:

  首先第一点是:对项目工程的文件进行配置(pom) 然后是对集群的链接信息进行配置(这里为什么要将这些链接信息配置在配置文件当中,原因是,这些链接信息单独剥离到一个配置文件,便于我们后期维护, 比如:后期添加新的节点信息,或是移除一个已损坏的节点信息,我们可以轻松,快速的在配置文件中修改节点信息即可,无需在去操作我们的业务代码。)具体演 示细节请大家参考视频操作。

  在演示完数据生成模块相关内容后,下面,我带着大家去实践Flume到Kafka模块的相关内容,如下所示:

  以上就是本课时的相关内容演示,其中包含了相关信息的配置,数据的收集过程演示等。

2.2 数据消费实现

  本课时给大家演示 Kafka 数据消费的代码实现,在前面我们创建的 Kafka 的项目工程的基础上,完成消费代码的编写, 以及编写 Storm 代码消费 Kafka 数据的需要注意的细节,通过本课时让大家能够掌握数据消费的代码实现。

  那么,接下来我给大家列出本课时所涉及的核心知识点,如下所示:

  下面,我们开始第一个核心知识点的实践,实践的所包含的内容如下所示:

  1. Storm集群的信息配置:这部分内容包含集群的依赖链接信息。
  2. 依赖文件的选取:这里我们这编写Java代码实现相关功能时,需要选取依赖的JAR包来辅助我们完成编码工作。

  接下来我带这大家看看,如何编码实现这一部分内容,即:实现Kafka到Storm模块的 内容实现,该部分涉及的内容如下所示:

  具体的演示细节,大家可以参考视频操作,观看地址:《数据消费实现

2.3 数据持久化

  内容涉及给大家,介绍如何将消费后的数据(即我们统计的kpi结果)持久化,在前面数据消费实现的基础上,通过流式计算将统计的结果持久化到 Redis 集群或是 DB 中,让大家掌握数据持久化的代码实现。

  那么,接下来,我们去看看本课时所涉及的核心知识点,如下所示:

  下面,我们开始第一个知识点的实践,实现基础层代码模块所包含的内容,如下所示:

  1. 实现思路:先实现这部分功能之前,我们要清楚它的一个实现思路,如右图所示: 这里,我们在Storm的计算模块中,将相应的KPI统计之后,做对应的持久化,这里我们可以选择 持久化到我们所选择的DB库当中,图中我们持久化到Redis和MySQL当中,那么接下来,我们按照这个思路 去实现。
  2. 在实现之前,首先我们需要准备好DAO层的代码,这层代码的作用是与DB交互。
  3. 接下来,我去给大家演示这一部分内容。

  下面,我们去实现Storm统计结果存储到DB的相关内容,还模块包含如下所示的内容:

 

  1. 实现思路:同样,在实现这一部分功能时,我们也要清楚,在什么地方去持久化我们统计的结果。如右图所示: 我们在Bolt当中,当我们的KPI指标统计完成后,就可以调用相应的存储代码去持久化这部分统计结果。
  2. 在清楚了思路之后,我们去实现这一部分的入库流程。
  3. 下面我去给大家演示这一部分内容。

  具体演示细节,大家可以参考视频操作,观看地址:《数据持久化

2.4 应用调度

  该部分内容将给大家介绍将开发好的应用打包部署到服务器,通过提交 Topology 到 Storm 集群, 完成 Storm 消费的程序的部署,让大家掌握项目的打包部署以及调度流程。下面,我们去看看实践本课时的内容,所涉及那些核心知识点,如下所示:

  接下来,我们开始对第一个知识点的实践。关于打包所包含的内容,如下所示:

  1. 首先是打包的方式流程,如下图所示:
  2. 使用Maven打包,本项目工程所采取的是Maven结构,这里我们使用Maven命令打包对应的工程。
  3. 下面,我去给大家演示这一部分内容

  下面我们去实践如何将我们打包好的应用部署到Storm集群,去跑相应的任务。 实现该模块所包含的内容,如下所示:

  1. 实现思路。如下图所示:这里我们要清楚它的各个阶段的职责,我们在开发阶段,为了开发的便利以及调试的方便, 我们可以使用本地提交,就像前面,我们给大家演示的,直接在IDE当中,提交相应的Topology即可。而早生产环境下, 我们需要依赖集群,利用分布式的思想去跑我们的任务,所以,我们需要使用集群提交,这里在提交任务时,确保Storm 集群是运行正常的。
  2. 那么接着的内容就是去实现相应的提交流程。
  3. 下面,我去给大家演示这一部分内容。

  具体演示细节,大家可以参考视频操作,观看地址:《应用调度

3.总结

  本课程我们对项目的指标进行了编码实践,并指导大家去编码实现了相应的模块功能,以及帮助大家去提交我们开发的应用等知识,应该掌握一下知识:

4.结束语

  我们在有了这些知识作为基础会使得我们在今后的工作当中,开发类似实时统计项目变得游刃有余,更加的得心应手。

  如果本教程能帮助到您,希望您能点击进去观看一下,谢谢您的支持!

目录
相关文章
|
消息中间件 分布式计算 Kafka
195 Spark Streaming整合Kafka完成网站点击流实时统计
195 Spark Streaming整合Kafka完成网站点击流实时统计
84 0
|
消息中间件 SQL JSON
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
最近在做实时采集Kafka发布的内容到MySQL,本文记录一下关键的点,细节不再描述,希望能帮助到大家。
1028 0
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
|
消息中间件 数据可视化 关系型数据库
(3)sparkstreaming从kafka接入实时数据流最终实现数据可视化展示
1)我们通过kafka与各个业务系统的数据对接,将各系统中的数据实时接到kafka; 2)通过sparkstreaming接入kafka数据流,定义时间窗口和计算窗口大小,业务计算逻辑处理; 3)将结果数据写入到mysql; 4)通过可视化平台接入mysql数据库,这里使用的是NBI大数据可视化构建平台; 5)在平台上通过拖拽式构建各种数据应用,数据展示;
(3)sparkstreaming从kafka接入实时数据流最终实现数据可视化展示
|
2月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
44 3
|
消息中间件 存储 Kafka
Apache Doris接入Kafka实时流数据
一.简述 Apache Doris是由百度的Palo项目开源而来,整体架构分为两层:多个 FE 组成第一层,提供 FE 的横向扩展和高可用;多个 BE 组成第二层,负责数据存储于管理。 FE 节点分为 follower 和 observer 两类。
6833 0
|
消息中间件 分布式计算 监控
Flume+Kafka+Spark Streaming+MySQL实时日志分析
网络发展迅速的时代,越来越多人通过网络获取跟多的信息或通过网络作一番自己的事业,当投身于搭建属于自己的网站、APP或小程序时会发现,经过一段时间经营和维护发现浏览量和用户数量的增长速度始终没有提升。在对其进行设计改造时无从下手,当在不了解用户的浏览喜欢和个用户群体的喜好。虽然服务器日志中明确的记载了用户访浏览的喜好但是通过普通方式很难从大量的日志中及时有效的筛选出优质信息。Spark Streaming是一个实时的流计算框架,该技术可以对数据进行实时快速的分析,通过与Flume、Kafka的结合能够做到近乎零延迟的数据统计分析。
316 0
Flume+Kafka+Spark Streaming+MySQL实时日志分析
|
消息中间件 数据可视化 网络协议
Kafka中数据通过SpringBoot-WebSocket进行实时数据可视化
Kafka中数据通过SpringBoot-WebSocket进行实时数据可视化
918 0
Kafka中数据通过SpringBoot-WebSocket进行实时数据可视化
|
运维 分布式计算 搜索推荐
Kafka+Flink 实现准实时异常检测系统
异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的行业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防场景做入侵检测等等。 根据业务要求的不同,流计算在其中扮演着不同的角色:既可以做在线的欺诈检测,也可以做决策后近实时的结果分析、全局预警与规则调整等。
4084 0
|
消息中间件 分布式计算 Ubuntu
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
799 0
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
|
消息中间件 存储 JSON
Flink on yarn 实时日志收集到 kafka 打造日志检索系统
背景 在 Flink on yarn 的模式下,程序运行的日志会分散的存储在不同的 DN 上,当 Flink 任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过 Flink UI 上面的 logs 来查看日志,或者登录到对应的服务器上去查看,但是在任务日志量非常大的情况下,生成的日志文件就非常多,这对于我们排查问题来说,就造成了很大的不便,所以,我们需要有一种统一的日志收集,检索,展示的方案来帮忙我们快速的分析日志,定位问题.