Kafka项目实战-用户日志上报实时统计之应用概述

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

1.概述

  本课程的视频教程地址:《Kafka实战项目之应用概述

  本课程是通过一个用户实时上报日志来展开的,通过介绍 Kafka 的业务和应用场景,并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时,如下图所示:

  接下来,我们开始第一课时的学习:《Kafka 回顾》。

2.内容

2.1 Kafka 回顾

  本课时简述 Kafka 平台部署的注意事项,以及 Kafka 在企业中的业务场景和应用场景。让大家了解 Kafka 在企业中的使用。

  本课时主要包含以下知识点,如下图所示:

  首先,我们来看看Kafka的业务场景,其内容包含以下知识点,如下图所示: 

  • 第一:解除耦合

  在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。

  • 第二:增加冗余

  有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了 数据丢失风险。许多消息队列所采用的put-get-delete范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完 毕,从而确保你的数据被安全的保存直到你使用完毕。

  • 第三:提高可扩展性

  因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。

  • 第四:Buffering

  在任何重要的系统中,都会有需要不同的处理时间的元素。例如,加载一张图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行———写入队列的处理会尽可能的快速。该缓冲有助于控制和优化数据流经过系统的速度。

  • 第五:异步通信

  很多时候,用户不想也不需要立即处理消息。消息队列提供了异步处理机制,允许用户把一个消息放入队列,但并不立即处理它。想向队列中放入多少消息就放多少,然后在需要的时候再去处理它们。

  以上就是Kafka的业务场景介绍,下面我给大家介绍Kafka的应用场景。

  应用场景的主要内容如下图所示:

  • 首先是:Push Message

  Kafka可以应用与消息系统,比如:当下较为热门的消息推送,这些消息推送系统的消息源,可以使用Kafka作为系统的核心中间件来完成消息的生产和消息的消费。

  • 然后是:Website Tracking

  我们可以将企业的Portal,用户的操作记录等信息发送到Kafka中,按照实际业务需求,可以进行实时监控,或者离线处理等。

  • 最后一个是:日志收集中心

  类似于Flume套件这样的日志收集系统,但Kafka的设计架构采用push/pull.适合异构集群,Kafka可以批量提交消息,对 Producer来说,在性能方面基本上是无消耗的,而在Consumer端中,我们可以使用Hadoop,Storm等其他系统化的存储和分析系统。

  我们在掌握了Kafka的业务和应用场景后,下面我们来看看实时统计平台搭建需要注意的事项:如下图所示,这是Kafka集群的搭建的架构图。 分别由三个kafka节点组成一哥高可用的集群,由ZooKeeper集群连接,提供一个快速,高可用,容错,分布式的协调服务。

  平台注意事项包含以下知识点:

  • Kafka的HA特性
  • 平台核心文件的配置
  • 集群启动步骤
  • 集群演示

  关于详细过程以及演示步骤大家可以观看视频,这里我就不多做赘述了。《观看地址

2.2 项目简要

  本课时讲解如何规划一个项目的整体流程,以及如何获取一个项目所需要的数据来源和如何去消费这些数据。

让大家从中掌握项目的开发流程,为后续的项目分析与设计阶段做好准备。

  其主要知识点包含以下内容,如下图所示:

  接下来,我们从项目的整体流程入手去简述,如下图所示:

  这是一个项目的整体流程,本项目是以一个用户日志上报系统为案例,从流程可以看出,我们将该项目的流程分为四个模块:数据收集,数据接入,实时流式计算,数据输出。

  使用这套方案的优点有以下:

  • 业务模块化
  • 功能组件化

  我们认为,Kafka在整个环节中充当的职责应该单一,这项目的整个环节她就是一个中间件。整个项目流程如上图所示,这样划分使得各个业务模块化,功能更加的清晰明了。

  • 首先是数据收集模块:我们采用的是Apache的Flume NG来实现的,主要负责从各个节点上实时收集用户上报的日志数据。
  • 接着是数据接入模块:由于收集的数据的速度和数据处理的速度不一定是一致的,因此,这里我们添加一个中间件来做处理,所使用的是Apache的Kafka,另外,这里有一部分数据是流向HDFS分布式文件系统的,方便于为离线统计业务提供数据源。
  • 然后接下来是实时流式:我们在收集到数据后,我们需要对这些数据做实时处理,所选用的是Apache的Storm。关于Storm集群的安装比较简单,具体安装细节,大家可以去观看视频,《观看地址》。
  • 在我们完成流式计算模块后,最后是数据输出模块:在使用Storm对数据做处理后,我们需要将处理的结果做持久化,由于对响应速度要求较高,这里采用Redis和MySQL来做持久化。

  这就算整个流程的架构图。在介绍完整个架构的流程图,接下来,我们来看看数据源生产介绍,如下图所示:

  从图中,我们可以看出由Flume NG组建的日志收集集群,将日志集中收集起来,然后通过Flume的Sink组件将数据发送到指定的Kafka中间件中,这样在Kafka的 Producer端,就有了数据源。从Flume到Kafka,通过Sink来完成数据源的生产阶段。

  在完成了数据源的生产后,下面我们来看看如何去消费这些数据。关于数据源的消费,我们来看看下面这张图:

  从上图中,我们可以看出数据源存在Kafka中,通过KafkaSpout将数据输送到Storm,然后Storm将Kafka中的数据进行消费处理,通过Storm的计算模块,按照业务需求将数据做对应的处理,完成数据的消费,最后将统计的结果持久化到DB库当中。

  关于更加详细的内容,大家可以去观看视频教程,《观看地址》。

2.3 Kafka 工程准备

  本课时讲解创建一个本项目的工程,以及编写本项目需要准备的基础环境,包含 Kafka 的监控系统,Storm 群的准备。为完成编码实践奠定良好的基础。

  其主要知识点包含以下内容,如下所示:

 

  下面,我们来看看,基础环境需要准备有哪些内容。内容如下所示:

  • 概述。
  • 基础软件介绍。
  • 使用技巧。
  • 预览及演示。

  在Kafka项目时,在消费端使用Storm来做计算处理,因而,我们使用的开发语言是Java,编写Java的相关代码都是在IDE中来完成 的,IDE为开发者编码提供了方便。课程中所使用的IDE是JBoss Studio 8,这是RedHat公司开发的一款IDE,其本质是Eclipse,只是该IDE集成的插件比较丰富,大家若是需要可以到它的官网去下载。另外,在开发 过程当中,我们还需要一个比较重要的插件 —— Kafka的监控工具。这个工具可以给我们观察Kafka数据生产和消费提供方便,另外一个就Storm的UI管理界面,我们可以通过Storm UI来观察Storm作业的运行情况。

  在熟悉基础软件和插件的使用后,我们来创建Kafka工程,在创建Kafka工程时需要注意以下几点:

  • 相关基础环境的准备,如:Java的基础开发包JDK,这个需要准备好,不然,我们无法编译执行相关Java代码

另外,准备好Maven环境,方便打包我们的工程。

  • 在我们已有的基础环境下,我们来创建相关Kafka工程。下面为大家演示具体的操作流程。

  关于演示详细过程,大家可以去观看视频,这里我就不多做赘述了。《观看地址》。

3.总结

  本课程我们回顾了 Kafka的相关内容,简述了项目的基本流出以及基础软件的使用等知识,我们应该掌握以下知识点,如下图所示:

4.结束语

  这就是本课程的主要内容,主要就对 Kafka 项目做前期准备,对后续学习 Kafka 项目实战内容奠定良好的基础。

  如果本教程能帮助到您,希望您能点击进去观看一下,谢谢您的支持!

目录
相关文章
|
5月前
|
消息中间件 存储 Kafka
Kafka日志处理:深入了解偏移量查找与切分文件
**摘要:** 本文介绍了如何在Kafka中查找偏移量为23的消息,涉及ConcurrentSkipListMap的查询、索引文件的二分查找及日志分段的物理位置搜索。还探讨了Kafka日志分段的切分策略,包括大小、时间、索引大小和偏移量达到特定阈值时的切分条件。理解这些对于优化Kafka的性能和管理日志至关重要。
196 2
|
2月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
41 4
|
2月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
44 3
|
2月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
44 1
|
2月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
30 1
|
3月前
|
消息中间件 Kafka API
python之kafka日志
python之kafka日志
32 3
|
3月前
|
消息中间件 存储 监控
Kafka的logs目录下的文件都是什么日志?
Kafka的logs目录下的文件都是什么日志?
165 11
|
4月前
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
225 3
|
4月前
|
消息中间件 Java Kafka
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)
|
5月前
|
消息中间件 NoSQL Kafka
基于Kafka的nginx日志收集分析与监控平台(3)
基于Kafka的nginx日志收集分析与监控平台(3)