Kafka 概述及安装|学习笔记

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 快速学习 Kafka 概述及安装

开发者学堂课程【SpringBoot 实战教程 Kafka 概述及安装】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/651/detail/10818


Kafka 概述及安装


内容介绍:

一、概述

二、安装

 

一、概述

1、Apache Kafka 是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。Kafka 适合离线和在线消息消费。Kafka 消息保留在磁盘上,并在群集内复制以防止数据丢失。Kafka 构建在 ZooKeeper 同步服务之上。它与 ApacheStorm 和 Spark 非常好地集成,用于实时流式数据分析。

2、以下是 Kafka 的

(1)可靠性-Kafka 是分布式,分区,复制和容错的。

(2)可扩展性-Kafka 消息传递系统轻松缩放,无需停机。

(3)耐用性-Kafka 使用分布式提交日志,这意味着消息会尽可能快地保留在磁盘上,因此它是持久的。

(4)性能-Kafka 对于发布和订阅消息都具有高吞吐量。即使存储了许多TB的消息,它也保持稳定的性能。Kafka 非常快,并保证零停机和零数据丢失。

3、所以在一些大型的分布式项目中一般都使用 Kafka 消息系统

 

二、安装

在 linux 中进行安装

1、首先下载 ZooKeeper 的压缩包以及 Kafka 的安装包放在 opt 下Apache Kafka 的都要准备好这两个只需要解压缩一下即可因为 Kafka 依赖于 ZooKeeper所以先启动 ZooKeeperZooKeeper 解压缩之后进入到 ZooKeeper 的文件夹再进到 bin这里有它的启动程序zkserver.sh输入

root@ubuntu: /opt/ zookeeper-3.4.6/bin# ./zkServer .sh start启动 zookeeper另外事先需要配置好 jdk输入

Using config: /opt/ zookeeper-3.4.6/bin . . /conf/zoo.cfg确保它是否启动成功显示 standalone就证明 zookeeper 已经启动成功了

2、启动解压缩之后的 Kafka使用2.12版本它的启动程序也在 bin 下kafka-server-start.sh 这是它的启动程序进行执行另外还需要指定属性文件它的属性文件在上一节路径下的 config 下的 server.peoperties 文件注意启动的时候要指明这个文件回车

3、如果出现以下这种情况说明 Kafka 启动成功

[2018-04-10 00:53:56,252] INFO Loading logs. (kafka. log. LogManager )

[2018-04-10 00:53:56,569] INFO [Log partition-test-0, dir=/ tmp/kafka-logs] Loadig producer state from offset 0 with message format version 2 (kafka. log. Log )

[2018-04-10 00:53:56,648] INFO [Logpar tition=test-0, dir=/ tmp/kafka-logs] Complted load of log with 1 segments, log start offset 0 and log end offset 0 in 268 ms (kafka. log.Log)

[2018-04-10 00:53:56,707] INFO [Log par tition=app_ log-0, dir=/tmp/kafka- logs] Loding producer state from offset 0 with message format version 2 (kafka. log. Log)

[2018-04-10 00:53:56,708] INFO [Logpar tition=app_ log-0, dir=/ tmp/kafka-logs] Copleted load of log with 1 segments, log start offset 0 and log end offset 0 in 3 ms (kafka. log.Log)

[2018-04-10 00:53:56,728] INFO [Log par tition=tests-o, dir=/tmp/kafka- logs] Loadng producer state from offset 0 with message format version 2 (kafka.log.Log)

[2018-04-10 00:53:56,748] INFO [Log par titiontests-0, dir=/tmp/kafka- logs] Completed load of log with 1 segments, log start offset 0 and logend offset 0 in 21 ms (kafka. log.Log)

[2018-04-10 00:53:56,771] INFO Logsloading complete in 518 ms. (kafka. log. LogMaager )

[2018-04-10 00:53:56,814] INFO Starting log cleanup with a period of 300000 ms.kafka. log . LogManager )

[2018-04-10 00:53:56,825] INFO starting log flusher with a default period of 922372036854775807 ms. (kafka. log. LogManager )

这就是 Kafka 如何进行配置

相关文章
|
6月前
|
消息中间件 监控 数据可视化
Linux安装Kafka图形化界面
Linux安装Kafka图形化界面
269 4
|
4月前
|
消息中间件 Ubuntu Java
在Ubuntu 18.04上安装Apache Kafka的方法
在Ubuntu 18.04上安装Apache Kafka的方法
206 0
|
2月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
33 1
|
1月前
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
|
3月前
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
5月前
|
消息中间件 Java Kafka
kafka Linux环境搭建安装及命令创建队列生产消费消息
kafka Linux环境搭建安装及命令创建队列生产消费消息
115 4
|
4月前
|
消息中间件 存储 Ubuntu
在Ubuntu 14.04上安装Apache Kafka的方法
在Ubuntu 14.04上安装Apache Kafka的方法
26 0
|
4月前
|
消息中间件 Java Kafka
Docker 安装 kafka
Docker 安装 kafka
99 0
|
4月前
|
消息中间件 Kafka Apache
部署安装kafka集群
部署安装kafka集群
|
6月前
|
消息中间件 存储 Ubuntu
Linux安装kafka3.5.1
Linux安装kafka3.5.1
143 2