Kafka快速上手(2017.9官方翻译)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介:   为了帮助国人更好了解、上手kafka,特意翻译、修改了个文档。官方Wiki : http://kafka.apache.org/quickstart   快速开始 本教程假定您正在开始新鲜,并且没有现有的Kafka或ZooKeeper数据。

  为了帮助国人更好了解、上手kafka,特意翻译、修改了个文档。官方Wiki : http://kafka.apache.org/quickstart

 

快速开始

本教程假定您正在开始新鲜,并且没有现有的Kafka或ZooKeeper数据。由于Kafka控制台脚本在基于Unix和Windows平台上不同,因此在Windows平台上使用bin\windows\而不是bin/更改脚本扩展名.bat

步骤1:下载代码

下载  0.11.0.1版本和un-tar。
1
2
> tar -xzf kafka_2.11-0.11.0.1.tgz
> cd kafka_2.11-0.11.0.1

步骤2:启动服务器

Kafka使用ZooKeeper,所以你需要先启动一个ZooKeeper服务器,如果你还没有。您可以使用随kafka一起打包的便捷脚本来获取一个快速和脏的单节点ZooKeeper实例。

1
2
3
> bin /zookeeper-server-start .sh config /zookeeper .properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config /zookeeper .properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...

现在启动Kafka服务器:

1
2
3
4
> bin /kafka-server-start .sh config /server .properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...

步骤3:创建主题

我们用单个分区创建一个名为“test”的主题,只有一个副本:

1
> bin /kafka-topics .sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

如果我们运行list topic命令,我们现在可以看到该主题:

1
2
> bin /kafka-topics .sh --list --zookeeper localhost:2181
test

或者,代替手动创建主题,您也可以将经纪人配置为在不存在的主题发布时自动创建主题。

步骤4:发送一些消息

Kafka附带一个命令行客户端,它将从文件或标准输入中输入,并将其作为消息发送到Kafka集群。默认情况下,每行将作为单独的消息发送。

运行生产者,然后在控制台中输入一些消息以发送到服务器。

1
2
3
> bin /kafka-console-producer .sh --broker-list localhost:9092 --topic test
This is a message
This is another message

步骤5:启动消费者

卡夫卡还有一个命令行消费者将把消息转储到标准输出。

1
2
3
> bin /kafka-console-consumer .sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

如果您将上述每个命令都运行在不同的终端中,那么您现在应该可以在生产者终端中输入消息,并看到它们出现在消费者终端中。

所有命令行工具都有其他选项; 运行没有参数的命令将显示更详细的记录它们的使用信息。

步骤6:设置多代理群集

到目前为止,我们一直在运行一个单一的经纪人,但这没有乐趣。对于Kafka,单个代理只是一个大小为1的集群,所以没有什么改变,除了启动更多的代理实例。但是为了让它感觉到,让我们将集群扩展到三个节点(仍然在本地机器上)。

首先我们为每个经纪人设置一个配置文件(在Windows上使用copy命令):

1
2
> cp config /server .properties config /server-1 .properties
> cp config /server .properties config /server-2 .properties

现在编辑这些新文件并设置以下属性:

1
2
3
4
6
7
8
9
config/server-1.properties:
     broker.id=1
     listeners=PLAINTEXT://:9093
     log.dir=/tmp/kafka-logs-1
 
config/server-2.properties:
     broker.id=2
     listeners=PLAINTEXT://:9094
     log.dir=/tmp/kafka-logs-2

broker.id属性是集群中每个节点的唯一和永久名称。我们必须覆盖端口和日志目录,只因为我们在同一台机器上运行这些目录,我们希望让经纪人不要在同一个端口上注册或覆盖对方的数据。

我们已经有Zookeeper,我们的单节点启动,所以我们只需要启动两个新节点:

1
2
3
4
> bin /kafka-server-start .sh config /server-1 .properties &
...
> bin /kafka-server-start .sh config /server-2 .properties &
...

现在创建一个复制因子为三的新主题:

1
> bin /kafka-topics .sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

好的,现在我们有一个集群,我们怎么知道哪个经纪人在做什么呢?要看到运行“describe topics”命令:

1
2
3
> bin /kafka-topics .sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
     Topic: my-replicated-topic  Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 1,2,0

以下是输出的说明。第一行给出了所有分区的摘要,每个附加行提供有关一个分区的信息。因为这个主题只有一个分区,只有一行。

  • “leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的引导者。
  • “replicas”是复制此分区的日志的节点列表,无论它们是领先者还是现在都是活着的。
  • “isr”是一组“同步”副本。这是副本列表的子集,它目前是生存和追赶领导者的。

请注意,在我的示例中,节点1是主题唯一分区的领导者。

我们可以在我们创建的原始主题上运行相同的命令来查看它的位置:

1
2
3
> bin /kafka-topics .sh --describe --zookeeper localhost:2181 --topic test
Topic: test  PartitionCount:1    ReplicationFactor:1 Configs:
     Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0

所以没有什么惊喜,原来的主题没有复制品,而是在服务器0,我们创建它的集群中唯一的服务器。

让我们发布一些消息到我们的新主题:

1
2
3
4
> bin /kafka-console-producer .sh --broker-list localhost:9092 --topic my-replicated-topic
...
my test message 1
my test message 2
^C

现在我们来看看这些消息:

1
2
3
4
> bin /kafka-console-consumer .sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2
^C

现在我们来测试容错。经纪人1作为领导者,所以让我们杀了它:

1
2
3
> ps aux | grep server-1.properties
7564 ttys002    0:15.91 /System/Library/Frameworks/JavaVM .framework /Versions/1 .8 /Home/bin/java ...
> kill -9 7564
在Windows上使用:
1
2
3
> wmic process get processid,caption,commandline | find "java.exe" | find "server-1.properties"
java.exe    java  -Xmx1G -Xms1G -server -XX:+UseG1GC ... build\libs\kafka_2.11-0.11.0.1.jar"  kafka.Kafka config\server-1.properties    644
> taskkill /pid 644 /f

领导已经切换到其中一个从站,节点1不再处于同步副本集中:

1
2
3
> bin /kafka-topics .sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
     Topic: my-replicated-topic  Partition: 0    Leader: 2   Replicas: 1,2,0 Isr: 2,0

不过消息仍然可以用于消费,即使最初采取写作的领导者也是如此:

1
2
3
4
> bin /kafka-console-consumer .sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2
^C

步骤7:使用Kafka Connect导入/导出数据

从控制台编写数据并将其写回控制台是一个方便的开始的地方,但您可能希望使用其他来源的数据或将数据从卡夫卡导出到其他系统。对于许多系统,不用编写自定义集成代码,您可以使用Kafka Connect导入或导出数据。

Kafka Connect是Kafka的一个工具,用于将数据导入和输出到Kafka。它是一个可扩展的工具,运行 连接器,实现与外部系统交互的自定义​​逻辑。在这个快速启动中,我们将看到如何使用从文件导入数据到Kafka主题并将数据从Kafka主题导出到文件的简单连接器运行Kafka Connect。

首先,我们将首先创建一些种子数据进行测试:

1
> echo -e "foo\nbar" > test .txt

接下来,我们将启动以独立模式运行的两个连接器,这意味着它们在单个本地专用进程中运行。我们提供三个配置文件作为参数。第一个是Kafka Connect进程的配置,包含常见配置,如连接的Kafka代理和数据的序列化格式。其余的配置文件都指定要创建的连接器。这些文件包括唯一的连接器名称,要实例化的连接器类以及连接器所需的任何其他配置。

1
> bin /connect-standalone .sh config /connect-standalone .properties config /connect-file-source .properties config /connect-file-sink .properties

Kafka附带的这些示例配置文件使用您之前启动的默认本地集群配置,并创建两个连接器:第一个是源连接器,用于从输入文件读取行,并生成每个到Kafka主题,第二个是接收器连接器它从Kafka主题读取消息,并将其作为输出文件中的一行生成。

在启动期间,您将看到一些日志消息,其中包括一些表示连接器正在实例化的消息。一旦Kafka Connect进程开始,源连接器应该开始读取线路test.txt并将其生成到主题connect-test,并且接头连接器应该开始从主题读取消息connect-test 并将其写入文件test.sink.txt我们可以通过检查输出文件的内容来验证数据是否通过整个流水线传递:

1
2
3
> cat test .sink.txt
foo
bar

请注意,数据存储在Kafka主题中connect-test,因此我们还可以运行控制台消费者来查看主题中的数据(或使用自定义消费者代码来处理它):

1
2
3
4
> bin /kafka-console-consumer .sh --bootstrap-server localhost:9092 --topic connect- test --from-beginning
{ "schema" :{ "type" : "string" , "optional" : false }, "payload" : "foo" }
{ "schema" :{ "type" : "string" , "optional" : false }, "payload" : "bar" }
...

连接器继续处理数据,因此我们可以将数据添加到文件中,并通过管道移动:

1
> echo "Another line" >> test .txt

您应该看到该行显示在控制台消费者输出和接收器文件中。

步骤8:使用Kafka Streams处理数据

Kafka Streams是用于构建关键任务实时应用程序和微服务的客户端库,其中输入和/或输出数据存储在Kafka群集中。Kafka Streams将客户端的编写简单性和部署标准Java和Scala应用程序与Kafka服务器端集群技术的优势相结合,使这些应用程序具有高度可扩展性,可扩展性,容错性,分布式等特点。快速入门示例将演示如何运行在此库中编码的流应用程序。

谋胆并重
目录
相关文章
|
6月前
|
消息中间件 Kafka Apache
Flink 提供了与 Kafka 集成的官方 Connector,使得 Flink 能够消费 Kafka 数据
【2月更文挑战第6天】Flink 提供了与 Kafka 集成的官方 Connector,使得 Flink 能够消费 Kafka 数据
202 2
|
6月前
|
消息中间件 Java Kafka
MQ产品使用合集之对于Kafka作为数据源的情况,官方比较推荐哪种使用方式
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
1月前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
|
1月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
47 1
|
3月前
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
271 9
|
3月前
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
67 3
|
3月前
|
vr&ar 图形学 开发者
步入未来科技前沿:全方位解读Unity在VR/AR开发中的应用技巧,带你轻松打造震撼人心的沉浸式虚拟现实与增强现实体验——附详细示例代码与实战指南
【8月更文挑战第31天】虚拟现实(VR)和增强现实(AR)技术正深刻改变生活,从教育、娱乐到医疗、工业,应用广泛。Unity作为强大的游戏开发引擎,适用于构建高质量的VR/AR应用,支持Oculus Rift、HTC Vive、Microsoft HoloLens、ARKit和ARCore等平台。本文将介绍如何使用Unity创建沉浸式虚拟体验,包括设置项目、添加相机、处理用户输入等,并通过具体示例代码展示实现过程。无论是完全沉浸式的VR体验,还是将数字内容叠加到现实世界的AR应用,Unity均提供了所需的一切工具。
135 0
|
3月前
|
消息中间件 存储 关系型数据库
实时计算 Flink版产品使用问题之如何使用Kafka Connector将数据写入到Kafka
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
消息中间件 监控 Kafka
实时计算 Flink版产品使用问题之处理Kafka数据顺序时,怎么确保事件的顺序性
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
消息中间件 缓存 Kafka
【Azure 事件中心】使用Kafka消费Azure EventHub中数据,遇见消费慢的情况可以如何来调节呢?
【Azure 事件中心】使用Kafka消费Azure EventHub中数据,遇见消费慢的情况可以如何来调节呢?