CDH集成kafka

简介:

添加kafka(把包放到cm主机目录)

  1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/

   把包放到parcel-repo 目录

02e935e52036ca62211d2160f3f8e18183f975e7

2.下载csd包http://archive.cloudera.com/csds/kafka/

放到csd目录

450f121b4225f9671d47b2bfe3e0cb9beb2811de

3.分配kafka包并激活

7b345166b373d36db6c7f581e3299215c3f8999c

ce4cb135fa9e8bc2e17fdc7eaf897def8cbc4ce9

注意:如果进度卡在“已解压”,直接返回重新进来就会看到“激活”

4添加kafka角色

d3e81af0c78fa5553c4c1f3a28d9cc9c59b77dcb

可根据需求填写各选项(我这里直接默认)

以下是容易踩坑的

安装后启动报错“Java heap space

需要在cdh控制台上修改Java内存,默认50M,安装时也没提示让设置内存大小,结果自动安装后到最后的启动阶段报错(如下图)

963941ee4038947d52c77e29733ea45c12fe448e

这个时候可以返回到首页,点击kafka,进入“配置”修改java内存

3cd38ae1d7c48bfd3a7ec5e8da23aa211dc249d9

找到Java Heap Size 改为1G(根据服务器配置改参数)

bd8875dec7b972b94499b9cf80f81fda41b82bc7

最后控制台重启kafka就可以了

相关文章
|
22天前
|
消息中间件 Java Kafka
什么是Apache Kafka?如何将其与Spring Boot集成?
什么是Apache Kafka?如何将其与Spring Boot集成?
55 5
|
25天前
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
37 1
|
4月前
|
消息中间件 安全 Java
Spring Boot 基于 SCRAM 认证集成 Kafka 的详解
【8月更文挑战第4天】本文详解Spring Boot结合SCRAM认证集成Kafka的过程。SCRAM为Kafka提供安全身份验证。首先确认Kafka服务已启用SCRAM,并准备认证凭据。接着,在`pom.xml`添加`spring-kafka`依赖,并在`application.properties`中配置Kafka属性,包括SASL_SSL协议与SCRAM-SHA-256机制。创建生产者与消费者类以实现消息的发送与接收功能。最后,通过实际消息传递测试集成效果与认证机制的有效性。
185 4
|
4月前
|
消息中间件 Kafka 数据处理
实时数据流处理:Dask Streams 与 Apache Kafka 集成
【8月更文第29天】在现代数据处理领域,实时数据流处理已经成为不可或缺的一部分。随着物联网设备、社交媒体和其他实时数据源的普及,处理这些高吞吐量的数据流成为了一项挑战。Apache Kafka 作为一种高吞吐量的消息队列服务,被广泛应用于实时数据流处理场景中。Dask Streams 是 Dask 库的一个子模块,它为 Python 开发者提供了一个易于使用的实时数据流处理框架。本文将介绍如何将 Dask Streams 与 Apache Kafka 结合使用,以实现高效的数据流处理。
90 0
|
5月前
|
消息中间件 Java Kafka
Spring Boot与Apache Kafka Streams的集成
Spring Boot与Apache Kafka Streams的集成
|
5月前
|
消息中间件 Java Kafka
Spring Boot与Apache Kafka集成的深度指南
Spring Boot与Apache Kafka集成的深度指南
|
5月前
|
消息中间件 Java Kafka
Spring Boot与Kafka的集成应用
Spring Boot与Kafka的集成应用
|
2月前
|
Java Maven Docker
gitlab-ci 集成 k3s 部署spring boot 应用
gitlab-ci 集成 k3s 部署spring boot 应用
|
25天前
|
消息中间件 监控 Java
您是否已集成 Spring Boot 与 ActiveMQ?
您是否已集成 Spring Boot 与 ActiveMQ?
49 0
|
5月前
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
317 6

热门文章

最新文章