Apache Doris Routine Load快速体验之Kafka部署(1)1

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Apache Doris Routine Load快速体验之Kafka部署(1)1

Apache Doris Routine Load快速体验之Kafka部署(1)

环境信息

硬件信息

  1. 1.CPU :4C
  2. 2.CPU型号:ARM64
  3. 3.内存 :10GB
  4. 4.硬盘 :66GB SSD

软件信息

  1. 1.VM镜像版本 :CentOS-7
  2. 2.Apahce Doris版本 :1.2.4.1
  3. 3.Kafka版本:3.2.0
  4. 4.Zookeeper版本:3.6.4

Kafka介绍

Apache Kafka 是一个高效、可扩展的、高吞吐的、可容错的分布式发布订阅式的消息系统,能够将消息数据从一个端点传递到另一个端点,较之传统的消息中间件(例如 RocketMQ、RabbitMQ),Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性,非常适合大规模消息数据处理。

Zookeeper安装部署

本文使用kafka默认自带的zk,后续可以改为自己单独部署的zk

下载Zookeeper

#下载zk包
wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
#创建安装文件夹
mkdir -p /opt/zk3.6.4
cd /opt/zk3.6.4
#解压安装
tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz
mv apache-zookeeper-3.6.4-bin.tar.gz/* ./
rm -rf apache-zookeeper-3.6.4-bin.tar.gz*

安装Zookeeper及初始化

#生产zk配置文件
cd /opt/zk3.6.4/conf/
cp zoo_sample.cfg zoo.cfg
#修改zoo.cfg配置
dataDir=/home/zookeeper/data
dataDir=/home/zookeeper/log
server.1=localhost:2888:3888
#创建相关目录
mkdir -p /home/zookeeper/data
mkdir -p /home/zookeeper/log

Kafka安装部署

下载Kafka

#根据自己scala版本和系统进行下载
wget https://archive.apache.org/dist/kafka/3.2.0/kafka_2.12-3.2.0.tgz
#创建安装文件夹
mkdir -p /opt/kafka3.2
cd /opt/kafka3.2
#解压安装
tar -xvf kafka_2.12-3.2.0.tgz
mv kafka_2.12-3.2.0.tgz/* ./
rm -rf kafka_2.12-3.2.0.tgz*
#创建日志目录
mkdir logs

安装Kafka及初始化

修改kafka-server配置

#修改kafka-server的配置文件
vim config/server.properties
#修改如下
log.dirs=/opt/kafka3.2/logs
listeners=PLAINTEXT://doris:9092
auto.create.topics.enable=true
#其它的如果是单机可以不用改
port=9092 #端口号 
host.name=localhost #单机可直接用localhost
log.dirs=/opt/monitor/kafka/kafka_dat #日志存放路径可修改可不修改
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181 

修改自带zk配置

也可以自己另外部署zk不适用自带的zk

vim config/zookeeper.properties 
#修改如下
tickTime=2000
dataDir=/opt/kafka3.2/zookeeper_data
#创建zk的数据存储目录
mkdir /opt/kafka3.2/zookeeper_data

启动Kafka和ZK

启动zk

./bin/zookeeper-server-start.sh -daemon  ./config/zookeeper.properties 

启动kafka

./bin/kafka-server-start.sh -daemon  ./config/server.properties   
#jps查看进程
jps

相关文章
|
7天前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
2天前
|
数据挖掘 Apache 数据安全/隐私保护
使用Docker部署Apache Superset并实现公网远程访问
使用Docker部署Apache Superset并实现公网远程访问
|
2月前
|
存储 数据库连接 Apache
Apache Doris 2.0.4 版本正式发布
亲爱的社区小伙伴们,[Apache Doris 2.0.4 ](https://doris.apache.org/download/) 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化,以提供更加稳定高效的性能体验。新版本已经上线,欢迎大家下载使用!
|
2月前
|
SQL 存储 自然语言处理
文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读
如何充分利用倒排索引以及 NGram Bloom Filter 索引进行查询加速,并详细解析其工作原理与最佳实践。
文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读
|
2月前
|
存储 关系型数据库 Apache
Apache Doris 实时数据仓库的构建与技术选型方案
Apache Doris 实时数据仓库的构建与技术选型方案
|
2月前
|
SQL 关系型数据库 Apache
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
385 1
|
12天前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
163 5
|
3月前
|
SQL 运维 API
Apache Flink 学习教程----持续更新
Apache Flink 学习教程----持续更新
140 0
|
3月前
|
Apache 流计算
Apache Flink教程
Apache Flink教程
128 0
|
2月前
|
Apache 流计算
电子好书发您分享《Apache Flink 必知必会》
电子好书发您分享《Apache Flink 必知必会》
71 1

推荐镜像

更多