AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

云原生时代消息中间件Pulsar(介绍、集群安装部署、管理页面安装部署) 2

2023-08-10 1158
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
注册配置 MSE Nacos/ZooKeeper，118元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
云原生网关 MSE Higress，422元/月
简介： 云原生时代消息中间件Pulsar(介绍、集群安装部署、管理页面安装部署)

Zookeeper的元数据存储

Pulsar使用Apache Zookeeper进行元数据存储、集群配置和协调

  1. 配置存储: 存储租户，命名域和其他需要全局一致的配置项
  1. 每个集群有自己独立的ZooKeeper保存集群内部配置和协调信息，例如归属信息，broker负载报告，BookKeeper ledger信息（这个是BookKeeper本身所依赖的）等等。

基于bookKeeper持久化存储

Apache Pulsar 为应用程序提供有保证的信息传递, 如果消息成功到达broker, 就认为其预期到达了目的地。


为了提供这种保证，未确认送达的消息需要持久化存储直到它们被确认送达。这种消息传递模式通常称为持久消息传递. 在Pulsar内部，所有消息都被保存并同步N份，例如，2个服务器保存四份，每个服务器上面都有镜像的RAID存储。


Pulsar用 Apache bookKeeper作为持久化存储。 bookKeeper是一个分布式的预写日志（WAL）系统，有如下几个特性特别适合Pulsar的应用场景：

  1. 使pulsar能够利用独立的日志,称为ledgers. 可以随着时间的推移为topic创建多个Ledgers
  2. 它为处理顺序消息提供了非常有效的存储
  3. 保证了多系统挂掉时Ledgers的读取一致性
  4. 提供不同的Bookies之间均匀的IO分布的特性

5.它在容量和吞吐量方面都具有水平伸缩性。能够通过增加bookies立即增加容量到集群中,并提升吞吐量

Bookies被设计成可以承载数千的并发读写的ledgers。 使用多个磁盘设备 (一个用于日志，另一个用于一6.般存储) ，这样Bookies可以将读操作的影响和对于写操作的延迟分隔开。

19d720274c84440bb00fc27eb20971bc.pngLedger是一个只追加的数据结构，并且只有一个写入器，这个写入器负责多个bookKeeper存储节点（就是Bookies）的写入。 Ledger的条目会被复制到多个bookies。 Ledgers本身有着非常简单的语义：

1.Pulsar Broker可以创建ledeger，添加内容到ledger和关闭ledger。

2.当一个ledger被关闭后，除非明确的要写数据或者是因为写入器挂掉导致ledger关闭，ledger只会以只读模式打开。

3.最后，当ledger中的条目不再有用的时候，整个ledger可以被删除（ledger分布是跨Bookies的）。

Pulsar 代理

Pulsar客户端和Pulsar集群交互的一种方式就是直连Pulsar brokers。然而，在某些情况下，这种直连既不可行也不可取，因为客户端并不知道broker的地址。

例如在云环境或者Kubernetes以及其他类似的系统上面运行Pulsar，直连brokers就基本上不可能了。


Pulsar proxy 为这个问题提供了一个解决方案, 为所有的broker提供了一个网关, 如果选择运行了Pulsar Proxy. 所有的客户都会通过这个代理而不是直接与brokers通信

Pulsar分布式集群安装

  1. 搭建 Pulsar 集群至少需要 3 个组件：ZooKeeper 集群、BookKeeper 集群和 broker 集群（Broker 是 Pulsar 的自身实例)。这三个集群组件如下：

ZooKeeper 集群（3 个 ZooKeeper 节点组成）

bookie 集群（也称为 BookKeeper 集群，3 个 BookKeeper 节点组成）

broker 集群（3 个 Pulsar 节点组成）

  1. Pulsar 的安装包已包含了搭建集群所需的各个组件库。无需单独下载 ZooKeeper 安装包和 BookKeeper 安装包。(此处zookeeper使用外置的)
节点 ip
master 172.31.1.100
slave1 172.31.1.101
slave2 172.31.1.102

jdk安装部署

下载网址：https://www.oracle.com/java/technologies/downloads/#java8

上传至主节点之后进行解压，然后配置环境变量

vim /root/.bash_profile

添加（注意改为自己解压出的地址）

export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

zookeeper部署

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

  1. 解压到指定目录，修改文件夹名称
tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/
cd /opt/module
mv apache-zookeeper-3.5.7-bin/ zookeeper
  1. 增加myid文件
cd /opt/module/zookeeper/
mkdir zkData
cd zkData
vim myid

写入0，保存退出

  1. 修改配置文件
cd /opt/module/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg

增加以下配置（如果已经有的就进行修改、这里要配置8887端口，默认8080和pulsar有冲突）

dataDir=/opt/module/zookeeper/zkData
admin.serverPort=8887
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
  1. 分发至slave1、slave2节点
scp -r /opt/module/zookeeper root@slave1:/opt/module/
scp -r /opt/module/zookeeper root@slave2:/opt/module/

复制完成后到slave1和slave2上修改myid 分别为 2 3

  1. 到三台机器上进行启动
cd /opt/module/zookeeper
bin/zkServer.sh start


6.查看状态、确保zk没有问题在往下

bin/zkServer.sh status

Pulsar部署

下载地址：https://pulsar.apache.org/zh-CN/download/

选择对应版本下载就可以了，这里我选用的2.8.1

  1. 在 Linux 服务器上创建二个文件夹： brokers、bookies
cd /export/server/
mkdir -p brokers
mkdir -p bookies


  1. 将下载的pulsar安装包上传到linux服务器, 并解压，没有的目录自己创建一下
cd /export/software/
tar -zxf apache-pulsar-2.8.1-bin.tar.gz
cd apache-pulsar-2.8.1
cp -r * /export/server/brokers/
cp -r * /export/server/bookies/
  1. 修改bookkeeper集群的配置文件
cd /export/server/brokers/conf/
vim broker.conf
修改第98行: 修改集群的名称
clusterName=pulsar-cluster
修改第23行: 配置zookeeper地址
zookeeperServers=172.31.1.100:2181,172.31.1.101:2181,172.31.1.102:2181
修改第26行: 配置zookeeper地址
configurationStoreServers=172.31.1.100:2181,172.31.1.101:2181,172.31.1.102:2181
修改第44行: 更改为本地ip地址
advertisedAddress=172.31.1.100

5.将配置好bookies目录和brokers目录发送到第二台和第三台

cd /export/server
scp -r bookies/ brokers/ root@slave1:/export/server
scp -r bookies/ brokers/ root@slave2:/export/server

6.修改第二台和第三台的broker的地址和bookies地址

第二台节点:
cd /export/server/bookies/conf
vim bookkeeper.conf
修改其第56行:修改本地ip地址
advertisedAddress=172.31.1.101
cd /export/server/brokers/conf/
vim broker.conf
修改第44行: 更改为本地ip地址
advertisedAddress=172.31.1.101
第三台节点: 都更改为对应IP地址即可

7.初始化元数据、主节点执行

cd /export/server/brokers/
bin/pulsar initialize-cluster-metadata \
--cluster pulsar-cluster \
--zookeeper 172.31.1.100:2181,172.31.1.101:2181,172.31.1.102:2181 \
--configuration-store 172.31.1.100:2181,172.31.1.101:2181,172.31.1.102:2181 \
--web-service-url http://172.31.1.100:8080,172.31.1.101:8080,172.31.1.102:8080 \
--web-service-url-tls https://172.31.1.100:8443,172.31.1.101:8443,172.31.1.102:8443 \
--broker-service-url pulsar://172.31.1.100:6650,172.31.1.101:6650,172.31.1.102:6650 \
--broker-service-url-tls pulsar+ssl://172.31.1.100:6651,172.31.1.101:6651,172.31.1.102:6651

8.启动bookie集群

先执行初始化(只需要在一台节点执行即可):  若出现提示，输入 Y，继续
cd /export/server/bookies
bin/bookkeeper shell metaformat
依次在三台节点执行启动:
  cd /export/server/bookies
bin/pulsar-daemon start bookie
验证是否启动: 可三台都检测
bin/bookkeeper shell bookiesanity
提示:
    Bookie sanity test succeeded  认为启动成功

9.启动broker

三台节点都需要执行:
cd /export/server/brokers
bin/pulsar-daemon start broker
检测是否启动:
   bin/pulsar-admin brokers list pulsar-cluster

10.测试集群

# 进入 brokers 目录，选取任一个 broker 节点执行命令即可
cd /export/server/brokers
# 创建租户(租户名:my-tenant)
./bin/pulsar-admin tenants create my-tenant
# 创建命名空间(命名空间名：my-tenant/my-namespace，它指定了租户 my-tenant)
./bin/pulsar-admin namespaces create my-tenant/my-namespace
# 创建持久性分区topic(topic全名:persistent://my-tenant/my-namespace/my-topic；分区数为 3)
./bin/pulsar-admin topics create-partitioned-topic persistent://my-tenant/my-namespace/my-topic -p 3
# 更新命名空间为其指定集群名
./bin/pulsar-admin namespaces set-clusters my-tenant/my-namespace --clusters pulsar-cluster
# 构建消费者:
./bin/pulsar-client consume persistent://public/default/test -s "consumer-test"
# 构建生产者
./bin/pulsar-client produce persistent://public/default/test --messages "hello-pulsar"

如果消费者可以正常接收到消息就代表安装成功

Pulsar admin manger图形界面安装

Pulsar admin manger是基于Plusar的可视化界面，接下来进行安装

  1. 下载 pulsar-admin
cd /export/software
wget https://dist.apache.org/repos/dist/release/pulsar/pulsar-manager/pulsar-manager-0.2.0/apache-pulsar-manager-0.2.0-bin.tar.gz
  1. 解压压缩包
tar -zxf apache-pulsar-manager-0.2.0-bin.tar.gz -C /export/server/
cd /export/server/pulsar-manager
接着再次解压目录下的tar包
tar -xvf pulsar-manager.tar
  1. 拷贝dist包到 pulsar-manager目录下并更名为ui
cd /export/server/pulsar-manager/pulsar-manager
cp -r ../dist ui
  1. 启动pulsar（这里默认启动是java -jar的方式，所以不要退出进程）
./bin/pulsar-manager
  1. 初始化超级用户密码 :
CSRF_TOKEN=$(curl http://localhost:7750/pulsar-manager/csrf-token)
curl -H "X-XSRF-TOKEN: $CSRF_TOKEN" -H "Cookie: XSRF-TOKEN=$CSRF_TOKEN;" -H 'Content-Type: application/json' -X PUT http://localhost:7750/pulsar-manager/users/superuser -d '{"name": "pulsar", "password": "pulsar", "description": "test", "email": "username@test.org"}'

用户名为pulsar 密码为pulsar

  1. 访问Puslar UI

http://172.31.1.100:7750/ui/index.html

点击 new Environment, 设置集群环境即可

点击pulsar_cluster进入管理界面

如果想后台执行的话修改 vim /export/server/pulsar-manager/pulsar-manager/bin/pulsar-manager

加上nohup

启动命令为./bin/pulsar-manager &

声明

大部分来源于黑马：https://space.bilibili.com/415938397/search/video?keyword=pulsar

文章标签：
微服务引擎
Java
开发工具
容器
Cloud Native
消息中间件
Linux
数据安全/隐私保护
Kubernetes
Apache
存储
关键词：
云原生部署
云原生集群
云原生管理
云原生中间件
云原生消息中间件
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
四维大脑
目录
相关文章
请看我回答~
|
9天前
|
运维 Kubernetes Cloud Native
云原生时代下，如何高效构建与部署微服务
【9月更文挑战第8天】随着云计算技术的飞速发展，云原生已成为现代软件架构的重要趋势。本文将深入浅出地介绍云原生概念、微服务架构的优势以及如何在云平台上高效构建和部署微服务。我们将通过实际的代码示例，展示在Kubernetes集群上部署一个简单的微服务应用的过程，帮助读者理解云原生环境下的微服务开发和运维实践。
请看我回答~
31 6
jiashufeng
|
6天前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段，帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践，揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命，它依托于容器化、微服务和DevOps等核心技术，旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法，企业可以实现敏捷部署、弹性扩展和高效运维，从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例，并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业，还是寻求创新的互联网企业，云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
jiashufeng
16 3
JayLiu
|
14天前
|
Kubernetes 监控 Cloud Native
Cluster Optimizer：一款云原生集群优化平台
**Cluster Optimizer** 是一款云原生集群优化平台，旨在通过自动化和智能化工具帮助企业降低云成本，解决云原生架构中的成本管理难题。面对资源闲置、配置不当和缺乏自动化优化机制等挑战，Cluster Optimizer能够深入分析云资源、应用和用户行为，精准识别优化机会，并给出具体建议，涵盖节点组、节点、GPU 节点、磁盘、持久卷和应用等多个维度。通过优化实例类型、自动扩缩容和资源分配，帮助企业降低成本、提升性能和效率。[点击此处](https://www.wiseinf.com.cn/docs/setup/) 免费安装和试用 **Cluster Optimizer 社区版**。
JayLiu
74 9
请看我回答~
|
19天前
|
运维 Kubernetes Cloud Native
云原生之旅：Kubernetes 集群的搭建与实践Python 编程入门：从零基础到编写实用脚本
【8月更文挑战第30天】在数字化转型的大潮中，云原生技术以其弹性、可扩展性及高效运维能力成为企业IT架构升级的关键。本文将通过实际操作演示如何在本地环境搭建一个简易的Kubernetes集群，带你领略云原生的魅力所在。从集群规划到服务部署，每一步都是对云原生理念的深刻理解和应用。让我们共同探索，如何通过Kubernetes集群的搭建和运维，提升业务灵活性和创新能力。
请看我回答~
27 5
请看我回答~
|
19天前
|
Kubernetes Cloud Native 应用服务中间件
云原生入门：Kubernetes的简易部署与管理
【8月更文挑战第31天】在云计算的浪潮中，云原生技术如同星辰般熠熠生辉。它以容器、服务网格、微服务等为基石，构建起现代化的软件架构。本文将带你一探究竟，通过Kubernetes这个强大的平台，学习如何部署和管理你的应用。我们将手把手教你搭建一个简单的Kubernetes集群，并运行一个示例应用。准备好了吗？让我们启航，探索云原生的世界！
请看我回答~
19 1
肥猪肥猪-17824
|
21天前
|
Kubernetes Cloud Native 应用服务中间件
云原生之旅：Kubernetes集群搭建与应用部署
【8月更文挑战第28天】在数字化浪潮中，云原生技术正成为企业IT架构转型的重要驱动力。本文将通过实践案例，引导读者理解云原生的核心概念，掌握Kubernetes集群的搭建方法，并学会如何部署和管理容器化应用。文章不仅提供详细的操作步骤和示例代码，还深入探讨了云原生技术背后的哲学及其对企业数字化转型的影响，旨在帮助读者构建起对云原生世界的全面认识，并激发对技术创新和应用实践的思考。
肥猪肥猪-17824
52 3
游客7v53mftipku2u
|
10天前
|
Cloud Native API 持续交付
云原生技术：开启现代软件部署的新篇章
在数字化浪潮中，云计算已从简单的资源共享进化到支持复杂应用的平台。云原生技术作为这一演变的核心，不仅重塑了软件开发、部署的方式，还为业务敏捷性、可伸缩性和可靠性设定了新的标准。本文将探讨云原生的基本概念、核心技术及实践方法，揭示它如何引领企业走在数字化转型的前列。
游客7v53mftipku2u
20 0
请看我回答~
|
18天前
|
Kubernetes Cloud Native Linux
云原生入门：Kubernetes的简易部署与应用
【8月更文挑战第31天】在云原生的世界里，Kubernetes（K8s）是一颗璀璨的星。本文将带你走进K8s的世界，从安装到简单应用，轻松驾驭这个强大的容器编排工具。让我们一起探索云原生的奥秘，解锁新技能！
请看我回答~
17 0
土木林森
|
18天前
|
开发者 容器 Java
Azure云之旅：JSF应用的神秘部署指南，揭开云原生的新篇章！
【8月更文挑战第31天】本文探讨了如何在Azure上部署JavaServer Faces (JSF) 应用，充分发挥其界面构建能力和云平台优势，实现高效安全的Web应用。Azure提供的多种服务如App Service、Kubernetes Service (AKS) 和DevOps简化了部署流程，并支持应用全生命周期管理。文章详细介绍了使用Azure Spring Cloud和App Service部署JSF应用的具体步骤，帮助开发者更好地利用Azure的强大功能。无论是在微服务架构下还是传统环境中，Azure都能为JSF应用提供全面支持，助力开发者拓展技术视野与实践机会。
土木林森
11 0
请看我回答~
|
18天前
|
Kubernetes Cloud Native 应用服务中间件
云原生技术入门与实践：Kubernetes的简易部署
【8月更文挑战第31天】云原生技术已成为现代软件部署的黄金标准，而Kubernetes作为其核心组件之一，在容器编排领域独领风骚。本文将引导您通过简单的步骤，快速部署一个Kubernetes集群，并运行一个简单的应用，让您轻松迈入云原生的世界。
请看我回答~
33 0

热门文章

最新文章

  • 1
    Dubbo Mesh | 阿里巴巴中间件团队在 Service Mesh 的实践和探索（附PPT）
  • 2
    阿里开发者招聘节 | 阿里云中间件团队诚招技术人才啦！
  • 3
    分布式系统架构中的中间件
  • 4
    业务系统对消息中间件的要求（接上一篇《分布式消息中间件中的一些概念》）
  • 5
    AgileEAS.NET SOA 中间件平台5.2版本下载、配置学习(二)：配置WinClient分布式运行环境
  • 6
    20070724中间件产品培训方式总结
  • 7
    Django进阶之中间件
  • 8
    【物联网中间件平台-03】YFIOs安装指南
  • 9
    阿里云中间件发展历程和开源现状
  • 10
    Redis 的 4 大法宝，2018 必学中间件！
  • 1
    企业如何做好云原生安全
    113
  • 2
    Spring Boot 4.0：构建云原生Java应用的前沿工具
    287
  • 3
    云原生应用配置中心简述
    67
  • 4
    深度剖析 RocketMQ 5.0，架构解析：云原生架构如何支撑多元化场景？
    140954
  • 5
    云原生K8S场景自动化响应ECS系统事件
    167
  • 6
    云原生日志收集机制和日志处理流程规范
    160
  • 7
    【Spring云原生系列】Spring RabbitMQ：异步处理机制的基础--消息队列 原理讲解+使用教程
    102
  • 8
    【Spring云原生系列】SpringBoot+Spring Cloud Stream：消息驱动架构（MDA）解析，实现异步处理与解耦合
    245
  • 9
    【Spring云原生】Spring Batch：海量数据高并发任务处理！数据处理纵享新丝滑！事务管理机制+并行处理+实例应用讲解
    189
  • 10
    【Spring云原生】Spring官宣，干掉原生JVM，推出 Spring Native！整体提升性能！Native镜像技术在Spring中的应用
    115

    • 相关课程

    更多
  • 云计算、容器和云原生基础课程
  • ALPD云架构师系列：云原生DevOps 36计 -阿里云云效出品
  • 云原生实践公开课
  • 云原生基础概念及阿里云云原生产品介绍
  • CNCF Alibaba 云原生技术公开课
  • Kubernetes云原生管理实践

    • 相关电子书

    更多
  • 从技术到架构，云原生全面加速应用现代化
  • 安永云原生创新驱动力实践探索
  • 云原生加速数字创新的新质生产力

    • 相关实验场景

    更多
  • 快速搭建高可用网站服务
  • 容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
  • 使用阿里云Elasticsearch快速搭建可观测系统
  • 灵活弹性的PolarDB Serverless确保数据业务持续在线
  • 基于云原生网关实现微服务的多版本线上灰度
  • 部署高可用架构
    • 下一篇
    基于LNMP搭建WordPress