基于Ansible实现Apache Doris快速部署运维指南

简介: Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。

Apache Doris 介绍


Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。


Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!


Doris Ansible简介


Doris_ansible是基于ansible构建的Doris高可用集群轻量化自动运维工具,它能够在本地方便快捷的一键拉起Doris高可用集群,并且集群的启停、升降级、扩缩容都可以通过一条简单的命令来实现,使用户可以将注意力专注于Doris强大的分析能力,而不用在运维上面耗费心力。后续将会增加更多使用者关注的自动化功能。如监控、运维巡检等一系列功能。

Doris Ansible使用步骤


前置基础


1. 安装ansible


yum install -y ansible

2. 下载Doris_Ansible

git clone https://github.com/mklzl/doris_ansible

3. 集群规划(无需配置,仅作参考)


# fe
master : 192.168.1.241
follower1: 192.168.1.239
follower2: 192.168.2.243
# be
backend1: 192.168.1.239
backend2: 192.168.1.241
backend3: 192.168.1.243
# broker
broker1: 192.168.1.239
broker2: 192.168.1.241
broker3: 192.168.1.243
# 安装版本及软件包所在位置
/home/doris_ansible/PALO-0.15.1-rc09-binary.tar.gz
# 安装目录
/home/doris_ansible
# 升降级软件包所在路径
/home/doris_ansible/PALO-0.15.3-
release-binary.tar.gz

开始使用


1. 配置集群初始化配置


  • 分配集群角色hosts
    vi /etc/ansible/hosts(cluster1为对应Doris集群的集群id,这里可以部署多个不同的集群配置,启动时,指定对应的集群ID即可操作对应的集群)
## 集群cluster1中参与的机器ip
  [cluster1.doris_hosts]
  192.168.1.239
  192.168.1.241
  192.168.1.243
  ##集群cluster1中fe所在机器的ip
  [cluster1.frontends]
  192.168.1.239
  192.168.1.241
  192.168.1.243
  ##集群cluster1中master节点所在的ip
  [cluster1.master]
  192.168.1.241
  ##集群cluster1中follower所在节点的ip
  [cluster1.follower]
  192.168.1.239
  192.168.1.243
  ##集群cluster1中be所在节点的ip
  [cluster1.backends]
  192.168.1.239
  192.168.1.241
  192.168.1.243
  ## 要进行扩缩容的fe所在的ip
  [cluster1.scale_fe]
  192.168.1.239
  ## 要进行扩缩容的be所在的ip
  [cluster1.scale_be]
  192.168.1.239
  ## 要进行扩缩容的broker所在的ip
  [cluster1.scale_broker]
  192.168.1.239
  ##集群cluster1中broker节点所在的ip
  [cluster1.brokers]
  192.168.1.239
  192.168.1.241
  192.168.1.243
  • 配置初始化文件
vi ./conf/cluster1.yml(这里配置集群cluster1的对应ip组)
---
follower: [192.168.1.239,192.168.1.243]
backends: [192.168.1.239,192.168.1.241,192.168.1.243]
brokers: [192.168.1.239,192.168.1.241,192.168.1.243]
master: 192.168.1.241
vi ./conf/setup_vars.yml
---
# 生产环境的fe.conf所在路径。
# 如果没有特殊配置,建议使用安装包内的fe.conf,请根据机器情况酌情配置priority_networks
fe_conf_path: /home/doris_ansible/fe.conf
#生产环境的be.conf所在路径。
# 如果没有特殊配置,建议使用安装包内的be.conf,请根据机器情况酌情配置priority_networks
be_conf_path: /home/doris_ansible/be.conf
# heartbeat_service_port,请和be.conf中的heartbeat_service_port配置保持一致
heartbeat_service_port: 9050
# edit_log_port,请和fe.conf中的edit_log_port配置保持一致
edit_log_port: 9010
# query_port,请和fe.conf中的query_port配置保持一致
query_port: 9030
# broker_ipc_port,请和apache_hdfs_broker.conf中的broker_ipc_port保持一致
broker_ipc_port: 8000
# 待安装的doris压缩包所在路径,请写绝对路径
doris_filepath: /home/doris_ansible/PALO-0.15.1-rc09-binary.tar.gz
# doris压缩包要解压安装的位置
dest_filepath: /home/doris_ansible
#解压后,doris的安装目录
doris_home: /home/doris_ansible/PALO-0.15.1-rc09-binary
# 机器java_home所在路径,请确保所有机器保持一致
java_home: /usr/java/jdk1.8.0_131

2. 初始化集群


#cluster=cluster1 是指定的对对应集群的操作
ansible-playbook -e "cluster=cluster1" ./core/setup.yml

3. 添加角色


ansible-playbook -e "cluster=cluster1" ./core/add_roles.yml

4. 启停集群


#一键停止对应集群
ansible-playbook -e "cluster=cluster1" ./core/stop_all.yml
#一键启动对应集群
ansible-playbook -e "cluster=cluster1" ./core/start_all.yml

5. 集群升降级


  • 配置集群升降级配置
vi ./conf/upgrade_vars.yml
---
#需要回滚或者升级的压缩包所在路径
newdoris_filepath: /home/doris_ansible/PALO-0.15.3-release-binary.tar.gz
#压缩包解压路径
newdoris_destpath: /home/doris_ansible
#解压后的doirs_home
newdoris_home: /home/doris_ansible/PALO-0.15.3-release-binary
#java_home所在路径
java_home: /usr/java/jdk1.8.0_131
  • 进行升降级操作
ansible-playbook -e "cluster=cluster1" ./core/upgrade.yml

6. 集群扩缩容


  1. 配置集群扩缩容配置
vi /etc/ansible/hosts  (配置要进行扩缩容的角色的hosts,可以配置多个hosts)
## 要进行扩缩容的fe所在的ip
  [cluster1.scale_fe]
  192.168.1.239
  ## 要进行扩缩容的be所在的ip
  [cluster1.scale_be]
  192.168.1.239
  ## 要进行扩缩容的broker所在的ip
  [cluster1.scale_broker]
  192.168.1.239
  1. FE 扩缩容
vi ./conf/scale_fe_vars.yml
  ---
  ## 要进行扩缩容的fe
  frontends: 192.168.1.239
  ##(多个ip使用数组的方式)
  frontends: [192.168.1.239,192.168.1.241]
  1. BE 扩缩容
vi ./conf/scale_be_vars.yml
 ---
  ## 要进行扩缩容的be
  backends: 192.168.1.239
  ##(多个ip使用数组的方式)
  backends: [192.168.1.239,192.168.1.241]
  1. Broker 扩缩容
vi ./conf/scale_broker_vars.yml
  ---
  ## 要进行扩缩容的broker
  brokers: 192.168.1.239
  ##(多个ip使用数组的方式)
  brokers: [192.168.1.239,192.168.1.241]
  1. 执行扩缩容
# 扩容
  # 扩容broker
    ansible-playbook -e "cluster=cluster1 action=out" ./core/scale_broker.yml
  # 扩容be
    ansible-playbook -e "cluster=cluster1 action=out" ./core/scale_be.yml
  # 扩容fe
    ansible-playbook -e "cluster=cluster1 action=out" ./core/scale_fe.yml
# 缩容
  #缩容broker
    ansible-playbook -e "cluster=cluster1 action=out" ./core/scale_broker.yml
  #缩容be
    ansible-playbook -e "cluster=cluster1 action=out" ./core/scale_be.yml
  #缩容fe
    ansible-playbook -e "cluster=cluster1 action=out" ./core/scale_fe.yml




目录
打赏
0
1
0
0
18
分享
相关文章
自动化运维的利器:Ansible在配置管理中的应用
【10月更文挑战第39天】本文旨在通过深入浅出的方式,向读者展示如何利用Ansible这一强大的自动化工具来优化日常的运维工作。我们将从基础概念讲起,逐步深入到实战操作,不仅涵盖Ansible的核心功能,还会分享一些高级技巧和最佳实践。无论你是初学者还是有经验的运维人员,这篇文章都会为你提供有价值的信息,帮助你提升工作效率。
自动化运维之路:使用Ansible进行服务器管理
在现代IT基础设施中,自动化运维已成为提高效率和可靠性的关键。本文将引导您通过使用Ansible这一强大的自动化工具来简化日常的服务器管理任务。我们将一起探索如何配置Ansible、编写Playbook以及执行自动化任务,旨在为读者提供一条清晰的路径,从而步入自动化运维的世界。
132 11
自动化运维:使用Ansible实现批量服务器配置
在快速迭代的IT环境中,高效、可靠的服务器管理变得至关重要。本文将介绍如何使用Ansible这一强大的自动化工具,来简化和加速批量服务器配置过程。我们将从基础开始,逐步深入到更复杂的应用场景,确保即使是新手也能跟上节奏。文章将不包含代码示例,而是通过清晰的步骤和逻辑结构,引导读者理解自动化运维的核心概念及其在实际操作中的应用。
自动化运维的利剑:Ansible在现代IT架构中的应用
在数字化浪潮中,企业对IT系统的敏捷性和可靠性要求日益提高。Ansible,一种简单但强大的自动化运维工具,正成为现代IT架构中不可或缺的一部分。它通过声明式编程语言YAM,简化了系统配置、应用部署和任务自动化的过程,显著提升了运维效率和准确性。本文将深入探讨Ansible的核心特性、应用场景以及如何有效整合进现有IT环境,为读者揭示其在自动化运维中的实用价值和未来发展潜力。
自动化运维:使用Ansible进行服务器配置管理
在现代IT架构中,自动化运维已成为提升效率、减少人为错误的关键。本文将介绍如何使用Ansible这一强大的自动化工具来简化和标准化服务器的配置管理过程。通过具体的代码示例和操作步骤,我们将展示如何快速部署应用、管理配置以及自动化日常任务,从而确保环境的一致性和可靠性。
|
8月前
|
自动化运维:使用Ansible进行服务器配置管理
在现代IT基础设施中,自动化运维是确保高效、稳定和安全服务的关键。本文将深入介绍如何使用Ansible这一开源工具来简化服务器配置管理工作,从基础安装到高级应用,我们将一步步展示如何通过Ansible Playbooks实现自动化部署和维护,旨在帮助读者构建更加灵活和可扩展的运维体系。
142 7
自动化运维:使用Ansible简化日常任务
在快节奏的IT世界中,时间就是一切。本文将揭示如何通过Ansible这一强大的自动化工具来节省宝贵的时间,从而提高效率和减少人为错误。我们将深入探讨Ansible的核心概念、安装过程以及如何编写简单的playbook来自动执行常见运维任务。无论你是新手还是有经验的系统管理员,这篇文章都将为你提供实用的知识和技能,让你能够更好地控制你的服务器环境。
自动化运维的利剑:Ansible在现代IT架构中的应用
【10月更文挑战第42天】本文旨在揭示自动化运维工具Ansible如何革新现代IT架构,通过简化配置管理和部署流程,提升效率和可靠性。我们将探索Ansible的核心功能、语言特性以及其在DevOps文化中的角色。文章还将展示如何借助Ansible构建模块化和可重用的配置代码,实现快速迭代与部署,并确保系统一致性。通过阅读本文,运维人员将了解如何利用Ansible优化日常任务,加速产品上线速度,同时提高系统的稳健性。
125 5
自动化运维的利器:Ansible实战应用
【10月更文挑战第41天】在现代IT运维领域,自动化已成为提高效率、减少错误的关键。Ansible作为一种简单而强大的自动化工具,正被越来越多的企业采纳。本文将通过实际案例,展示如何使用Ansible简化日常运维任务,包括配置管理和批量部署等,旨在为读者提供一种清晰、易懂的自动化解决方案。
110 1
自动化运维工具Ansible的实战应用
【10月更文挑战第36天】在现代IT基础设施管理中,自动化运维已成为提升效率、减少人为错误的关键手段。本文通过介绍Ansible这一流行的自动化工具,旨在揭示其在简化日常运维任务中的实际应用价值。文章将围绕Ansible的核心概念、安装配置以及具体使用案例展开,帮助读者构建起自动化运维的初步认识,并激发对更深入内容的学习兴趣。
193 4

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问