文章说明本篇介绍利用DataSophon自动化部署、监控、运维、管理doris组件的操作指南。DataSophon简介DataSophon是个管理平台，致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。主要特性有：
- 快速部署,可快速完成300个节点的大数据集群部署
- 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
- 监控指标全面丰富，基于生产实践展示用户最关心的监控指标
- 灵活便捷的告警服务，可实现用户自定义告警组和告警指标
- 可扩展性强，用户可通过配置的方式集成或升级大数据组件
官方文档链接：https://datasophon.github.io/datasophon-website
环境准备1. 网络要求要求各机器各组件正常运行提供如下的网络端口配置：
| 组件 | 默认端口 | 说明 |
| DDHApplicationServer | 8081、2551、8586 | 8081为http server端口，2551为rpc通信端口，8586为jmx端口 |
| WorkerApplicationServer | 2552、9100、8585 | 2552 rpc通信端口，8585为jmx端口，9100为主机数据采集器端口 |
| grafana | 3000 | http server端口 |
| prometheus | 9093 | http server端口 |
| Doris | 18030、18040 | FE 上的 http server 端口，BE 上的 http server 的端口 |
备注：datasophon默认配置18030、18040，避免与其它组件冲突，与doris默认的端口有区别。2. 客户端浏览器要求
| 推荐 Chrome 以及使用 Chrome 内核的较新版本浏览器访问前端可视化操作面。 |
3. 关闭防火墙 各主机防火墙需关闭。4. 配置主机host 大数据集群所有机器需配置主机host。 配置主机名：hostnamectl set-hostname 主机名 配置/etc/hosts文件 主机名配置建议采用如下方式：
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.11.132 ddp1 192.168.11.133 ddp2 192.168.11.131 ddp3
5. 免密登录配置 部署机器中，DataSophon节点以及大数据服务主节点与从节点之间需免密登录。 生成ssh 秘钥：ssh-keygen -m PEM -t rsa ，一路回车。 执行 ssh-copy-id 目标主机。 单机部署 本机也需要免密6. 环境要求 Jdk环境需安装。建议mysql版本为5.7.X，并关闭ssl。7. 组件介绍 DDHApplicationServer为API接口层即web后端，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。 WorkerApplicationServer负责执行DDHApplicationServer发送的指令，包括服务安装、启动、停止、重启等指令。快速部署1. 部署mysql 注意需关闭mysql ssl功能。在部署过程中，部分组件会执行sql生成库表，不同环境的mysql在配置上存在差异，可根据sql执行情况，变更mysql配置。2. 执行数据脚本
CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8; grant all privileges on . to datasophon@"%" identified by 'datasophon' with grant option; GRANT ALL PRIVILEGES ON . TO 'datasophon'@'%'; FLUSH PRIVILEGES;
执行datasophon-manager安装目录sql目录下datasophon.sql，创建数据表。3. 下载DDP部署包1. DDP部署包下载地址： 链接：https://pan.baidu.com/s/1AA8uUpiV8ejyYavjg2uTAw?pwd=hnn0 提取码:hnn0 在DDP-1.1.1目录下可根据需要下载所需的包，部署doris需要下载以下包：
| 包名 | 说明 |
| datasophon-manager-1.1.1.tar.gz | Datasophon server压缩包 |
| datasophon-worker.tar.gz | Datasophon worker压缩包 |
| alertmanager-0.23.0.tar.gz | alertmanager压缩包 |
| grafana-9.1.6-arm.tar.gz | grafana压缩包 |
| prometheus-2.17.2.tar.gz | prometheus压缩包 |
| jdk-8u333-linux-x64.tar.gz | jdk压缩包 |
2. DDP-1.1.1暂时封装的doris为1.1.5，推荐使用官网的即将发布的doris1.2.6和doris2.0beta版本。官方下载链接：https://doris.apache.org/zh-CN/download3. 在/opt/datasophon目录下创建目录
mkdir -p /opt/datasophon/DDP/packages
将下载的部署包上传到/opt/datasophon/DDP/packages目录下，作为项目部署包仓库地址。
4. 其中datasophon部署doris的包需要重新打包一次，添加两个状态检测脚本，在fe/bin/下和be/bin/分别添加status_fe.sh和status_be.sh状态检测脚本。注意压缩格式保持一致。可以去datasophon-manager-1.1.1/conf/meta/DDP-1.1.1/DORIS/目录下拷贝这两个脚本。
5. 将脚本放到相应目录后，需要对部署包名进行修改，操作步骤如下。此处的包名跟datasophon-manager-1.1.1/conf/meta/DDP-1.1.1/DORIS/service_ddl.json里面的packageName需要保持一致，否则无法部署成功。
mv apache-doris-2.0.0-beta-bin-x86_64 doris-2.0.0 tar -czvf doris-2.0.0.tar.gz doris-2.0.0 md5sum doris-2.0.0.tar.gz |awk '{print $1}' > doris-2.0.0.tar.gz.md5
根据上述步骤对doris的部署包进行封装。
- 如果你之前已经部署好了Doris，需要将已经部署好的Doris添加进Datasophon平台里。可以通过在/opt/datasophon/目录下设置一个packageName的软链到已经部署好的Doris安装目录，同时也需要将两个检测脚本放置到对应的目录下。
部署DataSophon1. 部署目录介绍在安装目录下解压datasophon-manager-1.1.1.tar.gz，解压后可以看到如下安装目录：
bin：启动脚本gitconf ：配置文件lib ：项目依赖的jar包logs:项目日志存放目录jmx：jmx插件2. 修改配置 1. 修改 conf 目录下的application.yml 配置文件中数据库链接配置：
spring: datasource: type: com.alibaba.druid.pool.DruidDataSource url: jdbc:mysql:ddp1:3306/datasophon?useUnicode=true&characterEncoding=utf-8 username: root password: ddp1 driver-class-name: com.mysql.jdbc.Driver
2. 修改datasophon-manager-1.1.1/conf/meta/DDP-1.1.1/DORIS/service_ddl.json，根据你部署doris的版本来配置。
"name": "DORIS", "label": "Doris", "description": "简单易用、高性能和统一的分析数据库", "version": "2.0.0", "sortNum": 20, "dependencies":[], "packageName": "doris-2.0.0.tar.gz", "decompressPackageName": "doris-2.0.0"
3. 启动服务
启动：sh bin/datasophon-api.sh start api 停止：sh bin/datasophon-api.sh stop api 重启：sh bin/datasophon-api.sh restart api
- 部署成功后，可以进行日志查看，日志统一存放于logs文件夹内:
logs/├── ddh-api.log├── ddh-api-error.log|—— api-{hostname}.out4. 访问页面 访问前端页面地址,接口ip(自行修改) ，http://192.168.xx.xx:8081/ddh，默认用户名和密码为admin/admin123创建集群1. 依照官方文档中"使用手册" -> "创建集群"的步骤进行配置和点击，如果各个步骤有问题，可以到datasophon-manager-1.1.1/logs目录下查看日志，例如如下这类：
2. 部署完成grafana和promthues后，即可看到集群的监控信息 备注：当云服务器的内网地址和公网地址不一致时，需要注意以下操作；如果一致，可以忽略该步骤。
启动：sh bin/datasophon-api.sh start api 停止：sh bin/datasophon-api.sh stop api 重启：sh bin/datasophon-api.sh restart api
3. 选择"服务管理" -> "添加doris"，将doris添加到管理页面。
4. 部署Doris完成后，将可以看到类似如下界面。如果在部署过程出现部署失败的情况，可以去datasophon-work/logs/目录下查看日志。
备注：如果监控界面显示有问题，可以手动调整Prometheus/configs/doris.json配置文件，然后重启Prometheus后，页面就能显示正常。
小结
本篇介绍了Datasophon部署到添加Doris服务的全流程，按步骤执行即可在Datasophon自动部署Doris服务。如果在过程中遇到问题可以加我微信好友直接私聊我来协助你部署。
