Apache Doris-部署

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 建议使用使用 Docker 开发镜像编译

1.使用现成的镜像

docker pull apachedoris/doris-dev:build-env-1.3

1.1拉取镜像

docker pull apachedoris/doris-dev:build-env-1.3

1.2运行镜像

docker run -it --name doris apachedoris/doris-dev:build-env-1.3

1.3查看镜像是否运行成功

docker ps -a

image.png

如图,运行成功。进入容器

1.4mkdir创建doris

mkdir doris

1.5进入doris

wget <https://mirrors.bfsu.edu.cn/apache/incubator/doris/0.13.0-incubating/apache-doris-0.13.0-incubating-src.tar.gz>

1.6解压

tar -zxvf apache-doris-0.13.0-incubating-src.tar.gz


1.7编译

编译之前需要修改maven配置

.进入maven

cd usr/share/maven/conf

.修改setting.xml 换仓库地址

<mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url><https://maven.aliyun.com/repository/public></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>alimaven-central</id>
        <name>aliyun maven central</name>
        <url><https://maven.aliyun.com/repository/central></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>alimaven-spring</id>
        <name>aliyun maven-spring</name>
        <url><https://maven.aliyun.com/repository/spring></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>central</id>
        <name>Maven Repository Switchboard</name>
        <url><https://repo1.maven.org/maven2/></url>
        <mirrorOf>central</mirrorOf>
    </mirror>
    <mirror>
        <id>jboss-public-repository-group</id>
        <mirrorOf>central</mirrorOf>
        <name>JBoss Public Repository Group</name>
        <url><http://repository.jboss.org/nexus/content/groups/public></url>
    </mirror>
    <mirror>
        <id>spring-snapshots</id>
        <mirrorOf>central</mirrorOf>
        <name>Spring Snapshots</name>
        <url><https://repo.spring.io/snapshot></url>
    </mirror>
    <mirror>
        <id>spring-milestones</id>
        <mirrorOf>central</mirrorOf>
        <name>Spring Milestones</name>
        <url><https://repo.spring.io/milestone></url>
    </mirror>

修改fe中的配置文件

.进入之前创建doris/apache-doris-0.13.0-incubating-src/fe 路径

cd /root/doris/apache-doris-0.13.0-incubating-src/fe

.修改pom.xml文件

<!-- for java-cup -->
<repository>
   <id>cloudera-thirdparty</id>
   <url><https://repository.cloudera.com/content/repositories/third-party/></url>
    // 将上面两行配置**改为**下面两行**
   <id>cloudera-public</id>                                          <url><https://repository.cloudera.com/artifactory/public/>
   </url>
</repository>
 <pluginRepositories>
  <!-- for cup-maven-plugin -->
   <pluginRepository>
   <id>spring-plugins</id>
   <url><https://repo.spring.io/plugins-release/></url>
    // 将上面两行配置**改为**下面两行**
   <id>cloudera-public</id>                                          <url><https://repository.cloudera.com/artifactory/public/></url>
   </pluginRepository>
</pluginRepositories>

1.8直接编译

sh bulid.sh

image.png

image.png

编译成功会产出output文件

1.9部署和启动FE

将编译好的文件output里面fe cp复制到宿主机opt/doris/fe

.创建文件夹doris-meta存放元数据

mkdir  /opt/doris/fe/doris-meta  //路径必须提前创建好

.修改fe.conf文件

vi ./conf/fe.conf

.添加下面的配置

//如果因为内存原因无启动,修改启动内存大小 4g初始
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 192.168.220.133/22 ip地址

image.png

启动fe

cd /opt/doris/fe/bin
sh start_sh --daemon 后台启动
#发生错误请通过查看fe/log/fe.log 或者 fe/log/fe.out 查看错误信息

关闭防火墙或者开放相应端口

打开浏览器访问,进入可视化的界面

<http://192.168.220.145:8030/>

image.png

1.10 部署和启动BE

将编译好的文件output里面be cp复制到宿主机opt/doris/be

创建be存储数据的文件夹

mkdir -p /opt/doris/be/storage ####路径必须提前创建好

.启动be

cd /opt/doris/be/bin
sh start_be.sh --daemon

.BE 启动失败的情况处理

image.png

.修改最大文件句柄数

echo "* soft nofile 204800" >> /etc/security/limits.conf
echo "* hard nofile 204800" >> /etc/security/limits.conf
echo "* soft nproc 204800" >> /etc/security/limits.conf
echo "* hard nproc 204800 " >> /etc/security/limits.conf
修改 /etc/sysctl.conf
加入 echo fs.file-max = 6553560 >> /etc/sysctl.conf

.查看是否成功

cat /etc/security/limits.conf
cat /etc/sysctl.conf

.重启生效

reboot -h now

.重新启动be即可

cd /opt/doris/be/bin
sh start_be.sh --daemon

1.11 通过mysql client连接

.

.安装mysql

yum install -y mysql

.通过mysql客户端连接doris

ip地址
 mysql -h 192.168.220.145 -p 9030 -uroot

image.png

.添加be

ALTER SYSTEM ADD BACKEND "192.168.220.146:9050"

.关闭防火墙

systemctl disable firewalld

.查看fe和be节点状态

show proc ‘/frontends’;
show proc ‘/backends’;

.fe节点连接状态如图

image.png

.be节点连接状态如图

image.png

.删除fe 命令

mysql> ALTER SYSTEM DROPP FOLLOWER "192.168.220.145:9050";

.删除be命令

ALTER SYSTEM DROP BACKEND "192.168.220.146:9050";

(可能因为各种原因编译不成功的情况)可以下载0.13以上预编译的版本。直接使用文件里面编译好的组件。

doris预编译下载地址

预编译版本下载

下一篇:Doirs数据表实践

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
缓存 安全 Java
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
阿里云数据库 SelectDB 内核 Apache Doris 2.0.6 版本正式发布
|
1月前
|
SQL 存储 JSON
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
亲爱的社区小伙伴们,Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布,新版本开箱盲测性能大幅优化,在复杂查询性能方面提升100%,新增Arrow Flight接口加速数据读取千倍,支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化,提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级,保障多负载场景下的稳定性。新版本已经上线,欢迎大家下载使用!
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
|
2月前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
1月前
|
存储 SQL 数据管理
阿里云数据库 SelectDB 内核 Apache Doris 如何基于自增列满足高效字典编码等典型场景需求|Deep Dive 系列
自增列的实现,使得 Apache Doris 可以在处理大规模时展示出更高的稳定性和可靠性。通过自增列,用户能够高效进行字典编码,显著提升了字符串精确去重以及查询的性能。使用自增列作为主键来存储明细数据,可以完美的解决明细数据更新的问题。同时,基于自增列,用户可以实现高效的分页机制,轻松应对深分页场景,有效过滤掉大量非必需数据,从而减轻数据库的负载压力,为用户带来了更加流畅和高效的数据处理体验。
|
1月前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
|
1月前
|
分布式计算 Apache 调度
Apache Hudi 异步Compaction部署方式汇总
Apache Hudi 异步Compaction部署方式汇总
34 0
|
1月前
|
运维 Cloud Native Apache
云计算新宠:探索Apache Doris的云原生策略
云计算新宠:探索Apache Doris的云原生策略
36 2
|
1月前
|
存储 数据采集 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
随着业务在金融、保险和商城领域的不断扩展,众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合,这不仅导致数据分析形成数据孤岛,还带来高昂的管理及维护成本。为解决该问题,众安保险引入 Apache Doris,替换了早期复杂的技术组合,不仅降低了系统的复杂性,打破了数据孤岛,更提升了数据处理的效率。
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
|
1月前
|
数据挖掘 Apache 数据安全/隐私保护
使用Docker部署Apache Superset并实现公网远程访问
使用Docker部署Apache Superset并实现公网远程访问
|
3月前
|
存储 数据库连接 Apache
Apache Doris 2.0.4 版本正式发布
亲爱的社区小伙伴们,[Apache Doris 2.0.4 ](https://doris.apache.org/download/) 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化,以提供更加稳定高效的性能体验。新版本已经上线,欢迎大家下载使用!

热门文章

最新文章

推荐镜像

更多