Apache Doris常用命令

简介: 一.配置 Ⅰ).BE vi be.conf # INFO,WARNING,ERROR,FATAL sys_log_level=INFO # ports for admin,web,heartbeat service be_port=9060 be_rpc_port=9070 webserver_.

一.配置

Ⅰ).BE

vi be.conf

# INFO,WARNING,ERROR,FATAL
sys_log_level=INFO

# ports for admin,web,heartbeat service
be_port=9060
be_rpc_port=9070
webserver_port=8040
heartbeat_service_port=9050
brpc_port=8060

# Choose one if there are more than one ip except loopback address
# 24为网关
priority_networks=hostname/24

# storage_root_path=/home/disk1/palo.HDD,50;/home/disk2/palo.SSD,1;/home/disk2/palo
# 目录需手动创建
storage_root_path=/home/doris/be/palo

Ⅱ).FE

vi fe.conf

# INFO,WARNING,ERROR,FATAL
sys_log_level=INFO

# store metadata,create it if it is not exist
meta_dir=${DORIS_HOME}/palo-meta
http_port=8030
rpc_port=9020
query_port=9030
edit_log_port=9010

# Choose one if there are more than one ip except loopback address
# 24为网关
priority_networks=hostname/24

Ⅲ).网络通信端口

二.服务命令

Ⅰ).编译

a).第三方依赖

sh thirdparth/build/thirdparth.sh

b).FE/BE

sh build.sh

c).broker

sh build.sh

Ⅱ).启停

a).启动服务

sh ./doris/fe/bin/start_fe.sh --daemon
sh ./doris/be/bin/start_be.sh --daemon

b).停止服务

sh ./doris/fe/bin/stop_fe.sh
sh ./doris/be/bin/stop_be.sh

Ⅲ).验证

URL: http://hostname:8030/system
查看FE节点: http://hostname:8030/system?path=//frontends

二.业务命令

Ⅰ).jdbc连接URL

jdbc:mysql://hostname:9030/doris

Ⅱ).创建数据库

create database doris;

Ⅲ).创建用户

create user 'doris' identified by 'password';

Ⅳ).赋权

grant all on doris to doris;

Ⅴ).添加BE

ALTER SYSTEM ADD BACKEND "hostname:9050";

Ⅵ).查看BE状态

SHOW PROC '/backends';

Ⅶ).删除BE

ALTER SYSTEM DROPP BACKEND "hostname:9050";

Ⅷ).添加FE

ALTER SYSTEM ADD FOLLOWER "hostname:9050";

Ⅸ).查看FE状态

SHOW PROC '/frontends';

Ⅹ).删除FE

ALTER SYSTEM DROPP FOLLOWER "hostname:9050";

Ⅺ).创建表

CREATE TABLE doris.table2
(
  event_day DATE,
  siteid INT DEFAULT '10',
  citycode SMALLINT,
  username VARCHAR(32) DEFAULT '',
  pv BIGINT SUM DEFAULT '0'
)
AGGREGATE KEY(event_day,citycode,username)
PARTITION BY RANGE(event_day)
(
  PARTITION p1 VALUES LESS THAN ('2019-06-30'),
  PARTITION p1 VALUES LESS THAN ('2019-07-31'),
  PARTITION p1 VALUES LESS THAN ('2019-08-31')
)
DISTRIBUTED BY HASH(siteid) BUCKETS 10
PROPERTIES("replication_num"="1")

Ⅻ).导入数据

1.database: doris
2.tablename: table2
3.label: 每个批次不可重复
4.column_separator: 数据文件中字段之间特殊符号分割(|-%7c, ,-%2c, t-%09, x01-%01)

分割符 对应值
竖线 %7c
, %2c
\t %09
\x01 %01
curl --location-trusted -u db_user -T path/filename.txt http://hostname/8030/api/doris/table2/_load?label=100\&column_separator=%7c

XIII).查询数据

a).全量查询

b).order by查询

c).join查询

d).子查询

XIV).添加列

ALTER TABLE table1 ADD COLUMN uv BIGINT SUM DEFAULT '0' AFTER pv;

XV).查看添加列任务

SHOW ALTER TABLE COLUMN;

XVI).添加ROLLUP

ALTER TABLE table1 ADD ROLLUP rollup_city(citycode, pv);

XVII).查看ROLLUP任务

SHOW ALTER TABLE ROLLUP;

XVIII).查询表结构

DESC table1 ALL;

XIX).查询资源使用

show variables like "mem_limit%";

XX).查询超时

show variables like "query_timeout%";

XXI).创建MySQL引擎表

CREATE TABLE IF NOT EXISTES doris.table_name
(
  'agent_id' INT NOT NULL,
  'accept_time' DATETIME NOT NULL,
  'signature' VARCHAR(770) NOT NULL,
  'bad_app_count' BIGINT,
  'total_count' BIGINT,
  'version' INT DEFAULT "0",
  'method_type' VARCHAR(20)
)
ENGINE=mysql
PROPERTIES
(
  "host"="db_hostname",
  "port"="3306",
  "user"="db_user",
  "password"="password",
  "database"="database",
  "table"="table_name"
)
目录
相关文章
|
2月前
|
存储 自然语言处理 BI
|
2月前
|
Apache Java 数据库连接
Apache Doris 2.0.15 版本发布
Apache Doris 2.0.15 版本已于 2024 年 9 月 30 日正式与大家见面,该版本提交了 157 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。
|
3月前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
3月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
13天前
|
存储 消息中间件 分布式计算
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
|
3天前
|
SQL 存储 Apache
Apache Doris 3.0.3 版本正式发布
亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。
|
1月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
22天前
|
SQL 存储 数据处理
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
Apache Doris 物化视图进行了支持。**早期版本中,Doris 支持同步物化视图;从 2.1 版本开始,正式引入异步物化视图,[并在 3.0 版本中完善了这一功能](https://www.selectdb.com/blog/1058)。**
|
29天前
|
SQL 存储 Java
Apache Doris 2.1.7 版本正式发布
亲爱的社区小伙伴们,**Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。**2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。
|
1月前
|
监控 Cloud Native BI
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库(2024 版)》,汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准,辅以使用场景标签,旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。

推荐镜像

更多