Apache Doris Broker快速体验之案例(3)2

简介: Apache Doris Broker快速体验之案例(3)2

Broker导出案例

测试表创建

-- doris源表创建
CREATE TABLE export_test01 (
  `id` varchar(1000) NULL COMMENT "来源库表键",
  `test01` BIGINT SUM DEFAULT "0" COMMENT "测试"
) ENGINE=OLAP
AGGREGATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1",
"in_memory" = "false",
"storage_format" = "V2"
);
-- hive目标表创建
CREATE EXTERNAL TABLE zbh_test.export_test01 (
  `id` varchar(1000) comment 'id',
  `test01` bigint comment 'tf')
  comment '表备注'
  row format delimited fields terminated by ','
stored as textfile;

数据初始化

-- doris
insert into export_test01 values
(1,1),(2,3),(1,2),(3,2)
select * from export_test01;

导出任务创建

EXPORT TABLE zbh_test.export_test01
TO "hdfs://doris:9000/user/hive/warehouse/zbh_test.db/export_test01"
PROPERTIES
(
    "column_separator"=",",
  "load_mem_limit"="2147483648",
    "timeout" = "3600"
)
WITH BROKER "broker_name"
(
    "username" = "hadoop",
    "password" = ""
);

结果验证

 SHOW EXPORT 

OutFile案例

测试表创建

-- doris源表创建
CREATE TABLE export_test02 (
  `id` varchar(1000) NULL COMMENT "来源库表键",
  `test01` BIGINT SUM DEFAULT "0" COMMENT "测试"
) ENGINE=OLAP
AGGREGATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1",
"in_memory" = "false",
"storage_format" = "V2"
);
-- hive目标表创建
CREATE EXTERNAL TABLE zbh_test.export_test02 (
  `id` varchar(1000) comment 'id',
  `test01` bigint comment 'tf')
  comment '表备注'
  row format delimited fields terminated by ','
stored as textfile;

数据初始化

-- doris
insert into export_test02 values
(2,1),(2,3),(3,2),(3,2)
select * from export_test02

导出任务创建

SELECT * FROM export_test02
INTO OUTFILE "hdfs://doris:9000/user/hive/warehouse/zbh_test.db/export_test02/result_"
FORMAT AS CSV
PROPERTIES
(
    "broker.name" = "broker_name",
    "column_separator" = ",",
    "line_delimiter" = "\n",
    "broker.username"="hadoop",
    "broker.password"=""
); 

结果验证

select into outfile 为同步命令,导出后会直接显示结果

broker常用的broker load、export和select into outfile快速体验至此结束,体验过程中若遇到问题欢迎留言交流

相关文章
|
23天前
|
存储 数据库连接 Apache
Apache Doris 2.0.4 版本正式发布
亲爱的社区小伙伴们,[Apache Doris 2.0.4 ](https://doris.apache.org/download/) 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化,以提供更加稳定高效的性能体验。新版本已经上线,欢迎大家下载使用!
|
26天前
|
SQL 存储 自然语言处理
文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读
如何充分利用倒排索引以及 NGram Bloom Filter 索引进行查询加速,并详细解析其工作原理与最佳实践。
文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读
|
30天前
|
存储 关系型数据库 Apache
Apache Doris 实时数据仓库的构建与技术选型方案
Apache Doris 实时数据仓库的构建与技术选型方案
|
30天前
|
SQL 关系型数据库 Apache
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
320 1
|
1月前
|
SQL 存储 Apache
银联商务:阿里云数据库 SelectDB 版内核 Apache Doris 赋能“科技银商”,助力金融机构挖掘增长新机遇
银联商务基于 Apache Doris 构建了新一代实时数据仓库架构,使数据导入性能提升 2-5 倍、ETL 场景性能提升 3-12 倍、查询分析响应速度提升 10-15 倍。
|
1月前
|
存储 关系型数据库 Apache
Apache Doris 入门 10 问
本文解答了Apache Doris 在读写流程、副本一致性机制、 存储机制、高可用机制等方面的常见疑问点,欢迎订阅。
Apache Doris 入门 10 问
|
1月前
|
存储 SQL 关系型数据库
Apache Doris 聚合函数源码阅读与解析|源码解读系列
Apache Doris Active Contributor 隐形通过本文记录下对源码的理解,以方便新人快速上手源码开发。
Apache Doris 聚合函数源码阅读与解析|源码解读系列
|
1天前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
12 5
|
17天前
|
SQL 并行计算 大数据
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink(基础加强+运行原理)
关于Flink服务的搭建与部署,由于其涉及诸多实战操作而理论部分相对较少,小编打算采用一个独立的版本和环境来进行详尽的实战讲解。考虑到文字描述可能无法充分展现操作的细节和流程,我们决定以视频的形式进行分析和介绍。因此,在本文中,我们将暂时不涉及具体的搭建和部署步骤。
178 3
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink(基础加强+运行原理)
|
30天前
|
SQL 关系型数据库 MySQL
Apache Flink 和 Paimon 在自如数据集成场景中的使用
Apache Flink 和 Paimon 在自如数据集成场景中的使用
122 0

推荐镜像

更多