[1.2.0新功能系列:二] Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: [1.2.0新功能系列:二] Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog

JDBC 外表


JDBC External Table Of Doris 提供了Doris通过数据库访问的标准接口(JDBC)来访问外部表,外部表省去了繁琐的数据导入工作,也省去了之前ODBC繁杂的驱动安装部署及版本匹配问题,兼容性更好,操作更简单,让Doris可以具有了访问各式数据库的能力,并借助Doris本身的OLAP的能力来解决外部表的数据分析问题:


支持各种数据源接入Doris


支持Doris与各种数据源中的表联合查询,进行更加复杂的分析操作


创建 JDBC Resource


Doris 目前支持的JDBC数据源有:MySQL,Oracle,PostgreSQL,SQLServer,Clickhouse

这里我们以MySQL为例来演示

CREATE EXTERNAL RESOURCE jdbc_resource
properties (
   "type"="jdbc",
   "user"="root",
   "password"="zhangfeng",
   "jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",
   "driver_url"="file:///Users/zhangfeng/.m2/repository/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar",
   "driver_class"="com.mysql.cj.jdbc.Driver"
);

这里 driver_url 可以使用本地路径和http路径两种方式,


注意:


如果是本地路径要求所有 FE 和 BE 节点都要有这个驱动 Jar 包


http 方式是 FE 和 BE 是通过 http 方式下载驱动到本地


http方式示例如下:

CREATE EXTERNAL RESOURCE jdbc_resource
properties (
   "type"="jdbc",
   "user"="root",
   "password"="zhangfeng",
   "jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",
   "driver_url"="http://192.168.31.54/8.0.29/mysql-connector-java-8.0.29.jar",
   "driver_class"="com.mysql.cj.jdbc.Driver"
);

创建MySQL JDBC 外表

CREATE TABLE `order_analysis` (
 `date`  varchar(20),
 `user_src` varchar(20) ,
 `order_src` varchar(11) ,
 `order_location` varchar(2),
 `new_order` int DEFAULT NULL,
 `payed_order` int DEFAULT NULL,
 `pending_order` int DEFAULT NULL,
 `cancel_order` int DEFAULT NULL,
 `reject_order` int DEFAULT NULL,
 `good_order` int DEFAULT NULL,
 `report_order` int DEFAULT NULL
) ENGINE=JDBC
PROPERTIES (
"resource" = "jdbc_resource",
"table" = "order_analysis",
"table_type"="mysql"
);

查询外表

33.png这里我们使用MySQL来演示,其他的JDBC外表使用方式一样,具体请参靠官方文档:


https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/jdbc-of-doris


Mutil Catalog 访问 MySQL


多源数据目录(Multi-Catalog)是 Doris 1.2.0 版本中推出的功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。


在之前的 Doris 版本中,用户数据只有两个层级:Database 和 Table。当我们需要连接一个外部数据目录时,我们只能在Database 或 Table 层级进行对接。比如通过 create external table 的方式创建一个外部数据目录中的表的映射,或通过 create external database 的方式映射一个外部数据目录中的 Database。如果外部数据目录中的 Database 或 Table 非常多,则需要用户手动进行一一映射,使用体验不佳。


而新的 Multi-Catalog 功能在原有的元数据层级上,新增一层Catalog,构成 Catalog -> Database -> Table 的三层元数据层级。其中,Catalog 可以直接对应到外部数据目录。目前支持的外部数据目录包括:


Hive MetaStore:对接一个 Hive MetaStore,从而可以直接访问其中的 Hive、Iceberg、Hudi 等数据。

Elasticsearch:对接一个 ES 集群,并直接访问其中的表和分片。


JDBC: 对接数据库访问的标准接口(JDBC)来访问各式数据库的数据。(目前只支持访问MYSQL)


JDBC Mutil Catalog


下面我们以 MySQL 为例演示 Mutil Catalog 使用


用于创建一个名为 jdbc 的 Catalog 连接指定的 MySQL

CREATE CATALOG jdbc PROPERTIES (
   "type"="jdbc",
   "jdbc.user"="root",
   "jdbc.password"="zhangfeng",
   "jdbc.jdbc_url" = "jdbc:mysql://localhost:3306/demo",
   "jdbc.driver_url" = "file:///Users/zhangfeng/.m2/repository/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar",
   "jdbc.driver_class" = "com.mysql.cj.jdbc.Driver"
);

这里 jdbc.driver_url 可以使用本地路径和http路径两种方式,


注意:


如果是本地路径要求所有 FE 和 BE 节点都要有这个驱动 Jar 包


http 方式是 FE 和 BE 是通过 http 方式下载驱动到本地


http方式示例如下:

CREATE CATALOG jdbc_resource properties (
   "type"="jdbc",
   "jdbc.user"="root",
   "jdbc.password"="zhangfeng",
   "jdbc.jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",
   "jdbc.driver_url"="http://192.168.31.54/8.0.29/mysql-connector-java-8.0.29.jar",
   "jdbc.driver_class"="com.mysql.cj.jdbc.Driver"
);

然后我们查看创建好的 Catalog 并切换到我们创建的 catalog下

show catalogs;

34.png

切换到我们创建好的 jdbc catalog

mysql> switch jdbc;
Query OK, 0 rows affected (0.00 sec)

查看 jdbc catalog 下的数据库

 show databases;

35.png

切换数据库

mysql> use demo;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed

查看数据库下的表

36.png

查看表结构

 desc order_analysis;

37.png查询表

select date,user_src,order_src from order_analysis limit 2;

38.png

下面你就可以通过这个,创建Doris的OLAP表将MySQL的表通过下面这种方式导入到Doris表里


insert into <doris_table> select * from <mysql_table>


你也可以很轻松的使用 JDBC Mutil Catalog方式将MySQL表和Doris表进行关联分析,而不需要创建外表

我们来使用jdbc mutil catalog 外表,使用create table as select方式创建一个doris olap表并将外表的数据导入到doris里

create table demo.order_analysis_3 
PROPERTIES("replication_num" = "1")  
as select * from jdbc.demo.order_analysis;

上面这个sql 我们是通过 jdbc mutil catalog 外表的 jdbc.demo.order_analysis;


这里以 JDBC  Mutil Catalog方式演示了Mutil Catalog方式的使用,其他Hive、Hudi、Iceberg及ES使用方法一样,具体可以参照官方文档:https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/multi-catalog


后面我们也将持续的将其他的DB融合到Mutil Catalog内,为用户提供更方便、更快捷的使用体验


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
存储 自然语言处理 BI
|
1月前
|
Apache Java 数据库连接
Apache Doris 2.0.15 版本发布
Apache Doris 2.0.15 版本已于 2024 年 9 月 30 日正式与大家见面,该版本提交了 157 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。
|
2月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
13天前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
8天前
|
SQL 存储 Java
Apache Doris 2.1.7 版本正式发布
亲爱的社区小伙伴们,**Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。**2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。
|
14天前
|
监控 Cloud Native BI
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库(2024 版)》,汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准,辅以使用场景标签,旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
|
14天前
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
|
1月前
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
29 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
|
1月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
1月前
|
存储 小程序 Apache
10月26日@杭州,飞轮科技 x 阿里云举办 Apache Doris Meetup,探索保险、游戏、制造及电信领域数据仓库建设实践
10月26日,由飞轮科技与阿里云联手发起的 Apache Doris 杭州站 Meetup 即将开启!
54 0