Dremio与Drill的对比

本文涉及的产品
密钥管理服务KMS,1000个密钥,100个凭据,1个月
简介: 1.简述Dremio与Drill简述2.区别a).数据源支持使用最新版本Dremio 3.3.1和Drill 1.16.0Dremio3.1.3版本开始不支持HBase,将来会开源社区版HBase连接器b).

1.简述

Dremio与Drill简述

2.区别

a).数据源支持

使用最新版本Dremio 3.3.1和Drill 1.16.0
Dremio3.1.3版本开始不支持HBase,将来会开源社区版HBase连接器

image
image

b).自定义功能扩展

  • Dremio无自定义功能开发API
  • Drill有自定义功能开发API: 开发SQL自定义聚合函数,但该功能处于实验阶段

3.性能对比

a).Dremio聚合查询性能

  1. 明细数据79457153条,聚合结果510002条
  2. 原始数据聚合查询3分41秒,使用数据反射聚合查询小于1s
  3. CPU消耗:原始数据聚合时间长使用低,数据反射聚合时间短使用高

image

图1 Dremio聚合查询数据量及耗时

image

图2 Dremio聚合查询CPU使用

b).Drill聚合查询性能

  1. 明细数据39634975条,聚合结果500000条
  2. 原始数据聚合查询3分6秒

image
image

图3 Drill聚合查询

4.Dremio未开源部分

Dremio主要未开源部分如下:

a).数据安全

  1. 用户、组和角色的管理
  2. 数据源的共享
  3. 虚拟数据源之上的行、列级权限控制
  4. 个人访问令牌(PAT)

b).Wire Encryption(线加密)

  1. 全线加密
  2. ODBC / JDBC客户端加密
  3. 集群内加密
  4. 仅Web服务器加密(开源)

c).REST API

  1. 工作负载管理API
  2. 用户和令牌相关API
  3. 检索所有数据反射和根据摘要检索数据反射
  4. 仅根据Id检索数据反射、创建、修改和删除检索数据反射(开源)

d).单点登陆(SSO)

e).LDAP身份验证(轻型目录访问协议)

目录
相关文章
|
SQL 存储 数据挖掘
Dremio架构分析
一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。
9407 0
|
SQL 存储 分布式计算
关于数据仓库的Hive的安装部署的Local模式
在数据分析和数据挖掘领域,数据仓库是一个非常重要的工具。Hive是阿里云提供的一个开源数据仓库解决方案,它基于Hadoop和HiveQL语言,可以帮助用户轻松地处理大规模数据。在本文中,我们将探讨Hive的安装部署以及Local模式的概念和优势。
192 2
|
分布式数据库 Hbase
《JanusGraph —Distributed graph database with HBase》电子版地址
JanusGraph —Distributed graph database with HBase
84 0
《JanusGraph —Distributed graph database with HBase》电子版地址
|
OLAP 分布式数据库 Apache
《Apache Kylin on HBase extreme OLAP for big data》电子版地址
Apache Kylin on HBase: extreme OLAP for big data
105 0
《Apache Kylin on HBase extreme OLAP for big data》电子版地址
|
存储 分布式计算 关系型数据库
基于MinIO/Deleta Lake/Dremio和Superset或Metabase搭建简单的数据湖
基于MinIO/Deleta Lake/Dremio和Superset或Metabase搭建简单的数据湖
1628 0
基于MinIO/Deleta Lake/Dremio和Superset或Metabase搭建简单的数据湖
|
安全 网络协议 Java
Dremio: 为 Tableau Desktop 配置 Dremio 连接器
Dremio: 为 Tableau Desktop 配置 Dremio 连接器
286 0
Dremio: 为 Tableau Desktop 配置 Dremio 连接器
|
SQL 分布式计算 Hadoop
Cloudera-manager(CDH6.3.0)大数据平台搭建一指禅(impala,kudu,hdfs,hive,kafka,yarn,spark,hbase,hue)
Cloudera-manager(CDH6.3.0)大数据平台搭建一指禅指南(impala,kudu,hdfs,hive,kafka,yarn,spark,hbase,hue) CHD6,大量hadoop生态的重大更新升级,果断把现有系统升级到CHD6上。
4401 0
|
数据可视化 Python 数据库连接
Dremio使用Superset可视化
一.启停命令 ## start zookeeper ./zookeeper-3.4.14/bin/zkServer.sh start ./zookeeper-3.4.14/conf/zoo.cfg ## stop zookeeper .
2064 0