Dremio与Drill的对比

本文涉及的产品
密钥管理服务KMS,1000个密钥,100个凭据,1个月
简介: 1.简述Dremio与Drill简述2.区别a).数据源支持使用最新版本Dremio 3.3.1和Drill 1.16.0Dremio3.1.3版本开始不支持HBase,将来会开源社区版HBase连接器b).

1.简述

Dremio与Drill简述

2.区别

a).数据源支持

使用最新版本Dremio 3.3.1和Drill 1.16.0
Dremio3.1.3版本开始不支持HBase,将来会开源社区版HBase连接器

image
image

b).自定义功能扩展

  • Dremio无自定义功能开发API
  • Drill有自定义功能开发API: 开发SQL自定义聚合函数,但该功能处于实验阶段

3.性能对比

a).Dremio聚合查询性能

  1. 明细数据79457153条,聚合结果510002条
  2. 原始数据聚合查询3分41秒,使用数据反射聚合查询小于1s
  3. CPU消耗:原始数据聚合时间长使用低,数据反射聚合时间短使用高

image

图1 Dremio聚合查询数据量及耗时

image

图2 Dremio聚合查询CPU使用

b).Drill聚合查询性能

  1. 明细数据39634975条,聚合结果500000条
  2. 原始数据聚合查询3分6秒

image
image

图3 Drill聚合查询

4.Dremio未开源部分

Dremio主要未开源部分如下:

a).数据安全

  1. 用户、组和角色的管理
  2. 数据源的共享
  3. 虚拟数据源之上的行、列级权限控制
  4. 个人访问令牌(PAT)

b).Wire Encryption(线加密)

  1. 全线加密
  2. ODBC / JDBC客户端加密
  3. 集群内加密
  4. 仅Web服务器加密(开源)

c).REST API

  1. 工作负载管理API
  2. 用户和令牌相关API
  3. 检索所有数据反射和根据摘要检索数据反射
  4. 仅根据Id检索数据反射、创建、修改和删除检索数据反射(开源)

d).单点登陆(SSO)

e).LDAP身份验证(轻型目录访问协议)

目录
相关文章
|
SQL 存储 数据挖掘
Dremio架构分析
一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。
9410 0
|
SQL 分布式计算 Hadoop
Hive on Tez 的安装配置
Hive on Tez 的安装配置
570 0
Hive on Tez 的安装配置
|
SQL 分布式计算 监控
Kylin 是什么?
Apache Kylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
227 1
Kylin 是什么?
|
SQL 存储 分布式计算
Presto实现Hive Connector的配置实录
学习一个东西,个人认为最好的方式是:官网+源码+实践。 Postgre官网:https://prestodb.io
686 1
Presto实现Hive Connector的配置实录
|
安全 网络协议 Java
Dremio: 为 Tableau Desktop 配置 Dremio 连接器
Dremio: 为 Tableau Desktop 配置 Dremio 连接器
288 0
Dremio: 为 Tableau Desktop 配置 Dremio 连接器
|
存储 分布式计算 关系型数据库
基于MinIO/Deleta Lake/Dremio和Superset或Metabase搭建简单的数据湖
基于MinIO/Deleta Lake/Dremio和Superset或Metabase搭建简单的数据湖
1630 0
基于MinIO/Deleta Lake/Dremio和Superset或Metabase搭建简单的数据湖
|
SQL 关系型数据库 MySQL
Ambari部署Hive
Ambari部署Hive
173 0
Ambari部署Hive
|
SQL 存储 分布式计算
CDP中的Hive3系列之Hive3使用指南
在了解了Apache Hive3的特性和启动Hive后,就需要了解如何使用Apache Hive3.
3168 0
CDP中的Hive3系列之Hive3使用指南
|
数据可视化 Python 数据库连接
Dremio使用Superset可视化
一.启停命令 ## start zookeeper ./zookeeper-3.4.14/bin/zkServer.sh start ./zookeeper-3.4.14/conf/zoo.cfg ## stop zookeeper .
2064 0
|
SQL Java Linux
Hive安装使用
文档及下周网址 官网http://hive.apache.org 文档https://cwiki.apache.org/confluence/display/Hive/GettingStarted https://cwiki.
2819 0