Dremio与Drill的对比

简介: 1.简述Dremio与Drill简述2.区别a).数据源支持使用最新版本Dremio 3.3.1和Drill 1.16.0Dremio3.1.3版本开始不支持HBase,将来会开源社区版HBase连接器b).

1.简述

Dremio与Drill简述

2.区别

a).数据源支持

使用最新版本Dremio 3.3.1和Drill 1.16.0
Dremio3.1.3版本开始不支持HBase,将来会开源社区版HBase连接器

image
image

b).自定义功能扩展

  • Dremio无自定义功能开发API
  • Drill有自定义功能开发API: 开发SQL自定义聚合函数,但该功能处于实验阶段

3.性能对比

a).Dremio聚合查询性能

  1. 明细数据79457153条,聚合结果510002条
  2. 原始数据聚合查询3分41秒,使用数据反射聚合查询小于1s
  3. CPU消耗:原始数据聚合时间长使用低,数据反射聚合时间短使用高

image

图1 Dremio聚合查询数据量及耗时

image

图2 Dremio聚合查询CPU使用

b).Drill聚合查询性能

  1. 明细数据39634975条,聚合结果500000条
  2. 原始数据聚合查询3分6秒

image
image

图3 Drill聚合查询

4.Dremio未开源部分

Dremio主要未开源部分如下:

a).数据安全

  1. 用户、组和角色的管理
  2. 数据源的共享
  3. 虚拟数据源之上的行、列级权限控制
  4. 个人访问令牌(PAT)

b).Wire Encryption(线加密)

  1. 全线加密
  2. ODBC / JDBC客户端加密
  3. 集群内加密
  4. 仅Web服务器加密(开源)

c).REST API

  1. 工作负载管理API
  2. 用户和令牌相关API
  3. 检索所有数据反射和根据摘要检索数据反射
  4. 仅根据Id检索数据反射、创建、修改和删除检索数据反射(开源)

d).单点登陆(SSO)

e).LDAP身份验证(轻型目录访问协议)

目录
相关文章
|
SQL 存储 数据挖掘
Dremio架构分析
一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。
10510 0
|
存储 数据可视化 Serverless
使用蒙特卡罗模拟的投资组合优化
在金融市场中,优化投资组合对于实现风险与回报之间的预期平衡至关重要。蒙特卡罗模拟提供了一个强大的工具来评估不同的资产配置策略及其在不确定市场条件下的潜在结果。
1209 1
|
8月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
457 2
|
10月前
|
SQL 数据可视化 数据库
Dataphin功能Tips系列(65)-如何实现StarRocks外表到目标库的血缘链路可视化
客户需将StarRocks外部Catalog数据写入内部Default Catalog目标库,并希望在Dataphin中查看内表上游血缘信息以实现全链路追踪。由于Dataphin目前不支持直接采集StarRocks外部Catalog元数据,可通过以下方式实现:在Dataphin中创建StarRocks数据源并配置采集任务,开发时使用三段式表引用格式,在SQL任务中自动解析血缘信息,最终在资产清单中查看血缘关系。
225 0
|
Ubuntu 关系型数据库 MySQL
libmysqlclient.so.18(libmysqlclient.so.20 libmysqlclien.so) => not found
libmysqlclient.so.18(libmysqlclient.so.20 libmysqlclien.so) => not found
1725 0
libmysqlclient.so.18(libmysqlclient.so.20 libmysqlclien.so) => not found
|
人工智能 搜索推荐 数据可视化
Manus:或将成为AI Agent领域的标杆
随着人工智能技术的飞速发展,AI Agent(智能体)作为人工智能领域的重要分支,正逐渐从概念走向现实,并在各行各业展现出巨大的应用潜力。在众多AI Agent产品中,Manus以其独特的技术优势和市场表现,有望成为该领域的标杆。作为资深AI工程师,本文将深入探讨Manus的背景知识、主要业务场景、底层原理、功能的优缺点,并尝试使用Java搭建一个属于自己的Manus助手,以期为AI Agent技术的发展和应用提供参考。
13576 19
|
分布式计算 Serverless 调度
EMR Serverless Spark:结合实时计算 Flink 基于 Paimon 实现流批一体
本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程,包括数据入湖 OSS、交互式查询,以及离线Compact。Serverless Spark完全兼容Paimon,通过内置的DLF的元数据实现了和其余云产品如实时计算Flink版的元数据互通,形成了完整的流批一体的解决方案。同时支持灵活的作业运行方式和参数配置,能够满足实时分析、生产调度等多项需求。
61369 107
|
机器学习/深度学习 存储 人工智能
这7个矢量数据库你应该知道!
这7个矢量数据库你应该知道!
5963 10
|
人工智能 自然语言处理 文字识别
秒懂全文:盘点13个各具特色的AI智能阅读助手工具
在当今信息爆炸的时代,AI阅读工具正在革新我们的阅读方式,成为了提高效率、优化阅读体验的关键。这类AI阅读辅助工具,只需要上传文件或者输入链接,便可以直接以聊天对话的形式进行一键总结和智能问答,满足用户AI PDF 阅读、AI文档问答分析、AI音视频总结等多种实用需求,高效提炼信息要点精华,建立属于自己的AI知识管理和信息管理工作流。对此,根据阅读场景,精选了 13 个具有代表性、各具特点的高质量 AI 阅读助手助理。 具体如何选择,见文末总结。
3220 1
秒懂全文:盘点13个各具特色的AI智能阅读助手工具

热门文章

最新文章