Dremio简述

简介: 一.简述 Dremio是一款DaaS(Data-as-a-Service)数据即服务平台,可对接多类数据源来进行BI分析;数据可视化依托于Tableau、Power BI和Qlick sense三类产品。

一.简述

Dremio是一款DaaS(Data-as-a-Service)数据即服务平台,可对接多类数据源来进行BI分析;数据可视化依托于Tableau、Power BI和Qlik sense三类产品。

二.功能

a).Dremio支持的数据源

b).Dremio支持数据类型

c).执行任务分析

可分析SQL执行的各环节耗时等,对SQL优化很有帮助

三.下载安装

a).Dremio下载

根据实际应用系统,选择对应版本下载Dremio

dremio-community-3.3.1.tar.gz
dremio-community-3.3.1.noarch.rpm

b).Dremio驱动下载

1).JDBC

Download: dremio-jdbc-driver-3.3.1

2).ODBC

Download For Win: dremio-connector-odbc-1.4.0
Download For Linux: dremio-odbc-1.4.0

c).可视化工具下载

1).Qlik Sense

Qlik_Sense_Desktop免费试用版

2).Tableau

TableauDesktop免费试用版
TableauPublicDesktop免费版

3).Power BI

PBIDesktop免费试用版

d).安装

1).dremio-connector-odbc安装

2).Tableau安装

3).Dremio安装

rpm -ivh dremio-community-3.3.1-201907291852280797_df23756_1.noarch.rpm

tar -zxvf dremio-community-3.3.1-201907291852280797-df23756.tar.gz

4).修改配置

paths: {
  # the local path for dremio to store data.
  local: ${DREMIO_HOME}"/data"

  # the distributed path Dremio data including job results, downloads, uploads, etc
  #dist: "pdfs://"${paths.local}"/pdfs"
}

services: {
  coordinator.enabled: true,
  coordinator.master.enabled: true,
  executor.enabled: true
}

registration.publish-host: "hostname"

## Use External Zookeeper
services.coordinator.master.embedded-zookeeper.enabled: false
zookeeper: "hostname1:2181,hostname2:2181,hostname3:2181"

四.案例

a).hive数据分析

Dremio案例_Hive数据分析

b).hdfs数据分析

Dremio案例_HDFS文件数据分析

c).本地Json文件数据分析

Dremio案例_本地Json文件数据分析

d).Elasticserch数据分析

Dremio案例_Elasticserch数据分析

目录
相关文章
|
SQL 存储 数据挖掘
Dremio架构分析
一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。
10597 0
|
SQL 关系型数据库 MySQL
Hive跨集群和版本迁移
Hive跨集群和版本迁移
|
Prometheus 监控 安全
SpringBoot Actuator未授权访问漏洞的解决方法
SpringBoot Actuator未授权访问漏洞的解决方法Actuator 是 SpringBoot 提供的用来对应用系统进行自省和监控的功能模块,借助于 Actuator 开发者可以很方便地对应用系统某些监控指标进行查看、统计等。
33139 0
|
Java 测试技术 Python
Python:Flask使用ThreadPoolExecutor执行异步任务
Python:Flask使用ThreadPoolExecutor执行异步任务
1116 0
|
1月前
|
人工智能 运维 Kubernetes
阿里云正式发布 RCA Benchmark,业界首个面向 Agentic Ops 的根因分析开源基准体系
阿里云联合信通院、中科院软件所/计算机网络信息中心、清华大学、复旦大学、南开大学,正式开源首个面向 Agentic Ops 根因分析评估基准RCA Benchmark。通过构建数据集、评估协议与仿真环境,帮助衡量 AI Agent 故障诊断能力,为行业落地夯实底座。
|
6月前
|
人工智能 IDE 安全
牛,AI 写代码进入“编排时代”:Vibe Kanban 让多个 Agent 并行干活~~~
小华同学推荐高效AI编程工具Vibe Kanban:支持多Agent并行开发、Git隔离安全运行,可视化Code Review,本地部署不外传代码。集成Claude、Codex等主流模型,配合看板式任务管理,提升开发效率50%以上,10万+开发者已订阅!
1218 1
|
机器学习/深度学习 人工智能 并行计算
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
|
存储 容灾 NoSQL
同城双活的必修课 - 落地经验与关键挑战解析
同城双活作为一种容灾架构,通过在同一城市建立两个数据中心,以确保在一个数据中心发生故障时,系统能够快速切换到另一个数据中心,从而提高系统的可用性
2167 2
同城双活的必修课 - 落地经验与关键挑战解析
|
数据采集 人工智能 数据管理
数据管理进化论:DMS助力企业实现智能Data Mesh
Gartner分析师认为Data Mesh对企业提升数据价值交付效率具有重要意义,阿里云数据管理服务DMS给出了对于Data Mesh的核心思考,包括企业什么时候应该考虑实施Data Mesh,如何解决业务团队素养和意愿问题。结合这些思考,DMS提出了企业可行的落地策略,即企业应以数据价值不断提升为导向,基于元数据驱动的Fabric、AI等能力实现智能Data Mesh,最终形成分布式和集中化的动态平衡,以达到企业数据驱动的最佳状态。
2355 6
数据管理进化论:DMS助力企业实现智能Data Mesh
|
存储 Kubernetes 网络协议
Kubernetes 集群部署 NFS-Subdir-External-Provisioner 存储插件
Kubernetes 对 Pod 进行调度时,以当时集群中各节点的可用资源作为主要依据,自动选择某一个可用的节点,并将 Pod 分配到该节点上。在这种情况下,Pod 中容器数据的持久化如果存储在所在节点的磁盘上,就会产生不可预知的问题,例如,当 Pod 出现故障,Kubernetes 重新调度之后,Pod 所在的新节点上,并不存在上一次 Pod 运行时所在节点上的数
9607 3
Kubernetes 集群部署 NFS-Subdir-External-Provisioner 存储插件