Dremio简述

简介: 一.简述 Dremio是一款DaaS(Data-as-a-Service)数据即服务平台,可对接多类数据源来进行BI分析;数据可视化依托于Tableau、Power BI和Qlick sense三类产品。

一.简述

Dremio是一款DaaS(Data-as-a-Service)数据即服务平台,可对接多类数据源来进行BI分析;数据可视化依托于Tableau、Power BI和Qlik sense三类产品。

二.功能

a).Dremio支持的数据源

b).Dremio支持数据类型

c).执行任务分析

可分析SQL执行的各环节耗时等,对SQL优化很有帮助

三.下载安装

a).Dremio下载

根据实际应用系统,选择对应版本下载Dremio

dremio-community-3.3.1.tar.gz
dremio-community-3.3.1.noarch.rpm

b).Dremio驱动下载

1).JDBC

Download: dremio-jdbc-driver-3.3.1

2).ODBC

Download For Win: dremio-connector-odbc-1.4.0
Download For Linux: dremio-odbc-1.4.0

c).可视化工具下载

1).Qlik Sense

Qlik_Sense_Desktop免费试用版

2).Tableau

TableauDesktop免费试用版
TableauPublicDesktop免费版

3).Power BI

PBIDesktop免费试用版

d).安装

1).dremio-connector-odbc安装

2).Tableau安装

3).Dremio安装

rpm -ivh dremio-community-3.3.1-201907291852280797_df23756_1.noarch.rpm

tar -zxvf dremio-community-3.3.1-201907291852280797-df23756.tar.gz

4).修改配置

paths: {
  # the local path for dremio to store data.
  local: ${DREMIO_HOME}"/data"

  # the distributed path Dremio data including job results, downloads, uploads, etc
  #dist: "pdfs://"${paths.local}"/pdfs"
}

services: {
  coordinator.enabled: true,
  coordinator.master.enabled: true,
  executor.enabled: true
}

registration.publish-host: "hostname"

## Use External Zookeeper
services.coordinator.master.embedded-zookeeper.enabled: false
zookeeper: "hostname1:2181,hostname2:2181,hostname3:2181"

四.案例

a).hive数据分析

Dremio案例_Hive数据分析

b).hdfs数据分析

Dremio案例_HDFS文件数据分析

c).本地Json文件数据分析

Dremio案例_本地Json文件数据分析

d).Elasticserch数据分析

Dremio案例_Elasticserch数据分析

目录
相关文章
|
SQL 存储 数据挖掘
Dremio架构分析
一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。
10659 0
|
SQL 关系型数据库 MySQL
Hive跨集群和版本迁移
Hive跨集群和版本迁移
|
搜索推荐 Java jenkins
sonar整合阿里java规范开发历程
sonar整合阿里java规范开发历程
|
负载均衡 网络协议 Dubbo
微服务架构 | 3. 注册中心与服务发现
注册中心用来集中管理微服务,实现服务的注册,发现,检查等功能;
4180 2
微服务架构 | 3. 注册中心与服务发现
|
10月前
|
存储 人工智能 分布式计算
阿里云DLF 3.0:面向AI时代的智能全模态湖仓管理平台
在2025年云栖大会,阿里云发布DLF 3.0,升级为面向AI时代的智能全模态湖仓管理平台。支持结构化与非结构化数据统一管理,实现秒级实时处理、智能存储优化与细粒度安全控制,助力企业高效构建Data+AI基础设施。
2688 3
|
机器学习/深度学习 人工智能 并行计算
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
AI部署架构:A100、H100、A800、H800、H20的差异以及如何选型?开发、测试、生产环境如何进行AI大模型部署架构?
|
11月前
|
存储 监控 算法
117_LLM训练的高效分布式策略:从数据并行到ZeRO优化
在2025年,大型语言模型(LLM)的规模已经达到了数千亿甚至数万亿参数,训练这样的庞然大物需要先进的分布式训练技术支持。本文将深入探讨LLM训练中的高效分布式策略,从基础的数据并行到最先进的ZeRO优化技术,为读者提供全面且实用的技术指南。
983 2
|
11月前
|
机器学习/深度学习 数据采集 人工智能
112_跨模态微调:文本与图像联合优化
跨模态微调是指在预训练的多模态模型(如CLIP)基础上,针对特定任务进行的参数调整过程。与单一模态微调不同,跨模态微调需要同时考虑文本和图像两种模态之间的交互与对齐,这使得整个优化过程更加复杂但也更具潜力。
765 0
|
数据可视化 IDE 开发者
【Python篇】PyQt5 超详细教程——由入门到精通(终篇)
【Python篇】PyQt5 超详细教程——由入门到精通(终篇)
3459 1
|
Java 数据安全/隐私保护 开发者
SpringBoot整合TrueLicense生成和验证License证书
TrueLicense生成和验证License证书
5372 1