Dremio简述

简介: 一.简述 Dremio是一款DaaS(Data-as-a-Service)数据即服务平台,可对接多类数据源来进行BI分析;数据可视化依托于Tableau、Power BI和Qlick sense三类产品。

一.简述

Dremio是一款DaaS(Data-as-a-Service)数据即服务平台,可对接多类数据源来进行BI分析;数据可视化依托于Tableau、Power BI和Qlik sense三类产品。

二.功能

a).Dremio支持的数据源

b).Dremio支持数据类型

c).执行任务分析

可分析SQL执行的各环节耗时等,对SQL优化很有帮助

三.下载安装

a).Dremio下载

根据实际应用系统,选择对应版本下载Dremio

dremio-community-3.3.1.tar.gz
dremio-community-3.3.1.noarch.rpm

b).Dremio驱动下载

1).JDBC

Download: dremio-jdbc-driver-3.3.1

2).ODBC

Download For Win: dremio-connector-odbc-1.4.0
Download For Linux: dremio-odbc-1.4.0

c).可视化工具下载

1).Qlik Sense

Qlik_Sense_Desktop免费试用版

2).Tableau

TableauDesktop免费试用版
TableauPublicDesktop免费版

3).Power BI

PBIDesktop免费试用版

d).安装

1).dremio-connector-odbc安装

2).Tableau安装

3).Dremio安装

rpm -ivh dremio-community-3.3.1-201907291852280797_df23756_1.noarch.rpm

tar -zxvf dremio-community-3.3.1-201907291852280797-df23756.tar.gz

4).修改配置

paths: {
  # the local path for dremio to store data.
  local: ${DREMIO_HOME}"/data"

  # the distributed path Dremio data including job results, downloads, uploads, etc
  #dist: "pdfs://"${paths.local}"/pdfs"
}

services: {
  coordinator.enabled: true,
  coordinator.master.enabled: true,
  executor.enabled: true
}

registration.publish-host: "hostname"

## Use External Zookeeper
services.coordinator.master.embedded-zookeeper.enabled: false
zookeeper: "hostname1:2181,hostname2:2181,hostname3:2181"

四.案例

a).hive数据分析

Dremio案例_Hive数据分析

b).hdfs数据分析

Dremio案例_HDFS文件数据分析

c).本地Json文件数据分析

Dremio案例_本地Json文件数据分析

d).Elasticserch数据分析

Dremio案例_Elasticserch数据分析

目录
相关文章
|
SQL 存储 数据挖掘
Dremio架构分析
一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。
10177 0
|
流计算 API Apache
Apache Flink 零基础入门(一):基础概念解析
本文是根据 Apache Flink 基础篇系列直播整理而成,由 Apache Flink PMC 戴资力与阿里巴巴高级产品专家陈守元共同分享。Apache Flink 系列入门教程每周更新一期,持续推送。
Apache Flink 零基础入门(一):基础概念解析
|
4月前
|
存储 消息中间件 人工智能
Fluss:重新定义实时数据分析与 AI 时代的流式存储
Apache Fluss(孵化中)是新一代流式存储系统,旨在解决传统架构中数据重复复制、高成本与复杂性等问题。它基于 Apache Arrow 构建,支持列式存储、实时更新与高效查询,融合流处理与湖仓架构优势,适用于实时分析、AI 与多模态数据场景。Fluss 提供统一读写、冷热分层与开放生态,已在阿里巴巴大规模落地,助力企业实现低成本、高效率的实时数据处理。
567 26
|
5月前
|
存储 SQL Cloud Native
热烈祝贺 Flink 2.0 存算分离入选 VLDB 2025
Apache Flink 2.0架构实现重大突破,论文《Disaggregated State Management in Apache Flink® 2.0》被VLDB 2025收录。该研究提出解耦式状态管理架构,通过异步执行框架与全新存储引擎ForSt,实现状态与计算分离,显著提升扩展性、容错能力与资源效率,推动Flink向云原生演进,开启流计算新时代。
797 1
热烈祝贺 Flink 2.0 存算分离入选 VLDB 2025
|
8月前
|
人工智能 API 开发工具
MCP圣经:从入门到精通,从精通到放弃,理论 + 实践吃透 大火的 MCP 协议
MCP圣经:从入门到精通,从精通到放弃,理论 + 实践吃透 大火的 MCP 协议
MCP圣经:从入门到精通,从精通到放弃,理论 + 实践吃透 大火的 MCP 协议
|
存储 消息中间件 SQL
流存储Fluss:迈向湖流一体架构
本文整理自阿里云高级开发工程师罗宇侠在Flink Forward Asia 2024上海站的分享,介绍了湖流割裂的现状与挑战,Fluss湖流一体架构的设计与优势,以及未来规划。内容涵盖湖流割裂的现状、Fluss架构详解、湖流一体带来的收益,以及未来的生态扩展和技术优化。
1065 11
流存储Fluss:迈向湖流一体架构
|
存储 缓存 测试技术
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
近日,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench(https://benchmark.clickhouse.com/)中,现代化实时数仓 SelectDB 时隔两年后再次登顶,在全部近百款数据库和数十种机型中,性能表现位居总榜第一!
593 1
|
存储 SQL 分布式计算
浅谈MPP架构
浅谈MPP架构
|
存储 SQL 机器学习/深度学习
Dremio:使数据分析民主化
Dremio:使数据分析民主化
Dremio:使数据分析民主化