Druid入门(1)—— 快速入门实时分析利器-Druid_0.17

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: Druid入门(1)—— 快速入门实时分析利器-Druid_0.17

一、安装准备


本次安装的版本是截止2020.1.30最新的版本0.17.0

软件要求

  • 需要Java 8(8u92 +)以上的版本,否则会有问题
  • Linux,Mac OS X或其他类似Unix的操作系统(不支持Windows)

硬件要求

Druid包括一组参考配置和用于单机部署的启动脚本:

  • nano-quickstart
  • micro-quickstart
  • small
  • medium
  • large
  • xlarge

单服务器参考配置

Nano-Quickstart:1个CPU,4GB RAM
  • 启动命令: bin/start-nano-quickstart
  • 配置目录: conf/druid/single-server/nano-quickstart
微型快速入门:4个CPU,16GB RAM
  • 启动命令: bin/start-micro-quickstart
  • 配置目录: conf/druid/single-server/micro-quickstart
小型:8 CPU,64GB RAM(〜i3.2xlarge)
  • 启动命令: bin/start-small
  • 配置目录: conf/druid/single-server/small
中:16 CPU,128GB RAM(〜i3.4xlarge)
  • 启动命令: bin/start-medium
  • 配置目录: conf/druid/single-server/medium
大型:32 CPU,256GB RAM(〜i3.8xlarge)
  • 启动命令: bin/start-large
  • 配置目录: conf/druid/single-server/large
大型X:64 CPU,512GB RAM(〜i3.16xlarge)
  • 启动命令: bin/start-xlarge
  • 配置目录: conf/druid/single-server/xlarge

我们这里做测试使用选择最低配置即可nano-quickstart


二、下载安装包


访问官网:

http://druid.io/现在也会跳转https://druid.apache.org/

或者直接访问https://druid.apache.org/

微信图片_20220526214735.jpg

点击download进入下载页面:

微信图片_20220526214739.jpg

选择最新版本: apache-druid-0.17.0-bin.tar.gz 进行下载

200多M

微信图片_20220526214741.jpg

也可以选择下载源码包 用maven进行编译


三、安装


上传安装包

在终端中运行以下命令来安装Druid:

tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0

安装包里有这几个目录:

微信图片_20220526214745.png

  • LICENSENOTICE文件
  • bin/* -脚本
  • conf/* -单服务器和集群设置的示例配置
  • extensions/* -扩展
  • hadoop-dependencies/* -Druid Hadoop依赖
  • lib/* -Druid库
  • quickstart/* -快速入门教程的配置文件,样本数据和其他文件

配置文件

#进入我们要启动的配置文件位置:
cd conf/druid/single-server/nano-quickstart/

微信图片_20220526214748.png

_common 公共配置

微信图片_20220526214751.png

是druid一些基本的配置,比如元数据库地址 各种路径等等

其他的是各个节点的配置

比较类似,比如broker

cd broker/

微信图片_20220526214755.png

jvm配置

main配置

runtime运行时相关的配置

回到主目录

启动的conf在

cd conf/supervise/single-server

微信图片_20220526222555.png

里面是不同配置启动不同的脚本


四、启动


回到主目录

./bin/start-nano-quickstart

启动成功:

微信图片_20220526222758.jpg

访问

localhost:8888

看到管理页面

微信图片_20220526222802.jpg

如果要修改端口,需要修改配置的端口和主目录下的

vi bin/verify-default-ports


五、加载数据


Druid提供了一个示例数据文件,其中包含2015年9月12日发生的Wiki的示例数据。

此样本数据位于quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz

示例数据大概是这样:

{
  "timestamp":"2015-09-12T20:03:45.018Z",
  "channel":"#en.wikipedia",
  "namespace":"Main",
  "page":"Spider-Man's powers and equipment",
  "user":"foobar",
  "comment":"/* Artificial web-shooters */",
  "cityName":"New York",
  "regionName":"New York",
  "regionIsoCode":"NY",
  "countryName":"United States",
  "countryIsoCode":"US",
  "isAnonymous":false,
  "isNew":false,
  "isMinor":false,
  "isRobot":false,
  "isUnpatrolled":false,
  "added":99,
  "delta":99,
  "deleted":0,
}

Druid加载数据分为以下几种:

  • 加载文件
  • 从kafka中加载数据
  • 从hadoop中加载数据
  • 自定义加载方式

我们这样演示一下加载示例文件数据

1、进入localhost:8888 点击load data

微信图片_20220526222805.jpg

2、选择local disk

微信图片_20220526222808.jpg

3、选择Connect data

微信图片_20220526222811.jpg

4、预览数据

Base directory输入quickstart/tutorial/

File filter输入 wikiticker-2015-09-12-sampled.json.gz

然后点击apply预览 就可以看见数据了 点击Next:parse data解析数据

微信图片_20220526222815.jpg

5、解析数据

可以看到json数据已经被解析了 继续解析时间

微信图片_20220526222818.jpg

6、解析时间

解析时间成功 之后两步是transform和filter 这里不做演示了 直接next

微信图片_20220526222821.jpg

7、确认Schema

这一步会让我们确认Schema 可以做一些修改

由于数据量较小 我们直接关掉Rollup 直接下一步

微信图片_20220526222840.jpg

8、设置分段

这里可以设置数据分段 我们选择hour next

微信图片_20220526222827.jpg

9、确认发布

image.png

image.png

10、发布成功 开始解析数据

微信图片_20220526222836.jpg

等待任务成功

微信图片_20220526222840.jpg

11、查看数据

选择datasources 可以看到我们加载的数据

可以看到数据源名称 Fully是完全可用 还有大小等各种信息

微信图片_20220526222843.jpg

12、查询数据

点击query按钮

我们可以写sql查询数据了 还可以将数据下载

微信图片_20220526222847.jpg


相关文章
|
6月前
|
SQL Java 数据库连接
实时计算 Flink版产品使用合集之怎么将MyBatis-Plus集成到SQL语法中
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
Java 数据库连接 数据库
【Spring技术专题】「实战开发系列」保姆级教你SpringBoot整合Mybatis框架实现多数据源的静态数据源和动态数据源配置落地
Mybatis是一个基于JDBC实现的,支持普通 SQL 查询、存储过程和高级映射的优秀持久层框架,去掉了几乎所有的 JDBC 代码和参数的手工设置以及对结果集的检索封装。 Mybatis主要思想是将程序中大量的 SQL 语句剥离出来,配置在配置文件中,以实现 SQL 的灵活配置。在所有 ORM 框架中都有一个非常重要的媒介——PO(持久化对象),PO 的作用就是完成持久化操作,通过该对象对数据库执行增删改的操作,以面向对象的方式操作数据库。
97 1
【Spring技术专题】「实战开发系列」保姆级教你SpringBoot整合Mybatis框架实现多数据源的静态数据源和动态数据源配置落地
|
druid Java 数据库连接
MyBatis初级实战之四:druid多数据源
完整的springboot+mybatis+druid多数据源开发和验证
3866 4
MyBatis初级实战之四:druid多数据源
|
SQL 监控 druid
springboot 集成Druid的监控数据库连接池的最佳实践
Druid是一种高性能的开源数据库连接池,它在Java应用程序中被广泛使用。Druid连接池提供了连接管理、连接池监控、SQL性能监控等功能,能够有效地管理数据库连接,并提供丰富的性能指标和监控报告。 Druid连接池的一些主要特点包括: 连接池管理:Druid可以帮助你管理数据库连接,包括连接的创建、销毁和重用。它提供了连接池配置选项,可以灵活地调整连接池的大小、最大等待时间、验证查询等参数。 监控数据统计:Druid连接池提供了丰富的监控指标,如连接数、活跃线程数、执行SQL次数、慢查询次数、错误次数等。通过这些统计数据,你可以实时了解连接池的使用情况和性能状况。 SQL性能监控:
2792 1
|
SQL 监控 druid
发生了什么!阿里DRUID、数据源、常见问题?
发生了什么!阿里DRUID、数据源、常见问题?
465 0
发生了什么!阿里DRUID、数据源、常见问题?
|
SQL druid 数据可视化
【Druid】(九)E-MapReduce Druid 集群集成 Superset(数据探查与可视化平台 )1
【Druid】(九)E-MapReduce Druid 集群集成 Superset(数据探查与可视化平台 )1
334 0
【Druid】(九)E-MapReduce Druid 集群集成 Superset(数据探查与可视化平台 )1
|
SQL JSON Kubernetes
【Druid】(五)通过 Imply 快速入门1
【Druid】(五)通过 Imply 快速入门1
154 0
【Druid】(五)通过 Imply 快速入门1
|
SQL 数据可视化 druid
【Druid】(五)通过 Imply 快速入门2
【Druid】(五)通过 Imply 快速入门2
131 0
【Druid】(五)通过 Imply 快速入门2
|
SQL JSON druid
【Druid】(九)E-MapReduce Druid 集群集成 Superset(数据探查与可视化平台 )2
【Druid】(九)E-MapReduce Druid 集群集成 Superset(数据探查与可视化平台 )2
189 0
【Druid】(九)E-MapReduce Druid 集群集成 Superset(数据探查与可视化平台 )2
|
消息中间件 JSON 分布式计算
Druid 0.17 入门(3)—— 数据接入指南
在快速开始中,我们演示了接入本地示例数据方式,但Druid其实支持非常丰富的数据接入方式。比如批处理数据的接入和实时流数据的接入。本文我们将介绍这几种数据接入方式。 • 文件数据接入:从文件中加载批处理数据 • 从Kafka中接入流数据:从Kafka中加载流数据 • Hadoop数据接入:从Hadoop中加载批处理数据 • 编写自己的数据接入规范:自定义新的接入规范 本文主要介绍前两种最常用的数据接入方式。
252 0
Druid 0.17 入门(3)—— 数据接入指南
下一篇
无影云桌面