AI 助理
备案控制台
开发者社区 大数据 文章 正文

Druid 单机环境

2016-08-03 12654
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
注册配置 MSE Nacos/ZooKeeper，118元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
云原生网关 MSE Higress，422元/月
简介：
druid 可以运行在单机环境下，也可以运行在集群环境下。简单起见，我们先从单机环境着手学习。

环境要求

  • java7 或者更高版本
  • linux， macOS或者其他unix系统(不支持windows系统)
  • 8G内存
  • 2核CPU

开始

下载并安装druid 
curl -O http://static.druid.io/artifacts/releases/druid-0.9.1.1-bin.tar.gz
tar -xzf druid-0.9.1.1-bin.tar.gz
cd druid-0.9.1.1
文件夹中有如下几个目录：
  • LICENSE      许可证
  • bin/            可执行脚本
  • conf/*      在集群环境下的配置文件
  • conf-quickstart/*        quickstart的配置文件
  • extensions/*       druid所有的扩展文件
  • hadoop-dependencies/* druid的hadoop扩展文件
  • lib/*       druid 依赖的核心软件包
  • quickstart/*     quickstart的数据文件

ZK安装

     druid的分布式协同需要依赖zookeeper，所以我们需要安装zk 
curl http://www.gtlib.gatech.edu/pub/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz -o zookeeper-3.4.6.tar.gz
tar -xzf zookeeper-3.4.6.tar.gz
cd zookeeper-3.4.6
cp conf/zoo_sample.cfg conf/zoo.cfg
./bin/zkServer.sh start

启动druid服务

     启动zk后，我们就可以启动druid的服务了。 首先进入到druid0.9.1.1的根目录，执行 
bin/init
     druid会自动创建一个var目录， 内含俩个目录，一个是druid， 用于存放本地环境下hadoop的临时文件，索引日志，segments文件及缓存 和 任务的临时文件。 另一个是tmp用于存放其他临时文件。
      接下来就可以在控制台启动druid服务了。 在单机情况下，我们可以在一台机器上启动所有的druid服务进程，分终端进行。 在分布式生产集群的环境下， druid的服务进程同样也可以在一起启动。 
ava `cat conf-quickstart/druid/historical/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/historical:lib/*" io.druid.cli.Main server historical
java `cat conf-quickstart/druid/broker/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/broker:lib/*" io.druid.cli.Main server broker
java `cat conf-quickstart/druid/coordinator/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/coordinator:lib/*" io.druid.cli.Main server coordinator
java `cat conf-quickstart/druid/overlord/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/overlord:lib/*" io.druid.cli.Main server overlord
java `cat conf-quickstart/druid/middleManager/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/middleManager:lib/*" io.druid.cli.Main server middleManager
     druid服务进程启动后，可以在控制台看到相应的日志信息。
     我前一篇文章中提到过druid有几种节点， 上面的启动命令，对应的就是druid的各种节点
  • historical 为Historical Nodes节点进程。主要用于查询时从deepstroage 加载segments。
  • broker 为Broker Nodes 节点进程。 主要为接收客户端任务，任务分发，负载，以及结果合并等。
  • coordinator 为 Coordinator Nodes 节点进程。   主要负责segments的管理和分发。
  • overlord 为 Overload Nodes 节点进程。 middleManager 为 MiddleManager Nodes 节点进程。   overload 和 middleManager是创建索引的主要服务进程， 具体会在接下来的章节中详细介绍
     如果想关闭服务，直接在控制台ctrl + c 就可以了。 如果你彻底清理掉之前的内容，重新开始，需要在关闭服务后，删除目录下的var 文件， 重新执行init脚本。

批量加载数据

     服务启动之后，我们就可以将数据load到druid中进行查询了。在druid0.9.1.1的安装包中，自带了2015-09-12的wikiticker数据。我们可以用此数据来作为我们druid的学习实例。
     首先我们看一下wikipedia的数据， 除了时间之外，包含的维度(dimensions)有：
  • channel
  • cityName
  • comment
  • countryIsoCode
  • countryName
  • isAnonymous
  • isMinor
  • isNew
  • isRobot
  • isUnpatrolled
  • metroCode
  • namespace
  • page
  • regionIsoCode
  • regionName
  • user
   度量(measures) 我们可以设置如下：
  • count
  • added
  • deleted
  • delta
  • user_unique
   确定了度量，维度之后，接下来我们就可以导入数据了。首先，我们需要向druid提交一个注入数据的任务，并将目录指向我们需要加载的数据文件wikiticker-2015-09-12-sampled.json
Druid是通过post请求的方式提交任务的， 上面我们也讲过，overload node 用于数据的加载，所以需要在overload节点上执行post请求， 目前单机环境，无需考虑这个。
     在druid根目录下执行 
curl -X 'POST' -H 'Content-Type:application/json' -d @quickstart/wikiticker-index.json localhost:8090/druid/indexer/v1/task
其中 wikiticker-index.json 文件指明了数据文件的位置，类型，数据的schema(如度量，维度，时间，在druid中的数据源名称等)等信息， 之后我也会详细的介绍，大家也可以从官网上查
     当控制台打印如下信息后，说明任务提交成功 
{"task":"index_hadoop_wikipedia_2013-10-09T21:30:32.802Z"}
     可以在overload控制台  http://localhost:8090/console.html来查看任务的运行情况， 当状态为“SUCCESS”时， 说明任务执行成功。
     当数据注入成功后，historical node会加载这些已经注入到集群的数据，方便查询，这大概需要花费1-2分钟的时间。 你可以在coordinator 控制台 http://localhost:8081/#/来查看数据的加载进度
当名为wikiticker的datasource 有个蓝色的小圈，并显示fully available时，说明数据已经可以了。可以执行查询操作了。

加载流数据

     为了实现流数据的加载，我们可以通过一个简单http api来向druid推送数据，而tranquility就是一个不错的数据生产组件
     下载并安装tranquility 
curl -O http://static.druid.io/tranquility/releases/tranquility-distribution-0.8.0.tgz
tar -xzf tranquility-distribution-0.8.0.tgz
cd tranquility-distribution-0.8.0
      druid目录中自带了一个配置文件  conf-quickstart/tranquility/server.json  启动tranquility服务进程， 就可以向druid的 metrics datasource 推送实时数据。 
bin/tranquility server -configFile <path_to_druid_distro>/conf-quickstart/tranquility/server.json
这一部分向大家介绍了如何通过tranquility服务来加载流数据， 其实druid还可以支持多种广泛使用的流式框架， 包括Kafka, Storm, Samza, and Spark Streaming等
       流数据加载中，维度是可变的，所以在schema定义的时候无需特别指明维度，而是将数据中任何一个字段都当做维度。而该datasource的度量则包含
  • count
  • value_sum (derived from value in the input)
  • value_min (derived from value in the input)
  • value_max (derived from value in the input)
 我们采用了一个脚本，来随机生成度量数据，导入到这个datasource中 
bin/generate-example-metrics | curl -XPOST -H'Content-Type: application/json' --data-binary @- http://localhost:8200/v1/post/metrics
执行完成后会返回 
{"result":{"received":25,"sent":25}}
这表明http server 从你这里接收到了25条数据，并发送了这25条数据到druid。 在你第一次运行的时候，这个过程需要花一些时间，一段数据加载成功后，就可以查询了。

Query data

     接下来就是数据查询了，我们可以采用如下几种方式来查询数据

Direct Druid queries      直接通过druid查询

     druid提供了基于json的富文本查询方式。在提供的示例中， quickstart/wikiticker-top-pages.json  是一个topN的查询实例。 
curl -L -H'Content-Type: application/json' -XPOST --data-binary @quickstart/wikiticker-top-pages.json http://localhost:8082/druid/v2/?pretty

Visualizing data 数据可视化

          druid是面向用户分析应用的完美方案， 有很多开源的应用支持druid的数据可视化， 如pivot, caravel 和 metabase等

SQL and other query libraries 查询组件

          有许多查询组件供我们使用，如sql引擎， 还有其他各种语言提供的组件，如python和ruby。 具体如下：
          python：      druid-io/pydruid
          R:                    druid-io/RDruid
          JavaScript:   implydata/plywood
                                7eggs/node-druid-query
          Clojure:       y42/clj-druid
          Ruby:           ruby-druid/ruby-druid
                               redBorder/druid_config
           SQL:            Apache Calcite
                               implydata/plyql
           PHP:      pixelfederation/druid-php
本篇主要是讲了单机环境下druid的搭建以及使用， 并使用druid安装包自带的例子给大家做了展示。 下一篇我讲介绍在集群环境下Druid如何安装及使用。
                                     

文章标签：
微服务引擎
druid
大数据
数据格式
JSON
SQL
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
刈刀
目录
相关文章
武子康
|
1月前
|
存储 消息中间件 druid
大数据-150 Apache Druid 安装部署 单机启动 系统架构
大数据-150 Apache Druid 安装部署 单机启动 系统架构
武子康
42 1
郑小健
|
3月前
|
存储 负载均衡 并行计算
Dask性能调优指南：从单机到多节点的最佳配置
【8月更文第29天】Dask 是一个灵活的并行计算库，适用于数组、数据帧和列表等数据结构，能够在单个机器上高效运行，也可以扩展到分布式集群。由于其灵活性和可扩展性，Dask 成为了数据科学家和工程师们处理大规模数据集的理想选择。本文将详细介绍如何针对不同的硬件环境优化 Dask 的性能，包括单机和多节点集群环境。
郑小健
300 8
游客jfno57fqk5sv4
|
3月前
|
NoSQL Linux 网络安全
2-MongoDB单机部署
本文档详述了MongoDB单机部署的过程，包括在Windows与Linux系统下的安装与启动步骤。在Windows系统中，用户需从MongoDB官网下载适合的预编译二进制安装包，并选择稳定版本进行安装。安装后可通过命令行参数或配置文件启动服务，并利用`mongo`命令或Compass客户端进行连接。对于Linux系统，部署流程类似，涉及下载压缩包、解压、配置文件设定等步骤，同样可通过命令行或Compass进行连接测试。文档还提供了启动、连接及关闭服务的具体命令示例，以及防火墙配置和故障处理建议。
游客jfno57fqk5sv4
73 7
kaixin321-44007
|
4月前
|
缓存 负载均衡 Java
Nacos 集群部署时性能优化配置
Nacos 集群部署时性能优化配置
kaixin321-44007
187 2
风水道人
|
6月前
|
Kubernetes 容器
搭建K8S环境单机K8S集群
搭建K8S环境单机K8S集群
风水道人
158 0
vohelon
|
6月前
|
Shell 测试技术 Linux
单节点Seata支持多环境配置隔离
单节点Seata支持多环境配置隔离
vohelon
136 7
vohelon
|
6月前
|
Shell 测试技术 Linux
单节点Seata支持多环境配置隔离，允许你独立配置不同环境的参数。
单节点Seata支持多环境配置隔离，允许你独立配置不同环境的参数。
vohelon
80 1
码哥字节
|
6月前
|
存储 消息中间件 druid
Apache Druid 的集群设计与工作流程
Apache Druid 的集群设计与工作流程
码哥字节
94 0
一枕清风梦绿萝
|
6月前
|
存储 NoSQL Linux
MongoDB单机部署
1
一枕清风梦绿萝
111 0
Hello人儿
|
SQL 监控 druid
深入了解Druid连接池：高性能数据库连接管理工具
在现代的应用开发中，数据库连接池是优化数据库访问性能的关键。Druid连接池作为一款高性能的数据库连接管理工具，为我们提供了强大的连接池功能和监控能力。本文将深入探讨Druid连接池的基本概念、特点，以及如何在实际应用中使用它进行高效的数据库连接管理。
Hello人儿
1223 0

热门文章

最新文章

  • 1
    尝鲜：如何搭建一个简单的webrtc服务器
  • 2
    从零开始：阿里云上Kubernetes集群的搭建与部署
  • 3
    面试必问的4种单点登录的实现方式，你知道几个？
  • 4
    Github Pages+Hexo+阿里云域名绑定
  • 5
    测试开启MySQL performance_schema后对性能的影响
  • 6
    阿里云视频云总经理何亚明：基于倚天的视频云原生业务新范式
  • 7
    Windows SDK编程(Delphi版) 之 消息框和菜单资源
  • 8
    三级侧边栏-树形菜单案例效果
  • 9
    U盘故障详细维修方法
  • 10
    1、Windows API函数归总，网络函数、消息函数、文件处理
  • 1
    如何在项目中保证 Web 组件化的性能
    15
  • 2
    如何在项目中高效地进行 Web 组件化开发
    14
  • 3
    Vue3中v-model在处理自定义组件双向数据绑定时，如何避免循环引用？
    15
  • 4
    Vue3中v-model在处理自定义组件双向数据绑定时有哪些注意事项？
    102
  • 5
    在 Vue 3 中，如何使用 v-model 来处理自定义组件的双向数据绑定？
    20
  • 6
    网络漏洞
    16
  • 7
    网络安全
    14
  • 8
    完整性
    13
  • 9
    可用性
    97
  • 10
    可靠性
    13

    • 相关课程

    更多
  • 全面讲解开源数据库中间件MyCat使用及原理（一）
  • 全面讲解开源数据库中间件MyCat使用及原理（二）
  • 全面讲解开源数据库中间件MyCat使用及原理（三）
  • 全面讲解开源数据库中间件MyCat使用及原理（四）

    • 相关电子书

    更多
  • PostgresChina2018_权宗亮_基于odyssey连接池实现企业级PostgreSQL数据分布中间件
  • Cassandra 性能压测及调优实战
  • 云平台环境PostgreSQL 高可用集群方案

    • 相关实验场景

    更多
  • 搭建PostgreSQL主从架构
  • RDS MySQL高并发访问下的系统稳定性
    • 下一篇
    无影云桌面