备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

Elasticsearch VS ClickHouse

2021-12-23 566
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
简介： Elasticsearch VS ClickHouse

Clickhouse 是俄罗斯搜索巨头 Yandex 开发的完全列式存储计算的分析型数据库。ClickHouse 在这两年的 OLAP 领域中一直非常热门，国内互联网大厂都有大规模使用。

Elasticsearch 是一个近实时的分布式搜索分析引擎，它的底层存储完全构建在 Lucene 之上。简单来说是通过扩展 Lucene 的单机搜索能力，使其具有分布式的搜索和分析能力。Elasticsearch 通常会和其它两个开源组件 Logstash（日志采集）和 Kibana（仪表盘）一起提供端到端的日志/搜索分析的功能，常常被简称为 ELK。

Elasticsearch 最擅长的主要是完全搜索场景（where 过滤后的记录数较少），在内存富裕运行环境下可以展现出非常出色的并发查询能力。但是在大规模数据的分析场景下（where 过滤后的记录数较多），ClickHouse 凭借极致的列存和向量化计算会有更加出色的并发表现，并且查询支持完备度也更好。

本次实验将测试 Elasticsearch 和 ClickHouse 对基本查询的性能差异。

测试架构

测试用到的所有组件都通过 Docker 容器的方式部署在 192.168.1.41 这台虚拟机上。其中 Vector 负责产生数据并写入 Elasticsearch 和 ClickHouse，Kibana 和 TabixUI 提供了可视化的操作界面，Juypter 用于运行 Python 测试代码。image.png

https://github.com/cr7258/clickhouse-lab

创建容器网络

创建一个 Docker 网络，本实验所有的容器都连接到该网络，容器之间可以通过容器名访问，Docker Embedded DNS 会负责容器名到 IP 地址的 DNS 解析。

docker network create esvsch

部署 Elasticsearch

通过 docker-compose 部署 Elasticsearch，为了方便操作同时部署了 Kibana。

version: '3.7'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.4.0
    container_name: elasticsearch
    environment:
      - xpack.security.enabled=false
      - discovery.type=single-node
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    cap_add:
      - IPC_LOCK
    volumes:
      - elasticsearch-data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 4096M
        reservations:
          memory: 4096M
  kibana:
    container_name: kibana
    image: docker.elastic.co/kibana/kibana:7.4.0
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    ports:
      - 5601:5601
    depends_on:
      - elasticsearch
volumes:
  elasticsearch-data:
    driver: local
networks:
  default:
    external:
      name: esvsch

启动 Elasticsearch 和 Kibana：

cd elastic
docker-compose up -d

浏览器输入 http://192.168.1.41:5601 访问 Kibana 界面，默认没有设置用户名密码，之后可以通过 Dev Tools 界面操作 Elasticsearch：image.png通过 docker-compsoe 部署 ClickHouse，为了方便操作同时部署了 TabixUI。

version: "3.7"
services:
  clickhouse:
    container_name: clickhouse
    image: yandex/clickhouse-server
    volumes:
      - ./data/config:/var/lib/clickhouse
    ports:
      - "8123:8123"
      - "9000:9000"
      - "9009:9009"
      - "9004:9004"
    ulimits:
      nproc: 65535
      nofile:
        soft: 262144
        hard: 262144
    healthcheck:
      test: ["CMD", "wget", "--spider", "-q", "localhost:8123/ping"]
      interval: 30s
      timeout: 5s
      retries: 3
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 4096M
        reservations:
          memory: 4096M
  tabixui:
    container_name: tabixui
    image: spoonest/clickhouse-tabix-web-client
    ports:
      - "18080:80"
    depends_on:
      - clickhouse
    deploy:
      resources:
        limits:
          cpus: '0.1'
          memory: 128M
        reservations:
          memory: 128M
networks:
  default:
    external:
      name: esvsch

启动 ClickHouse 和 TabixUI：

cd clickhouse
docker-compose up -d

浏览器输入 http://192.168.1.41:18080 访问 TabixUI，创建一个新连接，自定义一个名字，连接 ClickHouse 的地址为 http://192.168.1.41:8123 ，用户名为 default，密码为空。image.pngElasticsearch 有动态映射的功能，当遇到文档中以前未遇到的字段，Elasticsearch 可以通过动态映射确定字段的数据类型并自动把新的字段添加到类型映射。因此对于 Elasticseach 我们不需要事先创建索引。

在 ClickHouse 上我们需要事先创建好表结构：

CREATE TABLE default.syslog(
    application String,
    hostname String,
    message String,
    mid String,
    pid String,
    priority Int16,
    raw String,
    timestamp DateTime('UTC'),
    version Int16
) ENGINE = MergeTree()
    PARTITION BY toYYYYMMDD(timestamp)
    ORDER BY timestamp
    TTL timestamp + toIntervalMonth(1);
ALTER TABLE syslog DELETE where raw is not null

通过 Vector 将数导入 Elasticsearch 和 ClickHouse

Vector 是一个轻量，超快和开源的可观察管道构建工具, 可以用于收集，转换和发送日志、指标、事件等内容。image.png我们使用 Vector 构建 10w 条 syslog 日志，然后分别输出到 Elasticsearch 和 ClickHouse。Vector 的配置文件如下，我们启动 Vector 容器时会挂载该文件到容器的 /etc/vector/vector.toml。

#生成 syslog 的模拟数据，生成 10w 条，生成间隔和 0.01 秒。
[sources.in]
  type = "generator"
  format = "syslog"
  interval = 0.01
  count = 100000
#把原始消息复制一份，这样抽取的信息同时可以保留原始消息。
[transforms.clone_message]
  type = "add_fields"
  inputs = ["in"]
  fields.raw = "{{ message }}"
#使用正则表达式，按照 syslog 的定义，抽取出 application，hostname，message，mid，pid，priority，timestamp，version 这几个字段。
[transforms.parser]
  # General
  type = "regex_parser"
  inputs = ["clone_message"]
  field = "message" # optional, default
  patterns = ['^<(?P<priority>\d*)>(?P<version>\d) (?P<timestamp>\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{3}Z) (?P<hostname>\w+\.\w+) (?P<application>\w+) (?P<pid>\d+) (?P<mid>ID\d+) - (?P<message>.*)$']
#数据类型转化
[transforms.coercer]
  type = "coercer"
  inputs = ["parser"]
  types.timestamp = "timestamp"
  types.version = "int"
  types.priority = "int"
#把生成的数据打印到控制台，供开发调试。
[sinks.out_console]
  # General
  type = "console"
  inputs = ["coercer"] 
  target = "stdout" 
  # Encoding
  encoding.codec = "json" 
#输入到 ClickHouse
[sinks.out_clickhouse]
  host = "http://clickhouse:8123"
  inputs = ["coercer"]
  table = "syslog"
  type = "clickhouse"
  encoding.only_fields = ["application", "hostname", "message", "mid", "pid", "priority", "raw", "timestamp", "version"]
  encoding.timestamp_format = "unix"
#输出到 Elasticsearch
[sinks.out_es]
  # General
  type = "elasticsearch"
  inputs = ["coercer"]
  compression = "none" 
  endpoint = "http://elasticsearch:9200" 
  index = "syslog-%F"
  # Encoding
  # Healthcheck
  healthcheck.enabled = true

启动 Vector：

cd vector
make start

启动 Jupyter Notebook

Jupyter Notebook 是一个开源的 Web 应用程序，允许用户创建和共享包含代码、方程式、可视化和文本的文档。

启动 Jupyter：

cd notebook
#构建镜像
make docker
#启动容器
make run

浏览器访问 http://192.168.1.41:8888 登录 Jupter。我事先准备在 Jupyter 上准备了 Python SDK 调用 Elaticsearch 和 ClickHouse 的代码，大家可以直接点击运行查看。image.png其中 Query Tester.ipynb 准备了 Elasticsearch 和 ClickHouse 性能对比的代码，Elasticsearch 使用 DSL 语言查询，ClickHouse 使用 SQL 语言查询。简单测试了一些常见的查询，每个查询语句分别在 Elasticsearch 和 ClickHouse 上运行 10 次。

查询所有记录：

#Elasticsearch
{
  "query":{
    "match_all":{}
  }
}
#ClickHouse 
SELECT * FROM syslog

匹配单个字段：

#Elasticsearch
{
  "query":{
    "match":{
      "hostname":"for.org"
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE hostname='for.org'

匹配多个字段：

#Elasticsearch
{
  "query":{
    "multi_match":{
      "query":"up.com ahmadajmi",
        "fields":[
          "hostname",
          "application"
        ]
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE hostname='for.org' OR application='ahmadajmi'

查找包含特定单词的字段：

#Elasticsearch
{
  "query":{
    "term":{
      "message":"pretty"
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE lowerUTF8(raw) LIKE '%pretty%'

范围查询，查找版本大于 2 的记录：

#Elasticsearch
{
  "query":{
    "range":{
      "version":{
        "gte":2
      }
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE version >= 2

查找到存在指定字段的记录：

#Elasticsearch
{
  "query":{
    "exists":{
      "field":"application"
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE application is not NULL

正则表达式查询，查询匹配某个正则表达式的数据：

#Elasticsearch
{
  "query":{
    "regexp":{
      "hostname":{
        "value":"up.*",
          "flags":"ALL",
            "max_determinized_states":10000,
              "rewrite":"constant_score"
      }
    }
  }
}
#ClickHouse 
SELECT * FROM syslog WHERE match(hostname, 'up.*')

统计某个字段出现的次数：

#Elasticsearch
{
  "aggs":{
    "version_count":{
      "value_count":{
        "field":"version"
      }
    }
  }
}
#ClickHouse 
SELECT count(version) FROM syslog

查找不重复的字段的个数：

#Elasticsearch
{
  "aggs":{
    "my-agg-name":{
      "cardinality":{
        "field":"priority"
      }
    }
  }
}
#ClickHouse 
SELECT count(distinct(priority)) FROM syslog

以上查询语句我们也可以在 Kibana 和 TabixUI 上运行一下看看效果：image.pngimage.pngimage.png

文章标签：
云数据库 ClickHouse
检索分析服务 Elasticsearch版
日志服务
C++
Python
容器
BI
数据可视化
OLAP
数据安全/隐私保护
网络协议
Docker
存储
Se7en
目录
相关文章
龙哥手记
|
JSON Java API
ElasticSearch - WrapperQuery
笔记
龙哥手记
478 0
算精通
|
21天前
|
存储 JSON 数据可视化
Elasticsearch
Elasticsearch
算精通
29 6
fjb7vwee4xhfw
|
7月前
Elasticsearch应用详解
Elasticsearch应用详解
fjb7vwee4xhfw
24 0
程序员皮卡秋(公众号程序员皮卡秋)
|
12月前
|
存储 Java 关系型数据库
一起来学ElasticSearch(九)
前言 目前正在出一个Es专题系列教程, 篇幅会较多, 喜欢的话，给个关注❤️ ~ 本节给大家讲下es中如何做聚合操作, 内容有点多，需要耐心看完~ 本文偏实战一些，好了, 废话不多说直接开整吧~ 什么是聚合 聚合的概念有点类似mysql中group by,sum(...)，这么说大家可能就有点印象了, 但是在es中聚合操作功能更强大。 在了解es中聚合的概念之前，先来看下这两个概念, 聚合就是一个或多个桶和零个或多个指标的组合。
程序员皮卡秋(公众号程序员皮卡秋)
8048 0
程序员皮卡秋(公众号程序员皮卡秋)
|
存储 JSON API
一起来学ElasticSearch(四)
一起来学ElasticSearch(四)
程序员皮卡秋(公众号程序员皮卡秋)
98 0
程序员皮卡秋(公众号程序员皮卡秋)
|
存储 JSON 自然语言处理
一起来学ElasticSearch(二)
一起来学ElasticSearch(二)
程序员皮卡秋(公众号程序员皮卡秋)
158 0
程序员皮卡秋(公众号程序员皮卡秋)
|
JSON API 数据格式
一起来学ElasticSearch(五)
一起来学ElasticSearch(五)
程序员皮卡秋(公众号程序员皮卡秋)
91 0
HeartSuit
|
存储 关系型数据库 MySQL
ElasticSearch7入门（三）Logstash实现MySQL数据同步至ElasticSearch
ElasticSearch7入门（三）Logstash实现MySQL数据同步至ElasticSearch
HeartSuit
405 0
ElasticSearch7入门（三）Logstash实现MySQL数据同步至ElasticSearch
1658538813089932
|
存储 JSON 自然语言处理
ElasticSearch究竟是个什么东西
ElasticSearch的目标就是实现搜索。在数据量少的时候，我们可以通过索引去搜索关系型数据库中的数据，但是如果数据量很大，搜索的效率就会很低，这个时候我们就需要一种分布式的搜索引擎。Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
1658538813089932
178 0
java3y
|
Linux 索引 Windows
Elasticsearch就是这么简单（一）
最近有点想弄一个站内搜索的功能，之前学过了Lucene，后来又听过Solr这个名词。接着在了解全文搜索的时候就发现了Elasticsearch这个，他也是以Lucene为基础的。
java3y
158 0
Elasticsearch就是这么简单（一）

热门文章

最新文章

  • 1
    哪种词向量模型更胜一筹？Word2Vec，WordRank or FastText?
  • 2
    《CMOS集成电路后端设计与实战》——3.3　标准单元设计流程
  • 3
    linux 跟阿铭学linux tomcat
  • 4
    [Erlang 0044] Erlang Shell History
  • 5
    ArcGIS Engine开发之旅05---空间数据库
  • 6
    [译]IActivityToolboxService
  • 7
    威刚发布工业级SSD IM2P3388 可在恶劣环境下工作
  • 8
    想让微信公众号文章上“朋友圈热文”？看看这个
  • 9
    yum（针对rhel6.2）
  • 10
    OpenLDAP+FreeRADIUS+MySQL+RP-PPPOE 构建PPPOE服务器
  • 1
    【大模型】LLM与传统聊天机器人的区别是什么？
    19
  • 2
    【AI 生成式】半监督学习和自监督学习的概念
    16
  • 3
    【AI 生成式】生成式人工智能在内容创作和版权方面有何影响？
    18
  • 4
    【AI 生成式】生成式人工智能如何在虚拟现实和游戏中使用？
    16
  • 5
    【AI 生成式】描述生成式 AI 在医疗保健和药物发现中的应用
    17
  • 6
    【AI 生成式】生成式人工智能未来有哪些潜在的进步？
    12
  • 7
    揭秘产品经理成功的秘密：最重要的是什么？
    12
  • 8
    【AI 生成式】生成式 AI 中变分自动编码器 （VAE） 的概念
    14
  • 9
    【AI 生成式】如何利用生成式人工智能进行机器学习的数据增强？
    14
  • 10
    【AI 生成式】生成式 AI 在自然语言生成中的作用
    9

    • 相关课程

    更多
  • ElasticSearch 最新快速入门教程
  • ElasticSearch 入门精讲
  • Elasticsearch实战进阶营
  • Kibana Lens 入门
  • MongoDB快速入门
  • 分布式数据库 HBase 快速入门

    • 相关电子书

    更多
  • 阿里云Elasticsearch 2.0发布
  • 阿里云数据智能-Elasticsearch分享
  • 开源与云：Elasticsearch应用剖析

    • 相关实验场景

    更多
  • 通过Lindorm-cli连接并使用宽表引擎
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 云数据库MongoDB快速入门
  • 基于Elasticsearch向量检索的以文搜图
  • 利用Elasticsearch实现地理位置查询
  • 5分钟上手Flink MySQL连接器
    • 下一篇
    将Stable Diffusion模型文件转存到FC环境的NAS