ES 和 clickhouse 对比选型

简介: clickhouse 是列式存储所以无法进行全文检索,所以更适合数据分析的需求。elasticsearch更适合高并发并且查询返回结果较少的全文检索,如搜索引擎。

分布式结构

clickhouse是multi-master结构,即所有节点均是数据操作节点,每个节点均知道所有的数据片存放的节点

ES是master-slave 结构,分master节点和数据节点,数据meta信息存放于master节点

数据结构

clickhouse是列式存储并且是有序的,ES采用倒排索引的数据结构。

clickhouse没有二级索引(阿里云上的clickhouse完事了二级索引),ES提供二级索引

写入实时性

clickhouse直接写入磁盘并且只需要完成一个数据分区的写入即返回成功,后续通过异步写入其他备份分区,所以效率较高。

ES 先写入内存,然后写TransLog(每隔30分钟才刷入磁盘-可设定)。ES必须穿透性写入所有内存副本才会返回成功,所以会牺牲实时性

高并发效率

高并发效率一般以吞吐能力作为判断标准。 clickhouse一个查询都会占用一半的CPU,ES直接查询内存,所以ES的高并发处理能力更好(阿里云的clickhouse完善了二级索引从而降低了IO吞吐压力所以在高并发效率和ES旗鼓相当)。由于ES是预热数据到内存,当查询返回数据量大的时候由于产生大量的IO,反而ES处理能力会急剧下降,clickhouse并行扫描数据分片所以无论扫描多少数据块耗时都是一样的。

单并发效率

单并发效率一般以响应时间作为判断标准(即扫描效率)。

ES先查询二级索引,然后再扫描一级索引(数据和一级索引是同一个B+树节点,所有无需再次查询数据),所有ES一次查询经过2次数据扫描。

clickhouse采用的是列式存储(列存储的数据因为数据的相似度更高所以压缩比更高,IO吞吐压力相对较低)并使用SIMD实现向量化(列式存储才支持向量化查询)执行(离CPU越近访问越快)

由于clickhouse的扫描能力更加出色,所以clickhouse的单并发比ES更加出色。

计算能力

ES是汇合制模式,即各节查询top数据然后合并到查询节点再次进行top排序,由于不具备流式计算能力当返回数据量非常大的时候容易产生GC或者把节点跑死。

clickhouse利用C++写的向量化计算 加上 借住SIMD计算能力,使得查询聚合操作发挥极高的效率。

技术选型

clickhouse 是列式存储所以无法进行全文检索,所以更适合数据分析的需求。

elasticsearch更适合高并发并且查询返回结果较少的全文检索,如搜索引擎。

目录
相关文章
|
SQL 监控 JavaScript
ClickHouse和Elasticsearch压测对比,谁是yyds?
ClickHouse和Elasticsearch压测对比,谁是yyds?
|
存储 SQL 缓存
数据库测试|Elasticsearch和ClickHouse的对决
由于目前市场上主流的数据库有许多,这次我们选择其中一个比较典型的Elasticsearch来和ClickHouse做一次实战测试,让大家更直观地看到真实的比对数据,从而对这两个数据库有更深入的了解,也就能理解为什么我们会选择ClickHouse。
数据库测试|Elasticsearch和ClickHouse的对决
|
存储 SQL 监控
独家深度 | 一文看懂 ClickHouse vs Elasticsearch:谁更胜一筹?
本文的主旨在于通过彻底剖析ClickHouse和Elasticsearch的内核架构,从原理上讲明白两者的优劣之处,同时会附上一份覆盖多场景的测试报告给读者作为参考。
17411 1
独家深度 | 一文看懂 ClickHouse vs Elasticsearch:谁更胜一筹?
|
消息中间件 存储 Kafka
基于云数据库ClickHouse 搭建游戏行业用户行为分析系统实践
游戏行业用户流量的引入及长期留存和活跃是衡量游戏商业转化能力的必要条件和重要衡量指标。新游戏投放市场后通常会持续性进行运营推广和迭代优化,需要完善的运营体系来支撑运营。本文重点阐述如何使用云数据库 ClickHouse 作为核心数仓同步离线和实时数据来构建用户分析系统,以及如何通过用户分析系统来分析用户行为常用场景实践案例,指导游戏行业客户构建和使用行为分析系统,达到提高游戏用户留存率和活跃度的目标。
1756 0
基于云数据库ClickHouse 搭建游戏行业用户行为分析系统实践
|
SQL 消息中间件 关系型数据库
ClickHouse(04)如何搭建ClickHouse集群
ClickHouse集群的搭建和部署和单机的部署是类似的,主要在于配置的不一致,如果需要了解ClickHouse单机的安装设部署,可以看看这篇文章,[ClickHouse(03)ClickHouse怎么安装和部署](https://zhuanlan.zhihu.com/p/532431053)。
1974 1
|
存储 SQL 数据挖掘
ClickHouse使用场景和案列分析
@[TOC](目录) # 一、ClickHouse 概述 ## 1. ClickHouse简介 ClickHouse 是一款开源的分布式列式数据库,旨在处理大规模数据集并实现快速查询。它最初由俄罗斯搜索引擎公司 Yandex 于 2016 年发布,并在短时间内获得了广泛的关注和应用。ClickHouse 具有高性能、可扩展性和可靠性等特点,成为处理海量数据的理想工具。 ## 2. ClickHouse 发展历程 ClickHouse 的发展历程可以追溯到 2016 年,当时 Yandex 公司意识到传统的关系型数据库在处理大规模数据时存在性能瓶颈,于是开始研发一款专为大数据处理而设计的列式数
5008 0
|
消息中间件 存储 SQL
ClickHouse实时数据处理实战:构建流式分析应用
【10月更文挑战第27天】在数字化转型的大潮中,企业对数据的实时处理需求日益增长。作为一款高性能的列式数据库系统,ClickHouse 在处理大规模数据集方面表现出色,尤其擅长于实时分析。本文将从我个人的角度出发,分享如何利用 ClickHouse 结合 Kafka 消息队列技术,构建一个高效的实时数据处理和分析应用,涵盖数据摄入、实时查询以及告警触发等多个功能点。
1022 0
|
存储 SQL Docker
ClickHouse入门指南:快速搭建与使用
【10月更文挑战第26天】在大数据时代,如何高效地处理海量数据成为了许多企业和开发者的关注点。ClickHouse 是一个开源的列式数据库管理系统(Column-Oriented DBMS),以其出色的查询性能和高并发能力,在数据分析领域迅速崛起。本文将从一个初学者的角度出发,详细介绍如何快速上手 ClickHouse,涵盖从环境搭建到基础操作的全过程。
2100 3
|
存储 关系型数据库 MySQL
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB区别,适用场景
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景比较
|
存储 关系型数据库 MySQL
四种数据库对比MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景
四种数据库对比 MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景