点一下关注吧！！！非常感谢！！持续更新！！！
目前已经更新到了：
Hadoop（已更完）
HDFS（已更完）
MapReduce（已更完）
Hive（已更完）
Flume（已更完）
Sqoop（已更完）
Zookeeper（已更完）
HBase（已更完）
Redis （已更完）
Kafka（已更完）
Spark（已更完）
Flink（已更完）
ClickHouse（已更完）
Kudu（已更完）
Druid（已更完）
Kylin（已更完）
Elasticsearch（正在更新…）
章节内容
上节我们完成了如下的内容：
Apache Kylin 流式构建
完整的过程记录
ELK
集中式日志系统
日志，对于任何系统来说都是重要的组成部分，在计算机系统里面，更是如此。但是由于现在的计算机系统大多比较复杂，狠毒哦系统都不是在一个地方，甚至都是跨国界的，即使在一个地方的系统，也有不同的来源，比如：操作系统、应用服务、业务逻辑等等。他们都在不停的产生各种各样的日志数据，根据不完全统计，我们每天大约要生产2EB的数据。
面对海量的数据，又是分布式在各个不同的地方，如果我们需要去查找一些重要的信息，难道还是使用传统的方法，去登陆到一台机器上看看吗？看来传统的工具和方法是非常笨拙和低效的。于是，一些聪明人就提出了建立一套集中的方法，把不同来源的数据集中整合到一个地方。
一个完整的集中式日志系统，是离不开以下几个主要特点的：
收集-能够采集多种来源的日志数据
传输-能够稳定的把日志数据传输到中央系统
存储-如何存储日志数据
分析-可以支持UI分析
警告-能够提供错误报告，监控机制
ELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写（Elasticsearch ES），Logstash、Kibana。这三款都是开源软件，配合使用，而先后又归于 Elasttic.co 公司名下，简称 ELK 协议栈。
Elasticsearch
Elasticsearch 是一个基于 Lucene 的开源搜索引擎，主要用于实时全文搜索、分析、日志管理和数据存储。由于其高度扩展性和分布式架构，Elasticsearch 被广泛应用于企业搜索、监控系统、日志分析、推荐系统等场景。
主要特点
实时分析
分布式实时文件存储，并将每一个字段都编入索引
文档导向，所有的对象全部是文档
高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards和Replicas）。
接口友好、支持JSON
核心功能
全文搜索：Elasticsearch 可以快速、高效地进行全文搜索，支持模糊匹配、通配符查询、布尔查询等。
分布式架构与高可用性：集群由多个节点组成，每个节点负责不同的数据分片，确保数据在多个节点上冗余存储，以提高系统的容错能力和高可用性。
实时数据分析：支持实时数据插入、更新和查询，适合日志分析、监控等对时效性要求高的应用场景。
支持多种数据类型：支持结构化、半结构化和非结构化数据，如 JSON、文本、地理位置数据等。
RESTful API：Elasticsearch 采用 RESTful 风格的 API，通过 HTTP 接口与客户端交互，易于集成。
基本架构
集群（Cluster）：集群是多个 Elasticsearch 节点的集合，每个集群有唯一的名字，保证数据的一致性。
节点（Node）：集群中的每个节点就是一个 Elasticsearch 实例。不同节点可以承担不同角色（如主节点、数据节点、协调节点）。
索引（Index）：索引相当于关系型数据库中的表，是数据的逻辑集合。每个索引包含一个或多个文档。
文档（Document）：文档是 Elasticsearch 中存储的基本单元，使用 JSON 格式表示，每个文档都有唯一的 _id。
分片与副本（Shard & Replica）
为了实现水平扩展，索引被分成多个主分片（Primary Shard）。每个主分片可以有多个副本（Replica Shard），提高容错性和读取性能。
查询与分析
查询 DSL（Query DSL）：Elasticsearch 使用 JSON 格式的 DSL（Domain-Specific Language）进行查询，包括：
Match Query：进行全文搜索。
Term Query：精确匹配某一字段的值。
Range Query：进行范围查询（如时间范围）。
Bool Query：组合多个查询条件（如 AND、OR）。
聚合（Aggregation）：用于对大数据集进行分组统计和分析，如求平均值、最大值、最小值等。支持以下类型：
Bucket Aggregation：按条件分组，如基于时间的日期直方图。
Metric Aggregation：求和、计数、平均值等。
Pipeline Aggregation：基于前一个聚合结果计算的二次聚合。
典型应用场景
日志分析和监控：与 Logstash 和 Kibana 组合形成 ELK（Elastic Stack），用于实时日志监控和数据可视化。
企业级搜索引擎：支持全文搜索、推荐系统、网站内容搜索等。
电商平台：用于实现商品搜索和推荐功能。
地理空间数据查询：支持 geo_point 和 geo_shape 类型数据，用于存储和分析位置数据。
数据仓库分析：支持大数据实时分析，替代部分传统 OLAP 系统。
Logstash
Logstash是一个具有实时渠道能力的数据收集引擎，使用JRuby语言编写，作者是世界著名的运维工程师乔丹西塞（JordanSissel）
主要特点有：
几乎可以访问任何数据
可以和多种外部应用结合
支持弹性扩展
Shipper - 发送日志数据
Broker - 收集数据 缺省内置Redis
Indexer - 数据写入
Kibana
Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言编写的，为 Elasticsearch 提供可视化分析和Web平台，它可以在Elasticsearch的索引中查找，交互数据，生成各种维度的表图。
参考文档
ELK官网：https://www.elastic.co/
ELK官网文档：https://www.elastic.co/guide/index.html
ELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
ELK中文社区：https://elasticsearch.cn/
ELK API :https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/travelansport-client.html
Elasticsearch
简单介绍
Elasticsearch简称为ES，ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据，本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心实现所有索引和搜索功能，但是它的目的是通过简单的RESTFUL API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
使用案例
2013年初，GitHub抛弃了Solr，采取Elasticsearch来做PB级的搜索，“Github使用Elasticsearch搜索20TB的数据，包括13亿文件和1300亿航代码”
维基百科，启动Elasticsearch为基础的核心搜索架构
SoundCloud，SoundCloud使用Elasticsearch为1.8亿用户提供即时而精准的音乐搜索服务
百度，百度目前广泛使用Elasticsearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示、辅助定位分析实例异常或业务异常。目前覆盖百度内部20多个业务线（包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等）。单集群最大100台机器，200个ES节点，每天导入30TB+数据。
新浪使用ES分析处理32亿条实时日志
阿里使用ES构建自己的日志采集和分析系统
对比Solr
Solr 利用 ZooKeeper 进行分布式管理，而Elasticsearch自身带有分布式协调管理功能。
Solr支持更多格式的数据，而Elasticsearch仅支持JSON文件格式
Solr官方提供的功能更多，而Elasticsearchb本身更注重与核心功能，高级功能多有第三方插件提供。
Solr在传统的搜索应用中表现好于Elasticsearch，但在实时搜索应用时效率远低于Elasticsearch
