创业公司如何做数据分析（四）ELK日志系统
作为系列文章的第四篇，本文将重点探讨数据采集层中的ELK日志系统。我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。完整的日志数据具有非常重要的作用。
JavaWeb项目架构之Elasticsearch日志处理系统
简介
Elasticsearch （ES）是一个基于 Lucene 的开源搜索引擎，它不但稳定、可靠、快速，而且也具有良好的水平扩展能力，是专门为分布式环境设计的。
特性
安装方便：没有其他依赖，下载后安装非常方便；只用修改几个参数就可以搭建起来一个集群
JSON：输入/输出格式为 JSON，意味.
Elasticsearch未授权访问漏洞
Elasticsearch服务普遍存在一个未授权访问的问题，攻击者通常可以请求一个开放9200或9300的服务器进行恶意攻击。
0x00 Elasticsearch 安装
前提，保证安装了JDK 1.
从ELK到EFK演进
背景
作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。
Elastic Stack学习--elasticsearch部署
Elastic Stack是一套支持数据采集、存储、分析、展现的全流程数据分析工具，旧时称作ELK（Elasticsearch，Logstash，Kibana的缩写，）。Elastic Stack由一系列的工具集组成，其核心组成如下图：
Logstash & Beats：数据采集工具，logstash适合大批量数据的采集，其结构较重，消耗资源较大，适合集群化部署。
【入门指南】操作阿里云Kibana
Elastic公司的“ELK”是目前最火的日志分析三剑客，其中ElasticSearch负责日志的索引，Logstash负责日志的收集，Kibana负责日志的展示和分析。Elastic与阿里云达成了合作伙伴关系，推出“阿里云 Elasticsearch”服务，提供了开箱即用的Elasticsearch和Kibana环境。
【技术实验】Elasticsearch 做数据库系列之一：表结构定义
Elaticsearch 有非常好的查询性能和查询语法，在一定场景下可以替代RDBMS做为OLAP。《Elasticsearch 做数据库系列》系列文章通过类比SQL的概念，实验并学习Elasticsearch聚合DSL的语法和语义，并用 python 实现一个翻译器，能够使用 SQL 来完成 Elasticsearch 聚合DSL一样的功能。
