【南京Meetup】Elastic 探秘之遗落的珍珠

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 2018 Elastic Meetup南京交流会,来自Elastic的工程师曾勇对Elastic进行了讲述,Elastic是世界领先的开源提供商,是一个世界领先的软件开发商。曾勇主要对Elasticsearch、kibana、logstash/Beats、X-Pack里的一些功能进行了介绍。

摘要:2018 Elastic Meetup南京交流会,来自Elastic的工程师曾勇对Elastic进行了讲述,Elastic是世界领先的开源提供商,是一个世界领先的软件开发商。曾勇主要对Elasticsearch、kibana、logstash/Beats、X-Pack里的一些功能进行了介绍,这些功能包括Meta、Inder Sorting、Grok Debugger、Recent Time Range等,通过曾勇的介绍,我们可以挖掘出Elastic里一些不起眼的新功能。
阿里云Elasticsearch 1核2G首月免费试用,开始云上实践吧
视频直播请点击
下载PPT请点击
以下是精彩内容整理

Elastic介绍

Elastic是一个专业的软件开发商,是一个世界领先的软件开发商。工程师对Elastic进行软件设计,bug的修改,新功能的添加。Elastic软件的下载量非常的大,Elastic不仅是软件行业,在传统行业的应用也很多,像银行、相关、高科技行业,都在用Elastic的很多功能,像做日志、搜索、业务等相关的分析。Elastic的应用场景非常多样化。对Elastic探秘之遗落的功能,主要从Elasticsearch里面几个不起眼的小功能、kibana里面几个值得留意的新功能、logstash/Beats里面几个值得留意的功能、X-Pack不容错过的免费功能进行介绍。

Elasticsearch

image001


Elasticsearch一个需求如上图所示,当对数据库做一个字表,建立一个数据库表的时候,可以编辑一个备注,表示这个字段的功能。如这个表是谁在什么时间建的,有什么需求。这个需求对开发来说是非常有用的,当开发非常复杂,相关人员就会建立相关文档说明。让我们再来了解下Elasticsearch里面几个不起眼的小功能。
Meta功能,Meta相当于一个仓库,里面可以放很多的东西。

image003


如上图所示就是一个Meta。Meta 这个功能很早就有了,但是知道的人却很少,这是一个很不起眼的工具,如果真正的用起来非常有帮助。
Inder Sorting功能,在做搜索的时候可能会用到排序。以前是查完一个数据,得到一个文档,然后对文档里的字段再进行排序。对文档进行编译,得到编译文档的每一个结果,然后再进行比较。这样文档越多,排序的速度越慢。现在建索引的时候就排好序,文档就是一个排好序的结构了,这样进行编译后的结果也是有序的,不需要进行排序,会节省很多时间。Inder Sorting能够提高排序性能,更好的压缩比,更少的磁盘。
Adaptive Replica Selection功能。索引分为主分片和副分片,一个请求过来后会发到任何一个节点上去。如果主分片不在请求所在的节点,它会自动的把请求发送到主分片所在的服务器,然后主分片会串联索引,再把它写到副本上去,在副本上进行依次轮询,然后智能的选择副本进行查询。

Kibana

Kibana是一个可视化的平台,可以做数据的分析和搜索。现在有个新的查询语法叫Kuery ,以前是有一个输入框,输入框内可以输入关键字、表达式,然后进行检索运行。但是当我们输入一个很长的字段名称,如果输入不对,就无法查到结果。在最新的版本里,可以开启Kuery 功能,然后再进行搜索,在输入框里输入字段的时候,就会有提示。字段的列表就会自动出来,不用全部输入,自动列表可以自动的完成。
还有一些小的变化,Recently Viewed是快速链接导航 。Recent Time Range是一个历史记录,可以直接进行选择,很方便。Vega是用描述性语言来描述一个可视化的内容。TSVB 是把另外一个索引的注释在时间轴上进行标注绑定在一起,然后进行统计分析。使用API来创建Inder Pattern,通过API来做自动运维是非常有必要的。尤其是可视化这一块,人工来做是非常耗费人力物力。现在基本上是用API来做,创建可视化的类型。

Logstash beats

用Dissect做结构化的时候,要求数据是结构化。把一个文本字句拆成字段,它的结构是有一定规范的,可以通过逗号或空格进行分割,总有一个固定的规则。Munin不是Elastic,它的历史悠久,从2002年就开始使用,是用PerL进行编写,插件丰富可以跨平台,可以运行到各种平台上,它可以监控服务器的性能指标,像cpu磁盘空间占用。Elastic现在也在做监控,做性能指标分析。然后就把Munin通过beats拉入到Elastic里进行分析,Kibana可以进行实时的分析。

image004


如上图所示是一个和beats相关的,基于磁盘的一个队列,可以理解为磁盘的一个缓冲区。当用beats进行处理数据时,当数据有时候高有时候低时,就会占用内存。可以用磁盘做一个缓冲区,数据先落地。

X-pack

X-pack的大部分功能是开源的,虽然X-pack是商业的,需要支撑整个公司,但是还是有很多的功能是免费的。只需要下载默认的版本便可直接使用。
如上图所示,大部分的功能是开源的,存在OSS里。源代码是公开的,有一部分需要收费,有一部分是免费的。默认是打包在默认的版本,需要用更高级版本只需要打开即可,免费的功能很多人都不知道。

image005


如上图所示,是一个监控的monitoring功能。这个主要是用来监控KB和ES,它是一个收集、监控到可视化分析的工具,需要对监控的情况做分析。

sql的功能是用sql的语法构建查询,目前很简单,只提供select 基本功能,不能完全的写数据、修改数据,主要用于一些数据科学家、运维分析人员去查数据;Rolling up 功能是免费的,它可以把原始数据进行上卷。按照新的时间戳范围算一个聚合,得到一个新的结果,数据量会少很多,这样就会节省磁盘数量,历史数据、经营数据需要对数据进行Rolling up来减少数据量,大大提高运行速度。做同样的事情,磁盘服务器的数据会大量减少,成本大大降低;Index索引管理功能里面有很多快速入口,方便修改配置、刷新缓存等功能的管理;还有Grok Debugger功能,它是一个用来调试python的工具。很多场景会用到Grok像日志的每一行可能不一样,可以用Grok把它们做成一个事件; profiler 查询功能,只需一个查询条件,可以进行查询和调用;Reporting 功能负责数据的打出,Reporting可以生成CSV,把所有数据生成CSV就可以打出来,这个功能是在后台进行下载,下载完后进行分析生成一个文件。


阿里云Elasticsearch 1核2G首月免费试用,开始云上实践吧

相关实践学习
利用Elasticsearch实现地理位置查询
本实验将分别介绍如何使用Elasticsearch7.10版本进行全文检索、多语言检索和地理位置查询三个Elasticsearch基础检索子场景的实现。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
7月前
|
消息中间件 存储 Cloud Native
上海站丨RocketMQ Meetup 重磅来袭
上海站丨RocketMQ Meetup 重磅来袭
|
Cloud Native 中间件 Serverless
第三届云原生实战峰会正式官宣启动
云原生技术和数字化转型是相互促进的,并且云原生技术可以加速和推动数字化转型。
第三届云原生实战峰会正式官宣启动
|
边缘计算 Kubernetes Cloud Native
上海 Meetup | 一键获取 11 大云原生热门开源项目技术分享入场券
12 月 03 日上海站,微服务x容器开源开发者 Meetup 将围绕云原生领域当下 11 个热门开源项目的技术分享和企业实践展开,邀请到 Spring Cloud Alibaba、Dubbo、OpenYurt、KubeVela、OpenSergo 等云原生领域传统&新锐开源项目核心维护者,为大家分享社区最近动态、架构实践及企业应用案例等精彩内容。
上海 Meetup | 一键获取 11 大云原生热门开源项目技术分享入场券
|
存储 运维 监控
阿里云 X Elastic 联合Meetup -北京站
诚邀共赴Elasticsearch在全观测上的技术实践探索之旅!
873 0
阿里云 X Elastic 联合Meetup -北京站
|
Cloud Native Serverless 云计算
【阿里云ACE】阿里云 Elastic 联合meetup 杭州站成功举办
本次 Meetup 杭州站由阿里云和 Elastic 联合举办,邀请了来自滴滴、安恒信息、阿里云的资深技术专家,现场十分火热,小伙伴们都收获满满。
【阿里云ACE】阿里云 Elastic 联合meetup 杭州站成功举办
|
消息中间件 Cloud Native Dubbo
成都技术大佬云集,他们在云原生中间件Meetup上都聊了点啥?
伴随着过去几年云原生的理念持续普及,在 K8s 已经成为事实标准。如今,云原生不再只是基础设施的开发和运维人员的关注点,云原生领域将关注点从管好云(面向 Ops)转移到用好云(面向 Devs),利用云向应用交付最大价值。云计算生态价值点正迅速聚焦到“应用”上。互联网中间件的云原生演进,势在必行。
成都技术大佬云集,他们在云原生中间件Meetup上都聊了点啥?
|
存储 运维 Cloud Native
【抢先报名】阿里云首场 Serverless Developer Meetup 亮相北京!
为了让更多开发者解决应用 Serverless 面对的困惑,感受 Serverless 的使用之美。阿里云首场线下 Serverless Developer Meetup 即将亮相北京,来自阿里云、淘宝、闲鱼、百富旅行的技术大咖,洞察Serverless 在中国的发展趋势;深度分享 Serverless 在 双11 和企业的落地经验;首次披露 Serverless Devs 开源细节。我们希望通过本场活动,让 Serverless 能够真正走到开发者身边。
20930 0
【抢先报名】阿里云首场 Serverless Developer Meetup 亮相北京!
|
Cloud Native 安全 大数据
阿里云 x Elastic 联合meetup 杭州站
本次 Meetup 杭州站由阿里云和 Elastic 联合举办,邀请来自滴滴、安恒信息、阿里云的资深技术专家探讨在搜索、安全、内核优化等方向的实践与创新,以及发布由数十位优秀技术开发者共创而成的实战指南,共同分享 Elasticsearch 技术大咖的一线经验与深度思考。
阿里云 x Elastic 联合meetup 杭州站
|
Web App开发 运维 监控
1.20 广州见!第二期 Kubernetes and Cloud Native Meetup 报名中
这一次, Kubernetes & Cloud Native Meetup 将在 1 月 20 日来到广州。我们邀请到了多位阿里技术童鞋,还有视源股份(CVTE)重磅运维专家,为您带来 Kubernetes 及 Cloud Native 技术在阿里以及传统行业龙头里的实践与落地经验。
2412 0
|
Kubernetes Cloud Native 容器
大咖云集!Kubernetes and Cloud Native Meetup 深圳站开始报名!
由阿里技术生态联合 CNCF 官方共同出品的 Kubernetes & Cloud Native Meetup 将在8 月 31 日来到深圳。届时,阿里云、蚂蚁金服高级技术专家将携手来自国内知名容器开发专家 ,为你带来Kubernetes 及 Cloud Native 技术的实践与落地经验。

热门文章

最新文章