干货 | 2018 Elastic 中国开发者大会笔记

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: Elastic 中国开发者大会2018,干货满满。已然成为Elastic技术爱好者的狂欢日。

我的感触如下

1、Elastic各个产品线新特性大放异彩,Elastic早已不止是检索,已经成为一体化的完整数据处理堆栈,从数据摄入到分析展示、价值获取。功能更完善、更加简单、易用用、更可视化、更安全。
2、Elastic XPack/SQL等付费功能会从大公司到小公司逐渐推广。
3、随着Elastic上市,国内的业务也开展的如火如荼,从BAT等互联网公司、华为、到三大运营商、各大银行各个行业、各个领域都在以ELK作为基础架构,根据自己的业务做定制开发、优化、APM、自动化等;
这个势头也扩展到中小企业,未来几年更会满地开花。
4、Elastic社区在Elastic国内外进程中功不可没,“三人行必有我师”,大神们的实践对我们自己的Elastic学习、实践都有很好的借鉴价值。

image.png

1、Elasticsearch 最新产品新特性

1.1 更壮大的产品线

AuditBeat
FunctionBeat
Stack Monitoring
Logstash:Pipline Viewer

image.png

1.2 更快的索引

更小的存储
更快的性能提升
更少的空间存储
可视化

image.png

1.3 更完备的kibana

1)kibana增强的字段检索功能
2)可扩展的跨集群检索功能
3)跨大版本检索功能
支持5.X、6.X、7.X检索

image.png

4)Sql支持ODBC

image.png

1.4 更强大的安全性

1)去掉缺省的密码:changeme
2)增强的oAuth和kerberos安全认证

image.png

3)增强的kibana Spaces
开发者
安全
销售团队
每种Space有不同的权限

image.png

1.5 更NB的功能

1)索引管理UI
2)增强版本升级提升
之前的版本升级要先升级到主版本的大版本。
3)跨集群备份

2、Beats创始人分享

2.1 Beats起源

1)我们更关注Metrics指标而非日志本身。
2)将日志+metric指标+APM集成到一个系统形成Beats。

image.png

2.2 全栈的监控

底层、中间层、前端
Beats
开箱即用的解决方案
用模型和module搜集日志
用面板观看指标和维度信息

image.png

2.3 更强的可视化

1)性能追求不间断追求;
2)增强数据摄取稳定性,更快、不丢数;
3)kibana管理ES集群、用户权限管理、统一的UI入口。

金融、传统制造业、线下设备等都会发力

3、ElasticCode/CodeSearch

云端代码的搜索方案,Elasticsearch可以搜索Code了

3.1 ElasticCode初衷:

最好的开发工具,为开发者贡献更好的开发工具。
结合Elastic的影响力,2018.07 codeSearch加入Elastic。

3.2 ElasticCode产品介绍

1、帮助开发者理解、搜索、连接生产数据+代码仓库。
2、集成在kibana中。

3.3 Elastic Code解决问题

小的代码库——可以在IDE里面做到。
如果是大的代码库、地域分布也大——Elastic Code是好的方案。

Github上不也可以搜索代码? 痛点是什么?
TF-IDF 没有办法区分源代码和非代码;
搜索类的时候,更关注类的定义而不是调用场景;

3.4 ElasticCode还在开发阶段

1)可以跳转到定义的地方。
2)告诉方法所有被应用的地方。
3)列举所有的成员函数、成员变量。
4)生成环境结合kibana,定位产品问题对应源代码所在。

4、华为云——云搜索Elasticsearch实战

云搜索服务 = Elasticsearch + kibana+华为云化增强自研

4.1 站内搜索

4.1.1 智能分词
解决问题:1、新词;2、短语搜索、3、多租户问题
解决方案:泊松分词器

问题1:新词无法被搜索
举例:李世石是人名。
解决思路:马尔科夫模型训练

问题2:英文短语搜索
解决方案:泊松分词器 一行一个词

问题3:多租户、多词库设定
解决方案:泊松分词器,对每个索引指定不同的词库。

4.1.2 智能搜索(越搜越准)

解决方案:
记录用户的点击流信息 + 数据模型 = 提升搜索质量
点击流:文档+搜索语句+时间等信息
数据模型训练:深度学习、神经网络相关

4.2 多媒体搜索

4.2.1 图像检索

image.png

适用场景:图像版权、AR呈现、商品检索、素材检索。
方案:提取图像特征、量化、支持向量检索。
向量检索是暴力检索,主要要比较,会有性能和精度问题。
支持向量的表达方式:
1)原始向量
2)Hash值

4.2.2 音频检索

适用场景:音频、音乐版权
解决方案:
音频指纹:每段音频找到高能量的点,形成一个指纹。
指纹搜索——转化为文档搜索。
效果:100W首歌,共230ms时间。

4.3 日志&指标

日志接入
CSV文件接入
实时流计算服务FLink

4.4 运维服务化

1、优化
TopHtis + Sumbucket的聚合
TopHits优化为LastHits
2、一键部署
3、一键节点扩容、磁盘扩容
4、监控
5、OBS手动、定时备份

5、新加坡打车 Grab技术运维分享

Grab Elastic运维实践目的:高可用、帮助开发者
Grab类似:滴滴,扩展外卖、大众点评等扩展应用。
铭毅总结:Grab先后经历:AWS -> Elastic Cloud -> Elastic Cloud 企业版本,在Elastic 云化应用走出自己的实践道路。

5.1 个集群扩展到40+集群

5.2 使用AWS云

AWS加了一层代理
离线压测

5.3 监控

1)AWS原生态CloudWatch监控不好
2)DataDog监控
3)Scalyr慢查询、延时监控
https://www.scalyr.com/pricing

5.5 机器和内存关系

6、ELK在暴雪游戏中的应用

早期的监控方案:Guardian
新的数据平台:Telemetry
数据:Event、logs、Metrics
数据流架构
image.png

image.png

新的数据平台的好处:

BEAM自研告警系统


推荐阅读:https://elasticsearch.cn/article/511

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
前端开发
阿里云技术团队亮相 KubeCon China 2023,一键收藏大会亮点
阿里云技术团队亮相 KubeCon China 2023,一键收藏大会亮点
阿里云技术团队亮相 KubeCon China 2023,一键收藏大会亮点
|
存储 运维 监控
阿里云 X Elastic 联合Meetup -北京站
诚邀共赴Elasticsearch在全观测上的技术实践探索之旅!
906 0
阿里云 X Elastic 联合Meetup -北京站
|
存储 Kubernetes 监控
KubeCon China 2021 阿里云专场来了!这些首日亮点不容错过
2021 年 12 月 9 日-10日,阿里云携 10+ 技术专家正式亮相年度顶级云原生开源技术峰会 KubeCon + CloudNativeCon + Open Source Summit China 2021,并带来阿里云云原生专场,不仅汇聚行业发展方向的精彩主题演讲,在云基础设施、可观察性、存储、定制和扩展 Kubernetes、性能、服务网格、无服务器、容器运行时、CI/CD、网络等云原生与开源技术等各大专题中,从阿里云真实业务场景中走出来的云原生技术最佳实践也将一一呈现。
376 4
KubeCon China 2021 阿里云专场来了!这些首日亮点不容错过
|
Cloud Native Serverless 云计算
【阿里云ACE】阿里云 Elastic 联合meetup 杭州站成功举办
本次 Meetup 杭州站由阿里云和 Elastic 联合举办,邀请了来自滴滴、安恒信息、阿里云的资深技术专家,现场十分火热,小伙伴们都收获满满。
【阿里云ACE】阿里云 Elastic 联合meetup 杭州站成功举办
|
Kubernetes Cloud Native Serverless
精彩回顾 | Serverless Developer Meetup 12.04 深圳站
12月04日下午「Serverless Developer Meetup」在深圳阿里中心召开,此次活动由阿里云 Serverless 团队和阿里云开发者 ACE 联合主办,特邀阿里云、1688、开源中国等 Serverless 技术领域专家来到现场,深度解析 Serverless 最新发展动态,分享了最实用的落地实践案例!并在现场庆祝了 Serverless Devs 生日快乐!
精彩回顾 | Serverless Developer Meetup 12.04 深圳站
|
存储 运维 Cloud Native
【抢先报名】阿里云首场 Serverless Developer Meetup 亮相北京!
为了让更多开发者解决应用 Serverless 面对的困惑,感受 Serverless 的使用之美。阿里云首场线下 Serverless Developer Meetup 即将亮相北京,来自阿里云、淘宝、闲鱼、百富旅行的技术大咖,洞察Serverless 在中国的发展趋势;深度分享 Serverless 在 双11 和企业的落地经验;首次披露 Serverless Devs 开源细节。我们希望通过本场活动,让 Serverless 能够真正走到开发者身边。
20952 0
【抢先报名】阿里云首场 Serverless Developer Meetup 亮相北京!
|
消息中间件 分布式计算 Dubbo
ApacheCon 亚洲峰会首次召开,阿里顶级开源项目演讲重磅来袭
阿里自 2011 年宣布第一波开源项目至今始终积极拥抱开源,回馈社区。目前,阿里开源项目突破2700个,GitHub Star 超过 100万,社区贡献者超3万。在今年 ApacheCon Asia的消息系统、API / 微服务、Web Server/Tomcat、流处理等多个论坛都有重磅演讲。三大顶级项目Apache Flink、Apache RocketMQ、Apache Dubbo committer 和用户也将同台给大家介绍社区演讲和最佳实践。
ApacheCon 亚洲峰会首次召开,阿里顶级开源项目演讲重磅来袭
|
Cloud Native Serverless 测试技术
精彩回顾 | 阿里云 Serverless Developer Meetup 上海站亮点有这些!
4 月 24 日,由阿里云主办的 Serverless Developer Meetup 在上海举办。
精彩回顾 | 阿里云 Serverless Developer Meetup 上海站亮点有这些!
|
云栖大会 API 机器人
2019杭州云栖大会SaaS加速器专场回顾合集:重磅发布、嘉宾分享、技术解读...持续更新中!
SaaS加速器是为合作伙伴提供应用开发加速、集成加速、上云加速和售卖加速的技术和商业平台。本文收录了2019杭州云栖大会SaaS加速器专场系列报道,包括现场嘉宾分享、产品技术解读、重磅发布资讯等干货内容,持续更新中,敬请关注!
6573 0
2019杭州云栖大会SaaS加速器专场回顾合集:重磅发布、嘉宾分享、技术解读...持续更新中!
|
开发者
阿里云峰会(上海)开发者大会五大分场演讲资料合辑开放下载啦!
7月24日,阿里云峰会(上海)开发者大会在上海世博中心盛大启程,与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货,共同探讨前沿科技趋势,分析阿里云在一线生产场景的最佳实践,携手合作伙伴及广大开发者们共建云上开发新时代,让我们一起code up!
105892 0