干货 | 2018 Elastic 中国开发者大会笔记

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Elastic 中国开发者大会2018,干货满满。已然成为Elastic技术爱好者的狂欢日。

我的感触如下

1、Elastic各个产品线新特性大放异彩,Elastic早已不止是检索,已经成为一体化的完整数据处理堆栈,从数据摄入到分析展示、价值获取。功能更完善、更加简单、易用用、更可视化、更安全。
2、Elastic XPack/SQL等付费功能会从大公司到小公司逐渐推广。
3、随着Elastic上市,国内的业务也开展的如火如荼,从BAT等互联网公司、华为、到三大运营商、各大银行各个行业、各个领域都在以ELK作为基础架构,根据自己的业务做定制开发、优化、APM、自动化等;
这个势头也扩展到中小企业,未来几年更会满地开花。
4、Elastic社区在Elastic国内外进程中功不可没,“三人行必有我师”,大神们的实践对我们自己的Elastic学习、实践都有很好的借鉴价值。

image.png

1、Elasticsearch 最新产品新特性

1.1 更壮大的产品线

AuditBeat
FunctionBeat
Stack Monitoring
Logstash:Pipline Viewer

image.png

1.2 更快的索引

更小的存储
更快的性能提升
更少的空间存储
可视化

image.png

1.3 更完备的kibana

1)kibana增强的字段检索功能
2)可扩展的跨集群检索功能
3)跨大版本检索功能
支持5.X、6.X、7.X检索

image.png

4)Sql支持ODBC

image.png

1.4 更强大的安全性

1)去掉缺省的密码:changeme
2)增强的oAuth和kerberos安全认证

image.png

3)增强的kibana Spaces
开发者
安全
销售团队
每种Space有不同的权限

image.png

1.5 更NB的功能

1)索引管理UI
2)增强版本升级提升
之前的版本升级要先升级到主版本的大版本。
3)跨集群备份

2、Beats创始人分享

2.1 Beats起源

1)我们更关注Metrics指标而非日志本身。
2)将日志+metric指标+APM集成到一个系统形成Beats。

image.png

2.2 全栈的监控

底层、中间层、前端
Beats
开箱即用的解决方案
用模型和module搜集日志
用面板观看指标和维度信息

image.png

2.3 更强的可视化

1)性能追求不间断追求;
2)增强数据摄取稳定性,更快、不丢数;
3)kibana管理ES集群、用户权限管理、统一的UI入口。

金融、传统制造业、线下设备等都会发力

3、ElasticCode/CodeSearch

云端代码的搜索方案,Elasticsearch可以搜索Code了

3.1 ElasticCode初衷:

最好的开发工具,为开发者贡献更好的开发工具。
结合Elastic的影响力,2018.07 codeSearch加入Elastic。

3.2 ElasticCode产品介绍

1、帮助开发者理解、搜索、连接生产数据+代码仓库。
2、集成在kibana中。

3.3 Elastic Code解决问题

小的代码库——可以在IDE里面做到。
如果是大的代码库、地域分布也大——Elastic Code是好的方案。

Github上不也可以搜索代码? 痛点是什么?
TF-IDF 没有办法区分源代码和非代码;
搜索类的时候,更关注类的定义而不是调用场景;

3.4 ElasticCode还在开发阶段

1)可以跳转到定义的地方。
2)告诉方法所有被应用的地方。
3)列举所有的成员函数、成员变量。
4)生成环境结合kibana,定位产品问题对应源代码所在。

4、华为云——云搜索Elasticsearch实战

云搜索服务 = Elasticsearch + kibana+华为云化增强自研

4.1 站内搜索

4.1.1 智能分词
解决问题:1、新词;2、短语搜索、3、多租户问题
解决方案:泊松分词器

问题1:新词无法被搜索
举例:李世石是人名。
解决思路:马尔科夫模型训练

问题2:英文短语搜索
解决方案:泊松分词器 一行一个词

问题3:多租户、多词库设定
解决方案:泊松分词器,对每个索引指定不同的词库。

4.1.2 智能搜索(越搜越准)

解决方案:
记录用户的点击流信息 + 数据模型 = 提升搜索质量
点击流:文档+搜索语句+时间等信息
数据模型训练:深度学习、神经网络相关

4.2 多媒体搜索

4.2.1 图像检索

image.png

适用场景:图像版权、AR呈现、商品检索、素材检索。
方案:提取图像特征、量化、支持向量检索。
向量检索是暴力检索,主要要比较,会有性能和精度问题。
支持向量的表达方式:
1)原始向量
2)Hash值

4.2.2 音频检索

适用场景:音频、音乐版权
解决方案:
音频指纹:每段音频找到高能量的点,形成一个指纹。
指纹搜索——转化为文档搜索。
效果:100W首歌,共230ms时间。

4.3 日志&指标

日志接入
CSV文件接入
实时流计算服务FLink

4.4 运维服务化

1、优化
TopHtis + Sumbucket的聚合
TopHits优化为LastHits
2、一键部署
3、一键节点扩容、磁盘扩容
4、监控
5、OBS手动、定时备份

5、新加坡打车 Grab技术运维分享

Grab Elastic运维实践目的:高可用、帮助开发者
Grab类似:滴滴,扩展外卖、大众点评等扩展应用。
铭毅总结:Grab先后经历:AWS -> Elastic Cloud -> Elastic Cloud 企业版本,在Elastic 云化应用走出自己的实践道路。

5.1 个集群扩展到40+集群

5.2 使用AWS云

AWS加了一层代理
离线压测

5.3 监控

1)AWS原生态CloudWatch监控不好
2)DataDog监控
3)Scalyr慢查询、延时监控
https://www.scalyr.com/pricing

5.5 机器和内存关系

6、ELK在暴雪游戏中的应用

早期的监控方案:Guardian
新的数据平台:Telemetry
数据:Event、logs、Metrics
数据流架构
image.png

image.png

新的数据平台的好处:

BEAM自研告警系统


推荐阅读:https://elasticsearch.cn/article/511

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
5月前
|
人工智能 数据可视化 物联网
vivo AI全球研究院 BlueLM-7B系列开源!魔搭社区最佳实践教程来了!
BlueLM 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型,本次发布包含 7B 基础模型、7B 对话模型,4bits量化的7B对话模型,支持 32K 的长文本基础模型和对话模型。
|
7月前
|
前端开发
阿里云技术团队亮相 KubeCon China 2023,一键收藏大会亮点
阿里云技术团队亮相 KubeCon China 2023,一键收藏大会亮点
阿里云技术团队亮相 KubeCon China 2023,一键收藏大会亮点
|
9月前
|
机器学习/深度学习 人工智能 Cloud Native
关于参加华为云2023HDC.Cloud大会之心得小记
HDC.Cloud大会是华为全球开发者大会,届时将面向全球开发者发布创新云服务、黑科技,以及易用好用的开发工具和平台,携手客户、合作伙伴,呈现华为云系列产品服务与丰富的创新实践,共同探讨AI、大数据、数据库、PaaS、aPaaS、媒体服务、云原生、安全、物联网、区块链、开源等技术话题,打造一个思想碰撞、技术交流、实操竞技的技术殿堂,持续践行“一切皆服务” ,让每个开发者都了不起!
131 1
|
存储 运维 监控
阿里云 X Elastic 联合Meetup -北京站
诚邀共赴Elasticsearch在全观测上的技术实践探索之旅!
824 0
阿里云 X Elastic 联合Meetup -北京站
|
存储 Kubernetes 监控
KubeCon China 2021 阿里云专场来了!这些首日亮点不容错过
2021 年 12 月 9 日-10日,阿里云携 10+ 技术专家正式亮相年度顶级云原生开源技术峰会 KubeCon + CloudNativeCon + Open Source Summit China 2021,并带来阿里云云原生专场,不仅汇聚行业发展方向的精彩主题演讲,在云基础设施、可观察性、存储、定制和扩展 Kubernetes、性能、服务网格、无服务器、容器运行时、CI/CD、网络等云原生与开源技术等各大专题中,从阿里云真实业务场景中走出来的云原生技术最佳实践也将一一呈现。
341 0
KubeCon China 2021 阿里云专场来了!这些首日亮点不容错过
|
消息中间件 分布式计算 Dubbo
ApacheCon 亚洲峰会首次召开,阿里顶级开源项目演讲重磅来袭
阿里自 2011 年宣布第一波开源项目至今始终积极拥抱开源,回馈社区。目前,阿里开源项目突破2700个,GitHub Star 超过 100万,社区贡献者超3万。在今年 ApacheCon Asia的消息系统、API / 微服务、Web Server/Tomcat、流处理等多个论坛都有重磅演讲。三大顶级项目Apache Flink、Apache RocketMQ、Apache Dubbo committer 和用户也将同台给大家介绍社区演讲和最佳实践。
ApacheCon 亚洲峰会首次召开,阿里顶级开源项目演讲重磅来袭
|
Cloud Native Go 开发者
国内首次 Istio Meetup 来了,主流社区专家邀你来共聊
随着云原生技术在国内的普及,Istio 近两年在中国也越来越受到开发者的广泛应用,几乎所有中国的 CSP 都在基于 Istio 创建和运行他们的 Service Mesh 产品。自从 2021 年 2 月举办的第一届 Istiocon 技术峰会广受开发者们欢迎,开发者们也表达了强烈的诉求,希望能看到和参与更多的 Istio 技术 Meetup ,有更多的技术爱好者一起来共同分享交流。
国内首次Istio Meetup来了,主流社区专家邀你来共聊
随着云原生技术在国内的普及,Istio近两年在中国也越来越受到开发者的广泛应用,几乎所有中国的CSP都在基于Istio创建和运行他们的service mesh产品。自从2021年2月举办的第一届Istiocon技术峰会广受开发者们欢迎,开发者们也表达了强烈的诉求,希望能看到和参与更多的Istio技术meetup,有更多的技术爱好者一起来共同分享交流。
577 0
国内首次Istio Meetup来了,主流社区专家邀你来共聊
|
开发者
5月29日阿里云开发者大会了解一下?
阿里云开发者大会5月29日要在北京开幕啦!
5月29日阿里云开发者大会了解一下?
|
Serverless 云计算 开发者
阿里云开发者大会 体验实验室专场
解锁体验实验室场景任务,领SUPERCODE勋章
阿里云开发者大会 体验实验室专场