Elasticsearch实战——全文检索架构设计-阿里云开发者社区

开发者社区> laoyang360> 正文

Elasticsearch实战——全文检索架构设计

简介: 1、题记 近几年,Elasticsearch(以下简称ES)作为开源的搜索引擎已经在国内得到越来越多的应用推广,在日志分析领域应用场景尤为广泛。传统的数据库Mysql、Oracle或者非关系型数据库Mongo作为基础存储的企业要想实现业务数据的全文检索,该如何实现呢? 本文给出架构设计和实现原理。
+关注继续查看

2、理清楚使用ES的初衷

2.1 大数据背景下数据量的积累与数据应用疲软矛盾一直存在。

大数据的风已经刮了几年,西安交大徐宗本院士也强调“推动大数据产业必须解决好定位、规划、切入点、数据标准、开发共享等问题,互联互通是基础、定制化服务是中心、懂数据会分析是关键”。可见,数据分析的重要性。


传统企业的数据存储存在以下问题:

问题1:由于模型受限,传统企业的数据大多存储在关系型数据库Mysql、Oracle,非结构化数据存储在Mongo中。数据量也能积累到TB甚至PB级。


只能进行结构化的检索类似”select * from table where col like ‘%xxx%’显然不能满足纷繁复杂的业务需求。


问题2:数据是死数据,数据的BI可视化展示需要专业团队开发,但不能得到很好的分析效果。


以上问题形成了数据量累计到一定的量,但数据得不到很好的应用分析之间的矛盾。


2.2 在保持基础数据库不动的同时,新增全文检索,更好、更快的从亿万数据中获取检索服务。

不想抛弃原有的数据存储结构,想在原有数据存储的基础上新增全文检索。


3、传统存储模型上的ES全文检索架构

image.png

3.1 采集层

解决数据源头问题。

业务模型的不同,有的数据是机器设备(软件、硬件)产生的,有的则需要自己开发爬虫(如:python的scrapy)进行互联网全网爬取或者定向网站爬取。


3.2 Mysql基础存储层

基础数据的存储。

定义好库表结构、关联关系、主键、外键结构来存储结构化数据。

或者非结构化数据,采用Mongo键值对的方式存储。


3.3 ES检索层

实现基础数据的同步。这里是关键,传统的业务模型会在Mysql基础层的基础上,开展业务数据分析通常是以下步骤:


步骤1:后台数据——库表分散的建立视图,对数据做分门别类的统计(基于order by, group by等操作)。


步骤2:前端可视化——通过 Angularjs 进行数据渲染,并通过百度的Echart模型进行可视化展示。


ES检索层的准备如下:

方式1.数据同步——基础业务数据由基础库Mysql、Oracle或Mongolia同步到ES中,大多需要借助logstash实现。


同步策略参见:http://blog.csdn.net/laoyang360/article/details/72792865

方式2.数据同步——数据存成json格式文件,然后借助阿里的fastjson解析,以bulk方式批量导入ES。


3.4 对外接口及可视化层

实现ES全文检索、Tag检索等对外服务、数据的分类统计、排序等可视化展示。

java接口可以参考jest实现。


可视化可以借助kibana实现。这里就体现出elkstack的优势,logstash完成基础数据同步,es完成数据存储和检索,kibana完成数据可视化。


4.架构小结

以上是我研究ES近一年时间的实战总结。其中,ES检索、kibana可视化的深入应用还有很长的路要走。


欢迎就架构问题深入留言探讨!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
开发者学堂课程干货总结——Spring Cloud微服务架构设计与开发实战(三)
Spring Cloud微服务架构设计与开发实战课时1.3—微服务架构Microservice的优缺点 。Java Spring Cloud是全球范围内最成熟、最完善、最流行的微服务架构方案体系。被众多的互联网大公司采用,包括阿里巴巴、腾讯、支付宝、网易、IBM、谷歌、京东、百度、滴滴等。电子书+视频为同学带来最佳学习效果,文字、课程链接、图谱地址统统为大家放送了哦!
102 0
开发者学堂课程干货总结——Spring Cloud微服务架构设计与开发实战(五)
Spring Cloud微服务架构设计与开发实战课时1.5—微服务架构的淘宝案例 。Java Spring Cloud是全球范围内最成熟、最完善、最流行的微服务架构方案体系。被众多的互联网大公司采用,包括阿里巴巴、腾讯、支付宝、网易、IBM、谷歌、京东、百度、滴滴等。电子书+视频为同学带来最佳学习效果,文字、课程链接、图谱地址统统为大家放送了哦!
110 0
开发者学堂课程干货总结——Spring Cloud微服务架构设计与开发实战(二)
Spring Cloud微服务架构设计与开发实战课时1.2—什么是微服务架构Microservice 。Java Spring Cloud是全球范围内最成熟、最完善、最流行的微服务架构方案体系。被众多的互联网大公司采用,包括阿里巴巴、腾讯、支付宝、网易、IBM、谷歌、京东、百度、滴滴等。电子书+视频为同学带来最佳学习效果,文字、课程链接、图谱地址统统为大家放送了哦!
95 0
干货 | Elasticsearch多表关联设计指南
本文以星球问题会出发点,引申出ES多表关联认知,分析了4种关联关系的适用场景、优点、缺点。
1843 0
开发者学堂课程干货总结——Spring Cloud微服务架构设计与开发实战(四)
Spring Cloud微服务架构设计与开发实战课时1.4—微服务架构的典型应用场景 。Java Spring Cloud是全球范围内最成熟、最完善、最流行的微服务架构方案体系。被众多的互联网大公司采用,包括阿里巴巴、腾讯、支付宝、网易、IBM、谷歌、京东、百度、滴滴等。电子书+视频为同学带来最佳学习效果,文字、课程链接、图谱地址统统为大家放送了哦!
107 0
课程干货免费学!一起解读Spring Cloud微服务架构设计与开发实战(第一期)
阿里云开发者学堂全员开课计划上线!阿里云开发者学堂将为开发者提供超多免费Java精品课!本次干货总结了——Java Spring Cloud微服务实战课时课程内容 。阿里云开发者学堂是开发者学习成长的一站式学习平台,为开发者构建完善的学习成长体系、技术赋能。Java Spring Cloud是全球范围内成熟、完善、流行的微服务架构方案体系,被众多的互联网大公司采用,包括阿里巴巴、腾讯、支付宝、网易、IBM、谷歌、京东、百度、滴滴等。为给同学带来最佳学习效果,课程文字、课程链接、图谱地址统统为大家放送了哦!
262 0
用PostgreSQL 做实时高效 搜索引擎 - 全文检索、模糊查询、正则查询、相似查询、ADHOC查询
用PostgreSQL 做实时高效 搜索引擎 - 全文检索、模糊查询、正则查询、相似查询、ADHOC查询作者digoal 日期2017-12-05 标签PostgreSQL , 搜索引擎 , GIN , ranking , high light , 全文检索 , 模糊查询 , 正则查询 , 相似查询 , ADHOC查询 背景字符串搜索是非常常见的业务需求,它包括: 1、前缀+模糊查询。
5464 0
开发者学堂课程干货总结——Spring Cloud微服务架构设计与开发实战(九)
Spring Cloud微服务架 Spring Cloud微服务架构设计与开发实战课时1.9—微服务架构中的经典设计模式 。Java Spring Cloud是全球范围内最成熟、最完善、最流行的微服务架构方案体系。被众多的互联网大公司采用,包括阿里巴巴、腾讯、支付宝、网易、IBM、谷歌、京东、百度、滴滴等。电子书+视频为同学带来最佳学习效果,文字、课程链接、图谱地址统统为大家放送了哦!
88 0
+关注
348
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载