4.1 企业搜索应用场景

4.1.1.Elasticsearch 在舆情搜索中的实践

业务背景

网络舆情监测，主要是利用互联网信息采集技术，以及自然语言处理等智能信息处理技术，通过对互联网公开数据进行自动化抓取，然后对信息进行结构化、自动分类、文本聚类、主题发现与跟踪等，提供信息检索、多维度统计、敏感信息预警、信息简报、自动化报告等功能，帮助用户及时发现危害品牌形象的观点，并为用户分析关注对象在网络中的形象提供依据。

在舆情 SAAS 系统（以下简称：舆情系统）中，用户设置关注的关键词，就可以快速检索对应的舆情数据，以及对提及关键词的数据提供统计图表，包括舆情走势、词云图、情感分布、情绪走势等。

这里的信息检索与统计，都离不开 Elasticsearch（以下简称：ES）的 Query 以及 aggregation功能，下面详细介绍如何使用 Elasticsearch 实现这些功能，以及在实践过程中遇到的一些问题及解决方案。

舆情系统多维度检索

索引设计

采集的数据源包括微博、微信、新闻网页、论坛、自媒体平台、短视频等平台的数据，每天新增去重数据量在 1亿+，每条数据在经过结构化，以及经过 NLP（自然语言处理）之后，超过150 个字段，比如，文章标题、发布时间、发布作者、发布平台、新闻分类、新闻提及地域、新闻情绪等。由于业务端需要对这些数据进行实时检索，对不同平台的数据实时聚合，各平台的数据量分布也有很大的差异，所以按照平台进行拆分，而不是把所有的数据放到一个大的索引里面。

由于不同平台的数据量差异很大，一般地，微博占每日总采集量的 80%，而新闻网页、微信、自媒体平台的占比相对较少。为了避免由于索引的大小不一样，导致每个shard的差异过大，最终导致落在不同节点上 shard 占用空间分布不均匀而出现数据倾斜。

所以，在实现上对微博的索引按照日期做了进一步拆分，微博每日一个索引，而自媒体平台每月一个索引。

索引划分示意图

为了方便业务检索，对按天分索引的微博设置别名，比如 alias weibo_202101对weibo_20210101，weibo_20210102，...，weibo_20210131

《Elastic Stack 实战手册》——四、应用实践——4.1 企业搜索应用场景 ——4.1.1.Elasticsearch 在舆情搜索中的实践(中) https://developer.aliyun.com/article/1226421