结构化大数据分析平台设计
前言
任何线上系统都离不开数据，有些数据是业务系统自身需要的，例如系统的账号，密码，页面展示的内容等。有些数据是业务系统或者用户实时产生的，例如业务系统的日志，用户浏览访问的记录，系统的购买订单，支付信息，会员的个人资料等。
通过Flink实时构建搜索引擎的索引
1.背景介绍
搜索引擎的出现大大降低了人们寻找信息的难度，已经深入到生活与工作的方方面面，简单列举几个应用如下：
互联网搜索，如谷歌，百度等；
垂直搜索，如淘宝、天猫的商品搜索；
站内搜索，各个内容网站提供的站内搜索服务；
企业内部搜索，员工查询企业内部信息；
广告投放，根据投放上下文检索出对应的广告主和广告内容；
搜索引擎的关键是让用户找到其所需信息，其整体架构如下：
从图示可知，一个搜索引擎从大的方面来看主要包括两部分，一部分是提供在线的搜索服务，一部分要把原始数据已离线的方式建立索引，建立索引是信息可搜索的前提。
数据库案例集锦 - 开发者的《如来神掌》
案例
1、《多字段，任意组合(0建模) - 毫秒级实时圈人 - 最佳实践》
2、《IoT(物联网)极限写入、消费 最佳实践 - 块级(ctid)扫描》
3、数据采样和脱敏实践
《PostgreSQL 数据采样与脱敏》
《PostgreSQL 巧妙的数据采样方法》
4、数据清洗和去重实践
.
MongoDB索引原理
MongoDB索引原理
为什么需要索引？
当你抱怨MongoDB集合查询效率低的时候，可能你就需要考虑使用索引了，为了方便后续介绍，先科普下MongoDB里的索引机制（同样适用于其他的数据库比如mysql）。
mongo-9552:PRIMARY> db.person.find()
{ "_