Pick！闲鱼亿级商品库中的秒级实时选品
作者：闲鱼技术-剑辛
一、业务背景
在电商运营工作中，营销活动是非常重要的部分，对用户增长和GMV都有很大帮助。对电商运营来说，如何从庞大的商品库中筛选出卖家优质商品并推送给有需要的买家购买是每时每刻都要思索的问题，而且这个过程需要尽可能快和实时。
Druid数据规划
## 数据规划
Druid索引好的数据放在Historical中，随着数据规模的扩大，分离数据的需求逐渐变得迫切。Druid提供了Tier机制与数据加载Rule机制，通过它们能很好的将数据进行分离，从而达到灵活的分布数据的目的。
#### Tier机制
Tier机制的作用是将Historical节点进行分组。默认情况下所有的Historical节点属于语默认的“_default_
Apache Druid自定义扩展模块-数据解析器
一.简述
Apache Druid已有的扩展模块很多包括：HDFS存储使用的druid-hdfs-storage，Kafka数据接入使用的druid-kafka-indexing-service，将MySQL做为元数据库使用的mysql-metadata-storage，数据排重使用的druid-datasketches；但有时这些也无法满足我们实际应用场景下的特殊需求，那么必要的二次开发增加自定义的模块就成了必然。
Apache Druid性能测评
一.集群配置
二.角色分布
三.集群版本
四.性能测试
Ⅰ).数据时效性测试
a).测试案例
模拟生产由5000个agent、5000个URL和2类请求方式做为聚合字段的1亿条明细数据，来测试Druid集群在配置不同TaksCount数时，Druid聚合任务的执行时长
明细数据：1亿...
Druid入门
应用场景
设计一个系统来预估未来一年的广告流量，不是总流量，是任意时间段任何定向(Targeting)条件约束情况下的流量。定向条件有近百种（内容类别，设备平台，用户地域，用户人口属性等），整个时间区间不同组合数（也就是数据行数）是亿级别。
EMR Druid 探索（二）
EMR Druid 探索（二）
EMR Druid
上文介绍了 Druid 的特点、使用场景以及性能。EMR 在 3.11.0 引入了 Druid，并专门推出了一种新的集群类型：Druid 集群。在具体使用时，Druid 集群可以与 Hadoop 集群结合，以 HDFS 集群作为 deep storage 的存储，以 YARN 作为批量索引的计算引擎。