史上最全“大数据”学习资源整理
史上最全“大数据”学习资源整理
2016-05-17 Hadoop技术博文
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
使用elasticsearch提高hbase基于列的查询效率
使用elasticsearch提高hbase基于列的查询效率
网上能查到的hbase提高基于列的查询效率基本上是建立二级索引的方法，介绍另外一种方法，使用分布式索引技术elasticsearch来提高效率，
基本思路和二级索引差不多，都是通过对要查询的列建立索引，先根据建立的列索引查询到rowkey，再根据rowkey查询到需要的数据，步骤如下：
1.
Kudu
Goal
Kudu 主要面向 OLAP 应用，支持大规模数据存储，支持快速查询，并且支持实时数据更新。相比Hive 之类的SQL on Hadoop，性能会好不少，并且支持数据实时更新，这也是 Hive 的一个痛点；相比于一个传统的 OLAP 数据库，它所支持的数据规模可能要大一点，毕竟 Kudu 是水平扩展的。
Ali-HBase的SQL实践与改进
HBase原生api虽然赋予了用户极致的控制力，但也带来了较高的开发成本和学习成本，而SQL则很好的解决了这个使用问题。本文从为什么需要SQL开始谈起，进而讲解了SQL on Hbase，接着着重分享了Ali-Hbase SQL的优化与改进，最后对未来进行了展望。
大数据项目实战之新闻话题统计分析
前言：本文是一个完整的大数据项目实战，实时|离线统计分析用户的搜索话题，并用JavaEE工程前端界面展示出来。这些指标对网站的精准营销、运营都有极大帮助。架构大致是按照企业标准来的，从日志的采集、转化处理、实时计算、JAVA后台开发、WEB前端展示，一条完整流程线下来，甚至每个节点都用的高可用架构，都考虑了故障转移和容错性。
实时计算如何帮助淘宝实现在线「实时选品」？
随着淘宝内容化的深入发展，实时选品的需求越来越强烈。对于某些实时性要求较高的产品(SPU)而言，运营小二希望自己圈定产品池可以当天实时生效，以供创作者写文章使用。该需求对选品的实时性要求较高，比较适合流式计算的特点。因此，本文采用Blink实时流计算技术来实现该功能，实际应用中取得较好效果。
