EMR资讯:
- 在北京举行的Strata Data 会议上,EMR团队的木艮进行了《Hadoop遇到云上对象存储——实现原理、陷阱和性能优化》的主题分享
- EMR + ECS D1机型的数据高可靠方案进行中,8月底将会正式提供服务。
- EMR团队将会在Hadoop上进行改造,支持阿里云的主子账号的AK认证访问Hadoop体系。
资讯
2017年7月13-15日,全球最顶级大数据会议Strata Data Conference在京成功举办。Strata大会由O'Reilly Media和Cloudera联合举办,被《福布斯》杂志誉为“大数据运动的里程碑”。
今日头条用了短短5年时间,成为移动端新闻媒体的独角兽,2016年末,完成10亿美金D轮融资,估值近110亿美元,成功挤入互联网第二梯队。如一句老话所说,世上没有平白无故的成功,当了解了今日头条如何打磨产品功能和交互设计后,笔者发现其成功是必然的,也是有迹可循的,这一切都源于自上而下的数据化思维。
本文对Hive、Impala、Shark、Stinger和Presto这五类主流的开源大数据查询分析引擎进行简要介绍以及性能比较,最后进 行总结与展望。
技术
同程旅游 (LY.COM) 是一家专业的一站式旅游预订平台,提供近万家景点门票、特价机票、出国旅游、周边游、自驾游及酒店预订服务 ; 专业旅游线路服务。全年公司服务人次超过 3 亿。目前同程旅游各个业务线,如:国内国际酒店,机票,火车票,会员,商业智能,分析等等都使用实时计算平台来构建实时类系统。
有赞使用storm已经有将近3年时间,稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务,对数据准确性、性能等方面都有较高要求,也是上线时间最久的一个实时计算应用。通过订单实时统计,描述使用storm时,遇到的准确性、性能、可靠性等方面的问题。
- Spark SQL中Join常用的几种实现&version=12020810&nettype=WIFI&fontScale=100&pass_ticket=V8IOnv6s5CmLzg3%2BLufsCk7Nvuv9U4kPvGi8f5g0mzt%2BRne04RxdIpCXJZjtLgQC)
Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。
SparkSQL作为大数据领域的SQL实现,自然也对Join操作做了不少优化,今天主要看一下在SparkSQL中对于Join,常见的3种实现。
Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。
欢迎入群技术交流!
云HBase微信交流群请加:g418615
版权声明:信息都是来自互联网,如果侵权,请联系我们,我们负责删除。
阿里云E-Mapreduce团队出品