探秘Hadoop生态10:Spark架构解析以及流式计算原理
导语
spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统,因效率高,易用以及通用性越来越得到大家的青睐,我自己最近半年在接触spark以及spark streaming之后,对spark技术的使用有一些自己的经验积累以及心得体会,在此分享给大家。
我们为什么需要Greenplum?
自去年Greenplum开源以来,在GitHub上已经有400个以上分支版本,展现出了强大的生命力。在2016云栖大会杭州峰会开源数据库之 Greenplum专场上,博雅立方站在中小型数据分析企业的立场上分享了在数据库选择上的演变历程,以及为什么选择Greenplum。
搭建Hadoop的HA高可用架构(超详细步骤+已验证)
一、集群的规划
Zookeeper集群:
192.168.182.12 (bigdata12)192.168.182.13 (bigdata13)192.168.182.14 (bigdata14)
Hadoop集群:
192.