Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例
Ubuntu16.04安装Hadoop2.6+Spark1.6,并安装python开发工具Jupyter notebook,通过pyspark测试一个实例,調通整个Spark+hadoop伪分布式开发环境。
主要内容:配置root用户,配置Hadoop,Spark环境变量,Hadoop伪分布式安装并测试实例,spark安装并通过Jupter notebook进行开发实例
开源大数据周刊-第37期
[阿里云E-MapReduce动态]
E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642;并支持job failover
资讯
2017年数据领域的八大发展趋势
在2017年数据社区将会有大量的机会出现,并伴随一些危机性的挑战,
Spark Streaming和Flink的Word Count对比
准备:
nccat for windows/linux 都可以 通过 TCP 套接字连接,从流数据中创建了一个 Spark DStream/ Flink DataSream, 然后进行处理,
时间窗口大小为10s 因为 示例需要, 所以 需要下载一个netcat, 来构造流的输入。