Spark修炼之道(高级篇)——Spark源码阅读:第十节 Standalone运行模式解析
Spark Standalone采用的是Master/Slave架构,主要涉及到的类包括:
类:org.apache.spark.deploy.master.Master
说明:负责整个集群的资源调度及Application的管理。
消息类型:
接收Worker发送的消息
1. RegisterWorker
2. ExecutorStateChanged
3. Work
【Spark Summit East 2017】在生产环境中的大规模数据应用中使用SparkR
本讲义出自Heiko Korndorf在Spark Summit East 2017上的演讲,R语言是一个广受平台数据科学家欢迎的应用于许多不同的领域的模型分析创建的语言,但是当这些应用程序从科学实验室迁移到大型企业的生产环境就出现了一系列新的挑战,而独立于R的Spark则是非常强大的通用计算平台,通过引入SparkR使得在生产环境下使用数据科学应用成为了可能,本次演讲将会分享两个将数据科学应用引入真实生产环境的案例。
开源大数据周刊-第37期
[阿里云E-MapReduce动态]
E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642;并支持job failover
资讯
2017年数据领域的八大发展趋势
在2017年数据社区将会有大量的机会出现,并伴随一些危机性的挑战,
【Spark Summit East 2017】使用Spark构建智能服务
本讲义出自Alexis Roos 在Spark Summit East 2017上的演讲,主要介绍了Salesforce正在研发的Einstein人工智能核心平台,Einstein助力世界上最优秀的CRM系统,并向其销售、服务以及市场团队提供先进的人工智能,帮助他们发现新的观点,预测可能的结果并且给出下一步的策略。