Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程
作者:摇摆少年梦
微信号: zhouzhihubeyond
spark-submit 脚本应用程序提交流程
在运行Spar应用程序时,会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行,执行提交命令如下:
root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin#
.
使用MaxCompute快速实现企业数据化运营
不管是传统企业还是互联网企业,都需要进行数据化运营,基于数据分析的结果进行管理决策。本文介绍如何通过使用阿里云的大数据计算服务MaxCompute、大数据开发套件DataIDE和Quick BI,来帮助企业快速实现数据化的运营。
Hadoop黑客赎金事件解读及防范
年关将至,Mongodb数据丢失的事情还在眼前,数以千计的Mongodb数据库已经被删除或者被黑客勒索,就在最近一段时间,黑客也在攻击Hadoop,有不少Hadoop集群的数据全部丢失,这些数据甚至有上TB的数据量,对企业造成了巨大的损失。本文讲述这个问题及后续的预防方案。
阿里巴巴大数据技术关键进展及展望
2019杭州云栖大会大数据技术专场,由阿里云通用计算平台负责人关涛带来以 “阿里巴巴大数据技术关键进展及展望” 为主题的演讲。本文首先讲解了从阿里巴巴的角度看待大数据领域的客户价值迁移,概览了核心技术的发展点,最后针对如何构建智能化大数据平台的相关工作进行了介绍,从引擎优化到 “自动驾驶”,并列举了几个典型案例。