Spark

首页 标签 Spark
# Spark #
关注
9091内容
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析
本文主要从设计出发点、功能支持、性能等方面对比了Delta、Hudi、Iceberg 三个 data lake 方案
【Spark Summit EU 2016】使用Java Agent扩展Spark
本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲,主要介绍了Spark缓存中出现的关于when, what, where的挑战问题以及应对这一挑战使用RDDs的解决算法。
扩展Spark Catalyst,打造自定义的Spark SQL引擎
在Spark2.2版本中,引入了新的扩展点,使得用户可以在Spark session中自定义自己的parser,analyzer,optimizer以及physical planning stragegy rule。
Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例
Ubuntu16.04安装Hadoop2.6+Spark1.6,并安装python开发工具Jupyter notebook,通过pyspark测试一个实例,調通整个Spark+hadoop伪分布式开发环境。 主要内容:配置root用户,配置Hadoop,Spark环境变量,Hadoop伪分布式安装并测试实例,spark安装并通过Jupter notebook进行开发实例
【Spark Summit EU 2016】基于SparkML整体模型的预测服务,看每天10亿张机票的价格如何变化
本讲义出自Josef Habdank在Spark Summit EU上的演讲,主要介绍了对于大规模数据科学的整体模型方法,基于DataBricks的每天几十亿行数据的机器学习模型系统架构,以及基于Spark Streaming的并行训练模型,分享了基于SparkML整体模型的对于机票价格的预测服务。
【Spark Summit EU 2016】经验分享:将SparkR用于生产环境下的数据科学应用中
本讲义出自Heiko Korndorf在Spark Summit EU 2016上的演讲,主要分享了R语言以及现实场景下使用R语言进行数据分析的应用案例,并且将引领大家使用SparkR扩展R语言应用,并介绍了SparkR1.X和2.X架构,并介绍了这两个版本的SparkR分别如何获取。
【Spark Summit East 2017】使用Spark构建智能服务
本讲义出自Alexis Roos 在Spark Summit East 2017上的演讲,主要介绍了Salesforce正在研发的Einstein人工智能核心平台,Einstein助力世界上最优秀的CRM系统,并向其销售、服务以及市场团队提供先进的人工智能,帮助他们发现新的观点,预测可能的结果并且给出下一步的策略。
开源大数据周刊-第37期
[阿里云E-MapReduce动态] E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642;并支持job failover 资讯 2017年数据领域的八大发展趋势 在2017年数据社区将会有大量的机会出现,并伴随一些危机性的挑战,
免费试用