Spark

首页 标签 Spark
# Spark #
关注
9128内容
Spark入门到精通视频学习资料--第五章:Shark介绍与使用(2讲)
熟悉Hadoop的应该就知道HBase和Hive,如果了解这两个组件,那么对于Shark就不会那么陌生了,也就比较容易上手了。 Shark基本上就是在Spark的框架基础上提供和Hive一样的HiveQL命令接口,为了最大程度的保持和Hive的兼容性,Shark使用了 Hive的API来实现query Parsing和 Logic Plan generation,最后的PhysicalPlan execution阶段用Spark代替Hadoop MapReduce。
Spark源码分析之六:Task调度(二)
        话说在《Spark源码分析之五:Task调度(一)》一文中,我们对Task调度分析到了DriverEndpoint的makeOffers()方法。这个方法针对接收到的ReviveOffers事件进行处理。
| |
来自: 数据库
Apache Spark Delta Lake 删除使用及实现原理代码解析
Apache Spark Delta Lake 删除使用及实现原理代码解析 Delta Lake 的 Delete 功能是由 0.3.0 版本引入的。在介绍 Apache Spark Delta Lake 实现逻辑之前,我们先来看看如何使用 delete 这个功能。
轻量化AI服务再添两将!阿里云机器学习PAI DSW 2.0 & Alink商业版重磅发布
近日,阿里云推出机器学习PAI两大新品DSW 2.0 & Alink商业版,机器学习PAI产品家族,覆盖了机器学习的数据处理、建模、训练、模型优化、在线预测的全产品线,用户既可以搭建完整的个性化推荐系统,让CTR提高10%+; 也可以使用Blade进行深度学习模型进行优化,节省GPU消耗50%。
Alluxio技术内幕:如何百倍加速云端元数据操作
本文转载自:https://zhuanlan.zhihu.com/p/49499385 我们在这篇文章介绍最新版本(1.8.1版本)的Alluxio如何通过使用指纹特性和底层存储批量操作加快Alluxio元数据操作。
免费试用