分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
38025内容
【译】Delta Lake 0.4.0 新特性演示:使用 Python API 就地转换与处理 Delta Lake 表
本文以案例演示在最新的 Delta Lake 0.4.0 中,如何转换 Delta Lake 表,使用全新的 Python API 执行 upsert 与删除数据,用时间旅行 (time travel) 查询数据的旧版本,以及 vacuum 语句清理旧版本。
Spark FinalStage处理(Stage划分)
Spark FinalStage的处理,会递归找出所有的上级Stage,此时FinalStage开始,到顶级Stage已经计算完成,因为每个Stage都有上级Stage的依赖,所以此时已经进行Stage划分,只是没有进行Stage提交
[Spark]那些年我们遇到的Spark的坑
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72922155 1.
Hadoop笔记
本文是学习《Hadoop权威指南》时所作的笔记,用于加深理解。
【Spark Summit East 2017】使用开源大数据软件构建实时防欺诈引擎
本讲义出自Kees Jan de Vries在Spark Summit East 2017上的演讲,骗子总试图使用盗取来的信用卡购买商品,预定机票和酒店等,这伤害了持卡人的信任和供应商在世界各地的业务,本讲义介绍了使用开源大数据软件:Spark, Spark ML, H2O, Hive, Esper等构建的实时防欺诈引擎,并介绍了面对的挑战。
春蔚专访--MaxCompute 与 Calcite 的技术和故事
2019大数据技术公开课第一季《技术人生专访》,来自阿里云计算平台事业部高级开发工程师雷春蔚向大家讲述了MaxCompute 与 Calcite 的技术和故事。 具体内容包括: 1) 什么是查询优化器;2)MaxCompute查询优化器的具体实践;3)MaxCompute后续计划;4)从校招到阿里巴巴工程师到Calcite committer,他经历了怎样的个人成长。
04【在线日志分析】之Flume Agent的3台收集+1台聚合到hdfs的搭建
【log收集】:机器名称        服务名称    用户flume-agent-01: namenode    hdfsflume-agent-02: datanode    hdfsflume-agent-03: datanode    hdfs ...
免费试用