Hadoop概念学习系列之为什么hadoop/spark执行作业时,输出路径必须要不存在?(三十九)

简介:

 很多人只会,但没深入体会和想为什么要这样?

  拿Hadoop来说,当然,spark也一样的道理。

  输出路径由Hadoop自己创建,实际的结果文件遵守part-nnnn的约定。

  如何指定一个已有目录作为Hadoop作业的输出路径,作业将无法进行,并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将输出存储到一个目录,它必须是不存的目录。其实,我们可以把这个特点当做Hadoop的一种安全机制,它可以防止Hadoop重写有用的文件以及用户总是忘记弄清的事。

 

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6092396.html,如需转载请自行联系原作者

相关文章
|
7月前
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
|
8月前
|
分布式计算 算法 Hadoop
Hadoop学习---8、Hadoop数据压缩
Hadoop学习---8、Hadoop数据压缩
Hadoop学习---8、Hadoop数据压缩
|
7月前
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力(三)
Hadoop学习:深入解析MapReduce的大数据魔力(三)
|
12天前
|
分布式计算 Hadoop 大数据
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第5天】Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
36 5
|
7月前
|
存储 分布式计算 Hadoop
Hadoop学习:深入解析MapReduce的大数据魔力(二)
Hadoop学习:深入解析MapReduce的大数据魔力(二)
|
8月前
|
数据采集 分布式计算 搜索推荐
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)
|
8月前
|
存储 SQL 分布式计算
Hadoop基础学习---2、Hadoop概述
Hadoop基础学习---2、Hadoop概述
|
7月前
|
存储 分布式计算 Hadoop
Hadoop学习:深入解析MapReduce的大数据魔力(一)
Hadoop学习:深入解析MapReduce的大数据魔力(一)
108 0
|
7月前
|
存储 XML 分布式计算
Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)
Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)
|
7月前
|
分布式计算 Hadoop Java
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建

相关实验场景

更多