Redamancy_社区达人页

2022年08月

• 08.28 17:26:35
  发表了文章 2022-08-28 17:26:35

  Hadoop中HDFS的API操作、HDFS文件上传（测试参数优先级）、copyFromLocalFile参数解读、HDFS文件下载、文件更名和移动、删除文件和目录、文件详情查看、文件和文件夹判断

  参数优先级排序：（1）客户端代码中设置的值 >（2）在项目资源目录下的用户自定义配置文件（如在resources下创建的hdfs-site.xml，可以看上面的过程） >（3）服务器的自定义配置（hdfs-site.xml） >（4）服务器的默认配置（hdfs-default.xml）、CRC文件是一个校验文件，保证文件传输完整、对文件名称的修改、文件的更名和移动、目录更名、删除文件、删除空目录、删除非空目录、如果执行上面代码，下载不了文件，有可能是你电脑的微软支持的运行库少，需要安装一下微软运行库。...

  
• 08.28 17:26:02
  发表了文章 2022-08-28 17:26:02

  Hadoop中HDFS的读写流程（面试重点）、为什么搜不到BlockPlacementPolicyDefault、网络拓扑-节点距离计算、机架感知（副本存储节点选择）

  （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 （4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。 （5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。 （

  
• 08.28 17:25:27
  发表了文章 2022-08-28 17:25:27

  Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置

  查看oiv和oev命令、sz命令，从虚拟机上下载到windows上、通常情况下，SecondaryNameNode每隔一小时执行一次、一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次、第一阶段：NameNode启动、第二阶段：Secondary NameNode工作、hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径、可以看出，Fsimage中没有记录块所对应DataNode，为什么？在集群启动后，要求DataNode上报数据块信息，并间隔一段

  
• 08.28 17:24:51
  发表了文章 2022-08-28 17:24:51

  Hadoop中的DataNode、工作机制、数据完整性、掉线时限参数设置

  思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。（4）常见的校验算法crc（32），md5（128），sha1（160）用这个网站检验CRC循环冗余校验。...

  
• 08.28 17:23:45
  发表了文章 2022-08-28 17:23:45

  Hadoop中的MapReduce概述、优缺点、核心思想、编程规范、进程、官方WordCount源码、提交到集群测试、常用数据序列化类型、WordCount案例实操

  优点：易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理、缺点：不擅长实时计算、不擅长流式计算、不擅长DAG（有向无环图）计算、MapReduce核心功能是将`用户编写的业务逻辑代码`和`自带默认组件`整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。（1）分布式的运算程序往往需要分成至少2个阶段。（2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。（3）第

  
• 08.28 17:22:56
  发表了文章 2022-08-28 17:22:56

  Hadoop序列化、概述、自定义bean对象实现序列化接口（Writable）、序列化案例实操、编写流量统计的Bean对象、编写Mapper类、编写Reducer类、编写Driver驱动类

  什么是序列化、为什么要序列化、为什么不用Java的序列化、Hadoop序列化特点：1）紧凑 ：高效使用存储空间。2）快速：读写数据的额外开销小。3）互操作：支持多语言的交互、在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。1）必须实现Writable接口2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造3）重写序列化方法4）重写反序列化方法`5）注意反序列化的顺序和序列化的

  
• 08.28 17:21:05
  发表了文章 2022-08-28 17:21:05

  Linux中top 实时监控系统进程状态

  在top里按k然后杀死4148进程然后再输入9,（9是kill -l中的一个命令下面一会附上图）shift+m 从大到小。shift+p 从大到小。shift + n 从大到下。在top里按u然后输入用户。详细的请看我之前发的博客。linux常用命令下。linux常用命令中。linux常用命令上。...

  
• 08.28 17:12:27
  发表了文章 2022-08-28 17:12:27

  Linux中的crontab 定时任务设置

  crontab [选项]详细的请看我之前发的博客。linux常用命令下。linux常用命令中。linux常用命令上。

  
• 08.28 17:04:56
  发表了文章 2022-08-28 17:04:56

  Hadoop中的MapReduce框架原理、Job提交流程源码断点在哪断并且介绍相关源码、切片与MapTask并行度决定机制、MapTask并行度决定机制

  如果是集群模式，还有jar包，面试官问这类问题是时候问你看过源码吗，回答是：提交三样东西，一个是xml，一个jar包，一个切片信息、job.xml的内容是job运行所需要的参数设置默认值、state的值为RUNNING,说明job开始运行了、如果是本地模式则不会提交jar包，如果是集群模式，则会提交jar包、数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算/job.xml的内容是job运行所需要的参数设置默认值

  
• 08.28 16:32:14
  发表了文章 2022-08-28 16:32:14

  Java中常用类String与基本数据类型转换字符串 ＞ 基本数据类型、包装类、基本数据类型、包装类 ＞ 字符串、字符数组 ＞ 字符串、字符串 ＞ 字符数组、字节数组 ＞ 字符串、字符串 ＞ 字节数组

  Integer包装类的public static int parseInt(String s)：可以将由“数字”字符组成的字符串转换为整型。调用String类的public String valueOf(int n)可将int型转换为字符串、String 类的构造器：String(char[]) 和 String(char[]，int offset，int length) 分别用字符数组中的全部字符和部分字符创建字符串对象public char[] toCharArray()：将字符串中的全部字符存放在一个字符数组中的方法。、String(byte[])：通过使用平台的默认字符集解码指定的 b
• 08.27 16:15:33
  发表了文章 2022-08-27 16:15:33

  Hadoop中的FileInputFormat切片机制、FileInputFormat切片大小的参数配置、TextInputFormat、CombineTextInputFormat切片机制

  源码中计算切片大小的公式、切片大小设置、获取切片信息API、FileInputFormat常见的接口实现类包括：`TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat和自定义InputFormat等、虚拟存储切片最大值设置、虚拟存储过程、CombineTextInputFormat案例实操、剩余的大小为4.02M，如果按照4M逻辑划分，就会出现0.02M的小的虚拟存储文件，所以将剩余的4.02M文件切分成（2.01M和2.01M）两个文件。框架默认的TextInputFormat切片机制是

  
• 08.26 22:26:04
  发表了文章 2022-08-26 22:26:04

  Hadoop中的MapReduce框架原理、切片源码断点在哪断并且介绍相关源码、FileInputFormat切片源码解析、总结，那些可以证明你看过切片的源码

  然后就是这个1.1倍的事splitSize他的值取决于块大小，minSize，maxSize，但是块大小是不能改变的，因为他是实实在在存在物理地址的数据，因此块是不能改变的，但是minSize，和maxSize是可以改变的，可以通过改变这两个值来改变切片大小、如果文件大小除以切片大小大于1.1则切成两片，如果小于1.1则按一片来处理、因为minSize为1，maxSize为long 的最大值，blockSize是32，所以切片的大小与minSize和maxSize有关，可以通过调整这两个的值来改变切片的大小、isSplitable