20180525早课记录18-Hadoop

简介: 今天来讲Hadoop

1.昨晚若泽分享了一个开源组件叫什么?


hystrix


2.jps如果看了信息不可用,我们该怎么做


ps一下进程 进入相应用户下去看


3.hadoop pid默认在哪?哪个变量和参数文件修改


默认在 /tmp 目录下

在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量


4.hdfs日志显示 是在safe mode,那么哪个命令可以尝试让hdfs离开安全模式


hdfs dfsadmin -safemode leave


5.hdfs执行操作命令时,发现有权限不可访问或者写入,请问你们该怎么办


更换用户 或 更改权限

su user -c或者hdfs dfs -chown


6.hdfs有垃圾箱吗?你们觉得生产上有必要开启吗?


有垃圾箱 生产可以开启


7.flume哪三个角色的?是不是一个进程?官网会看吗?


source  channel  sink 是一个进程


8.kafka哪三个角色的?是不是一个进程的?


producer topic consumer,不是一个进程


9.腾讯课堂上的kafka部署,看过了吗?


没有


10.hdfs dfs命令和什么命令等价


hadoop fs


11.hdfs文件写流程


参考前面博客


12.hdfs读流程


参考前面博客


13.一个文件260M,多少块


3


14.假如namenode是安全模式,你觉得可hdfs可以读吗


可以


15.输入spilt和什么有关?影响什么的数量?


和块大小有关,影响maptask的数量


16.默认reduce task个数多少?决定了最后输出文件个数


默认1个


17.上题中 参数是哪个?会改吗? 做过实验没?


还没

目录
相关文章
|
6月前
|
存储 SQL 分布式计算
Hadoop数据整合
【5月更文挑战第9天】Hadoop数据整合
54 2
|
4月前
|
分布式计算 资源调度 安全
Hadoop停止所有Hadoop服务
【7月更文挑战第20天】
124 2
|
6月前
|
存储 分布式计算 Hadoop
Hadoop数据合并技巧
【5月更文挑战第10天】Hadoop数据合并技巧
105 2
|
6月前
|
存储 分布式计算 监控
Hadoop冗余数据存储
【4月更文挑战第13天】Hadoop的HDFS分布式文件系统通过数据块划分、冗余存储(副本创建)和多样化存储类型提升可靠性与扩展性。NameNode监控副本数量,确保数据安全。使用数据压缩算法节省空间,数据本地化优化提高效率。支持并行处理,实现高效大规模数据处理。
81 1
|
11月前
|
分布式计算 Hadoop Java
简单操作hadoop
简单操作hadoop
53 2
|
SQL 分布式计算 资源调度
hadoop伪分布式安装记录
hadoop伪分布式安装记录
195 0
|
存储 分布式计算 负载均衡
Hadoop常见命令总结
常见基础命令: • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
560 0
|
存储 资源调度 Java
|
存储 机器学习/深度学习 资源调度
|
分布式计算 文件存储 容器

相关实验场景

更多
下一篇
无影云桌面