AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

HDFS的一些配置文件修改

2018-03-20 1421
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： sbin/start-dfs.sh 和 sbin/stop-dfs.sh 在第二行增加如下内容 HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root sbin/start-yarn.

sbin/start-dfs.sh 和 sbin/stop-dfs.sh 在第二行增加如下内容

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

sbin/start-yarn.sh 和 sbin/stop-yarn.sh 在第二行增加如下内容

YARN_NODEMANAGER_USER=root 
YARN_RESOURCEMANAGER_USER=root

etc/hadoop-env.sh 和 etc/yarn-env.sh 增加jdk的所在目录

export JAVA_HOME=/usr/local/jdk/

 

文章标签：
Java
关键词：
文件存储HDFS版配置文件
缤纷世界wb
目录
相关文章
听风de歌
|
6月前
|
存储 机器学习/深度学习 分布式计算
Hadoop配置文件hdfs-site.xml
【7月更文挑战第17天】
听风de歌
405 5
Maynor
|
8月前
|
分布式计算 Hadoop 数据安全/隐私保护
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
HDFS--HA部署安装:修改配置文件 测试集群工作状态的一些指令
Maynor
88 0
带你读小助手
|
机器学习/深度学习 移动开发 分布式计算
配置 HDFS-配置 core-site-hdfs-size 以及 env.sh 等配置文件|学习笔记
快速学习配置 HDFS-配置 core-site-hdfs-size 以及 env.sh 等配置文件
带你读小助手
442 0
Redamancy
|
分布式计算 资源调度 Hadoop
Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
ssh文件夹下（~/.ssh）的文件功能解释、ssh连接时出现Host key verification failed的解决方法、免密登录原理、将公钥拷贝到要免密登录的目标机器上、NameNode和SecondaryNameNode不要安装在同一台服务器、ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上、Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值、.
Redamancy
571 1
Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
带你读小助手
|
分布式计算 安全 Hadoop
配置 HDFS-配置 https 证书以及 ssl 配置文件|学习笔记
快速学习配置 HDFS-配置 https 证书以及 ssl 配置文件
带你读小助手
1175 0
配置 HDFS-配置 https 证书以及 ssl 配置文件|学习笔记
游客dk64xrhekz3ko
|
分布式计算 资源调度 Hadoop
Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
游客dk64xrhekz3ko
283 0
Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
技术小胖子
|
存储 分布式计算 Java
【总结】Hadoop配置文件hdfs-site.xml
技术小胖子
2964 0
武子康
|
3月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
武子康
206 6
武子康
|
3月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
武子康
76 3
武子康
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
武子康
61 4

热门文章

最新文章

  • 1
    java实现从HDFS上下载文件及文件夹的功能，以流形式输出，便于用户自定义保存任何路径下
  • 2
    ClickHouse如何整合数据源：MySQL、HDFS...
  • 3
    sqoop2:从mysql导出数据到hdfs
  • 4
    HDFS－Architecture剖析
  • 5
    基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
  • 6
    HDFS的linux下开发环境准备
  • 7
    Hadoop大象之旅009-通过Shell操作hdfs
  • 8
    给 admin 新建的 hdfs 文件的权限
  • 9
    Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包（二十）
  • 10
    使用oracle的大数据工具ODCH访问HDFS数据文件
  • 1
    Hadoop的HDFS问题
    91
  • 2
    阿里云EMR数据湖文件系统: 面向开源和云打造下一代 HDFS
    72785
  • 3
    [AIGC 大数据基础]浅谈hdfs
    90
  • 4
    [AIGC 大数据基础] 浅谈hdfs
    77
  • 5
    Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
    98
  • 6
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
    115
  • 7
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    173
  • 8
    面经：HDFS分布式文件系统原理与故障排查
    549
  • 9
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    146
  • 10
    Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
    356

    • 相关课程

    更多
  • Hadoop 分布式文件系统 HDFS

    • 相关电子书

    更多
  • 海量数据分布式存储——Apache HDFS之最新进展
  • What’s new in Hadoop Common and HDFS
  • HDFS optimization for HBase at XiaoMi
    • 下一篇
    开通oss服务