CDH4/5配置文件之深度解析

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
简介: 一.目录 二.实验1.web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从120改为150,单击【保存更改】按钮,直接修改到数据库, 而不同步更新到/ect/hado...



一.目录

二.实验1.web 界面,直接修改MapReducemapreduce.job.counters.max参数,120改为150,单击【保存更改】按钮,直接修改到数据库, 而不同步更新到/ect/hadoop/* /var/run/cloudera-scm-agent/process/* 


A.这时界面会出现两个按钮:

1>.【过期配置:需要重启】

2>.【过期配置:需要重新部署客户端配置】


B.当我们单击【过期配置:需要重启】或者【过期配置:需要重新部署客户端配置】功能默认是一样的,都是a.重新部署客户端配置(默认勾选) ;b.立即重启集群

然后集群会做两件事:

1>.会更新/etc/hadoop/*目录

2>.同时也更新/var/run/cloudera-scm-agent/process/*目录


三.实验2.再次在web 界面,直接修改MapReducemapreduce.job.counters.max参数,150改为180,单击【保存更改】按钮,直接修改到数据库



A.
当我们单击【部署客户端配置】


1>.会更新/etc/hadoop/*目录

2>.同时也更新/var/run/cloudera-scm-agent/process/*目录,但只生成ccdeploy_*部署文件夹,但这时mapreduce 运行的mapreduce.job.counters.max值还是150,并没有改变为180,故可以重启mapreduce服务或者整个集群,来重新生成配置文件。

 


B.重启MapReduce单个服务


只更新/var/run/cloudera-scm-agent/process/*目录

#因为只重启MapReduce服务,没有重启其他服务,如Hive,所以就只更新MapReduce

四.个人理解总结:

    cm web界面修改------>数据库表configs------->/etc/hadoop/*------->/var/run/cloudera-scm-agent/process/*

1.       a.web界面修改参数,保存,configs

2.       b.重新部署客户端,/etc/hadoop/的某个目录下,然后通过alternatives命令动态更新到conf文件夹;且会在/var/run/cloudera-scm-agent/process/目录下生成deploy文件夹  

3.       c.重启集群或者重启单个服务,会在/var/run/cloudera-scm-agent/process/目录下生成各个组件的运行的配置文件夹(是有序号标识的)

http://blog.itpub.net/30089851/viewspace-1991862/                

目录
相关文章
|
1月前
|
JSON PHP 数据格式
PHP解析配置文件的常用方法
INI文件是最常见的配置文件格式之一。
50 12
|
2月前
|
存储 安全 网络协议
Elasticsearch 配置文件解析
【10月更文挑战第3天】Elasticsearch 配置文件解析
103 3
|
3月前
|
Rust Python
Python 解析 toml 配置文件
Python 解析 toml 配置文件
61 1
|
3月前
|
Python
Python 解析 yaml 配置文件
Python 解析 yaml 配置文件
61 0
|
3月前
|
Python
Python 解析 ini 配置文件
Python 解析 ini 配置文件
40 0
|
4月前
|
安全 Unix Linux
samba 配置文件解析
【8月更文挑战第8天】Samba是一款开源软件套件,支持不同操作系统间的文件与打印机共享。它通过实现SMB/CIFS协议,确保了Linux/UNIX系统与Windows系统的互操作性。Samba具备文件共享、打印机管理、安全性设置及域控制器等功能,适用于搭建文件服务器、打印服务器及身份验证服务,并促进跨平台的数据访问与协作。其配置灵活,可根据需要调整共享目录的权限、可见性及用户认证方式。
65 3
|
4月前
|
机器学习/深度学习 计算机视觉 Python
深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件
深度学习项目中在yaml文件中定义配置,以及使用的python的PyYAML库包读取解析yaml配置文件
158 0
|
5月前
|
消息中间件 存储 负载均衡
zookeeper 特点、使用场景及安装,配置文件解析
zookeeper 特点、使用场景及安装,配置文件解析
91 2
|
4月前
|
网络协议 Ubuntu Linux
在Linux中,设置DNS需要修改哪个配置文件?
在Linux中,设置DNS需要修改哪个配置文件?
|
4月前
|
XML Java 数据库连接
深入解析 Spring 配置文件:从基础到高级
【8月更文挑战第3天】Spring配置文件是构建与管理Spring应用的核心,它涵盖了从基础到高级的各种配置技巧。基础配置采用`.xml`格式定义Bean及其依赖;中级配置包括设置Bean作用域及引入属性文件;高级配置则涉及AOP、事务管理和与其他框架的整合。熟练掌握这些配置能帮助开发者构建出更为灵活且易维护的应用系统。

推荐镜像

更多