开发者社区> 问答> 正文

cdh集群降配

cdh5集群在不减少节点个数的情况下,降低单台机器的硬件配置,集群cpu利用率5%内存50%,业务也不增长了!,可以将前两台降低成和其他节点一样的硬件配置吗1597651001(1).png

展开
收起
游客5tge6ska6g2ci 2020-08-17 15:58:07 755 0
1 条回答
写回答
取消 提交回答
  • 下一站是幸福

    1.数据备份 mysql备份文件在hadoop-slave-016 /data/mysql_backup/目录下

    mysqldump -uroot -p123456 scm > /data/mysql_backup/scm-backup-5.13.3-20180515.sql

    mysqldump -uroot -p123456 metastore > /data/mysql_backup/metastore-backup-5.13.3-20180515.sql

    mysqldump -uroot -p123456 sys > /data/mysql_backup/sys-backup-5.13.3-20180515.sql 在这里插入图片描述 点主机—点击检查所有主机—点击显示检查器结果,检查所有主机,发现除了cm服务之外,所有的角色服务以及变成了5.3.2

    在这里插入图片描述 在hadoop-slave-016机子上更改 /etc/yum.repos.d/cloudera-manager.repo文件,更改成以下事情 在这里插入图片描述 在这里插入图片描述 查看每台机子的cm的服务

    [root@hadoop-slave-016 wangyu]# sh ssh_5.sh yum list | grep cloudera 在这里插入图片描述 卸载5.13.3 sh ssh_5.sh yum list | grep cloudera

    sh ssh_4.sh yum remove cloudera-manager-agent.x86_64 5.13.3-1.cm5133.p0.6.el6

    sh ssh_4.sh yum remove cloudera-manager-daemons.x86_64 5.13.3-1.cm5133.p0.6.el6

    一般情况下卸载以上2个即可

    sh ssh_4.sh yum cloudera-manager-server-db-2.x86_64 5.3.2-1.cm532.p0.209.el6

    sh ssh_4.sh yum remove cloudera-manager-server.x86_64 5.3.2-1.cm532.p0.209.el6

    enterprise-debuginfo.x86_64 5.3.2-1.cm532.p0.209.el6

    sh ssh_4.sh yum list installed | grep cloudera

    然后所有机器,yum clean all 在这里插入图片描述 安装cloudera manger agent [root@hadoop-slave-016 wangyu]# sh ssh_4.sh yum -y install cloudera-manager-agent

    修改 cloudera-manager-agent配置文件,将server_host修改为master

    [root@hadoop-slave-016 wangyu]# vim /etc/cloudera-scm-agent/config.ini

    server_host=master(10.96.29.140) [root@hadoop-slave-016 wangyu]# sh scp_4.sh /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/ 在这里插入图片描述 在这里插入图片描述 安装cloudera manager server master节点: yum install cloudera-manager-server cloudera-manager-deamons [root@hadoop-slave-016 wangyu]# yum install cloudera-manager-server cloudera-manager-deamons 在这里插入图片描述 将parcels复制到/opt/cloudera/parcel-repo cp /var/www/html/cdh5/parcels/* /opt/cloudera/parcel-repo 为cloudera manager配置外部数据库 恢复之前5.3.2的数据库 mysql -u root -p123456 scm < ./scm-backup-20180502.sql

    mysql -u root -p123456 metastore < ./metastore-backup-20180502.sql

    mysql -u root -p123456 sys < ./sys-backup-20180502.sql 在这里插入图片描述 /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm 123456

    在这里插入图片描述 启动服务 所有节点: $ service cloudera-scm-agent start master节点: $ service cloudera-scm-server start

    2021-03-17 10:01:09
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
ApsaraDB-HBase双集群和稳定性 立即下载
自建Hadoop数据如何托管到MaxCompute 立即下载
自建Hadoop数据如何托管到MaxCompute 立即下载