Hadoop - 企业级大数据管理平台CDH(小技巧一)-阿里云开发者社区

开发者社区> 喵了个咪_> 正文

Hadoop - 企业级大数据管理平台CDH(小技巧一)

简介: 对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么来替换磁盘和增加磁盘就成了一个很重要的事情了,我们先通过cm控制端进入到其中一个datanode管理页面
+关注继续查看

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 磁盘扩容磁盘迁移

对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么来替换磁盘和增加磁盘就成了一个很重要的事情了,我们先通过cm控制端进入到其中一个datanode管理页面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hrRaZWhr-1597140202369)(Hhttp://pic.w-blog.cn/EE38D42F-6B31-459A-95AB-3FCE31026BEE.png)]

增加或删除一个磁盘

然后在HDFS页面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sAH1NQKU-1597140202374)(http://pic.w-blog.cn/81981535-306A-48D5-8ED1-FCB78BC637F6.png)]

二, HBASE-Thrift2

CDH在管理平台中HBASE开启的HBASE-Thrift是使用的Thrift1,Thrift2相对Thrift1对开发更加友好,可以通过如下方式开启Thrift2

/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091

推荐Supervisor守护进程的方式开启

喵咪Liunx(1)计划任务队列脚本后台进程Supervisor帮你搞定 - 喵了个咪博客空间 - 开源中国

;你需要启动的进程给个名字
[program:thrift2]
;你需要执行的语句
command=/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091
;运行程序的用户
user=root

三, 监控报警重启

对于cm-service和cm-agent是没有守护进程的,如果挂掉了也无法得知具体情况,这里就要推荐一波笔者之前的一个工具了进程监控

喵咪Liunx(4)Monit进程监控 - 喵了个咪博客空间 - 开源中国

cm-service

check process cm-service with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-server.pid  
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-server start" 

cm-agent

check process cm-agent with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-agent/cloudera-scm-agent.pid 
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-agent start"

PS:也以配置邮件通知具体参考之前的博文

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
大数据平台CDH与HDP对比
CDH & HDP平台对比
10819 0
全新一代企业级大数据应用模式揭秘
三个问题 1.当下是否还需要一个复杂的EDW(企业级数据仓库)? 2.数据系统的目标用户是谁? 3.让数据适应计算能力还是计算跟着数据走 数据仓库这个概念在二十多年前由Bill Inmon提出后,几乎所有的IT厂商都开始介入这个领域,为企业级数据仓库设计非常复杂的体系结构和数据模型,典型的企业级数据应用架构如下: 这个架构,层次结构非常清晰,但是链路非常长,导致数据冗余非常大,同时数据表结构关系复杂,是一个典型的给技术人员使用的模型,业务的同学要使用数据是非常难的,没法理解底层复杂的表结构和表之间复杂的关联关系。
848 0
【阿里云大数据产品MaxCompute(原名ODPS)】DT时代企业数据资产的护卫舰
MaxCompute设计之初就是面向多租户,确保租户的数据安全是MaxCompute的必备功能之一。在MaxCompute系统的安全设计和实现上,MaxCompute的工程师们会遵循一些经过实践检验的安全设计原则(如Saltzer-Schroeder原则)。
3473 0
Prometheus 告警管理--企业级Alert Manager
Prometheus作为监控告警的事实标准,提供了标准的指标采集、数据查询以及告警管理开源方案。但是同时在短信、语音、微信等告警通知渠道,告警管理的便捷方面都有缺陷。阿里云日志服务SLS致力于为用户提供统一的可观测性平台,为用户提供了企业级的AlertManager服务,解决客户在告警管理工作中遇到的问题。
285 0
+关注
喵了个咪_
后端程序员,开源PHP框架PhalApi核心开发者,编写录制phalapi教程,phalcon爱好者编写phalcon教程以及zephir文档翻译,热爱交流沟通,喜欢go语言,欢迎大家一起交流沟通,探讨技术,座右铭:代码即真理,你的真理是什么呢?
166
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载