开发者社区> 异步社区> 正文

《HBase管理指南》一1.6 修改内核参数设置

简介:
+关注继续查看

本节书摘来异步社区《HBase管理指南》一书中的第1章,第1.6节,作者: 蒋燚峰 译者: 苏南,更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.6 修改内核参数设置

HBase是运行在Hadoop上的数据库,和其他数据库一样,它也要同时打开很多个文件。Linux对于一个进程可打开文件描述符的个数有所限制。默认的限制是每个进程可打开1024个文件。为了使HBase能够顺畅运行,你需要调高启动HBase的那个用户允许打开的文件描述符的最大个数。在本书中,就是hadoop用户。

你还要调高Hadoop的nproc设置。nproc设置指定了用户可以同时启动的最大进程数量。如果nproc过低,就会遇到OutOfMemoryError这种错误。

本节将描述如何显示和更改这些内核参数。

1.6.1 准备

请确保你在所有服务器上都有root权限。

1.6.2 操作步骤

你需要对集群中的所有服务器进行如下的内核参数设置修改。

1.以hadoop用户的身份登录并执行以下命令,以确认可打开文件数的当前限制。

hadoop$ ulimit -n
1024

2.使用-u选项的ulimit命令来查看最大进程数的当前设置。

hadoop$ ulimit -u
unlimited

3.以root用户身份进行登录并调高可打开文件数和nproc的限制。在limits.conf文件中添加下列设置。

root# vi /etc/security/limits.conf
hadoop soft nofile 65535
hadoop hard nofile 65535
hadoop soft nproc 32000
hadoop hard nproc 32000

4.为使上述修改生效,使用如下命令在/etc/pam.d/common-session文件中增加一行内容。

root# echo "session required pam_limits.so" >> /etc/pam.d/common-session

5.注销登录,再以hadoop用户的身份重新进行登录,然后再次确认这些设置的当前值,你应该能够看到前面的修改已经生效了。

hadoop$ ulimit -n
65535
hadoop$ ulimit -u
32000

1.6.3 运行原理

上述的内核参数修改将hadoop用户的可打开文件数限制调高到了65535,同时将hadoop用户的最大进程数限制调高到了32000。经过这种内核参数的修改,HBase就可以同时打开足够多的文件,因此也就可以顺畅运行了。

1.6.4 参考章节
第8章“基本性能调整”

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
微信公众平台----带参数二维码生成和扫描事件
原文:微信公众平台----带参数二维码生成和扫描事件 摘要: 账号管理----生成带参数的二维码 消息管理----接收消息----接收事件推送 为了满足用户渠道推广分析和用户帐号绑定等场景的需要,公众平台提供了生成带参数二维码的接口。
2143 0
2.4 PyCharm设置参数
在运行脚本或者代码的时候,可能会需要传入一个或多个参数,直接在命令后面添加较麻烦,那么怎样在 PyCharm 里面预先设置好参数呢? 首先我们打开一个 python 文件,使用 "ctrl+/" 注释原有的内容,添加新的需要传参代码,如下: 然后我们会发现 sys 是有...
1583 0
创建SinaSAE云账号创建和发布基于SVN代码管理的PHP空工程
1、使用Sina微博账号登录,进入【新浪云控制台】 2、选择【云应用SAE】界面,选择【创建新应用】 3、点击【继续创建】,进入应用信息编辑界面     依次编辑“二级域名”“应用程序名”,再点【运行环境】中的【PHP空应用】,再点左下角的【创建应用】完成应用创建。
883 0
【转】Android下使用Properties文件保存程序设置
原文:http://jerrysun.blog.51cto.com/745955/804789 废话不说,直接上代码。    读取.properties文件中的配置:  String strValue = "";  Properties props = new Properties();  try {      props.
611 0
Linux内核分析(三)----初识linux内存管理子系统
原文:Linux内核分析(三)----初识linux内存管理子系统 Linux内核分析(三) 昨天我们对内核模块进行了简单的分析,今天为了让我们今后的分析没有太多障碍,我们今天先简单的分析一下linux的内存管理子系统,linux的内存管理子系统相当的庞大,所以我们今天只是初识,只要对其进行简单的了解就好了,不会去追究代码,但是在后面我们还会对内存管理子系统进行一次深度的分析。
1217 0
+关注
异步社区
异步社区(www.epubit.com)是人民邮电出版社旗下IT专业图书旗舰社区,也是国内领先的IT专业图书社区,致力于优质学习内容的出版和分享,实现了纸书电子书的同步上架,于2015年8月上线运营。公众号【异步图书】,每日赠送异步新书。
12049
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载