Hadoop2.7实战v1.0之Linux参数调优

本文涉及的产品
运维安全中心(堡垒机),免费版 6个月
运维安全中心(堡垒机),企业双擎版|50资产|一周时长
简介:  Hadoop2.7实战v1.0之Linux参数调优  1.增大文件描述符nofile(查看当前的lsof |wc -l) 和 用户最大进程nproca>.调整Linux的最大文件打开数和进程数。

 Hadoop2.7实战v1.0之Linux参数调优 

1.增大文件描述符nofile(查看当前的lsof |wc -l) 和 用户最大进程nproc
a>.调整Linux的最大文件打开数和进程数。
        vi /etc/security/limits.conf
          * soft nofile 65535
          * hard nofile 65535
          * soft nproc 65535
          * hard nproc 65535
         
b>.RHEL6下引入了配置文件
vi /etc/security/limits.d/90-nproc.conf
  * soft nproc 65535

c>.pam_limits.so 文件被加入到启动文件
        vi /etc/pam.d/login
           session    required     /lib/security/pam_limits.so
           session    required     pam_limits.so
          
d>.重启
reboot

#######只针对当前session会话,快速设置
[testuser@xxx-01 root]$  ulimit -u
1024
[testuser@xxx-01 root]$  ulimit -u 65535
[testuser@xxx-01 root]$  ulimit -u
65535
-n <文件数目>  指定同一时间最多可打开的文件数。  
-u <进程数目>  用户最多可启动的进程数目。 


2.网络(两个网络相关的参数可以影响Hadoop的性能。net.core.somaxconn Linux内核设置能够支持NameNode和JobTracker的大量爆发性的HTTP请求)
a>.net.core.somaxconn是listen()的默认参数,挂起请求的最大数量.默认是128.对繁忙的服务器,增加该值有助于网络性能,当前已经被调整到32768
more /etc/sysctl.conf |grep net.core.somaxconn
sysctl -w net.core.somaxconn=32768 
echo net.core.somaxconn=32768 >> /etc/sysctl.conf


b>.设置txqueuelen到4096及以上能够更好地适应在Hadoop集群中的突发流量, txqueuelen代表用来传输数据的缓冲区的储存长度,
通过下面的命令可以对该参数进行设置为4096。
[testuser@xxx-01 conf]# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:16:3E:02:00:2B  
 inet addr:xx.xxx.xx.x  Bcast:xx.xxx.xx.xxx  Mask:255.255.255.0
 UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
 RX packets:55072078 errors:0 dropped:0 overruns:0 frame:0
 TX packets:33328184 errors:0 dropped:0 overruns:0 carrier:0
 collisions:0 txqueuelen:1000 
 RX bytes:23381014283 (21.7 GiB)  TX bytes:4464530654 (4.1 GiB)
   
   ###发现当前的eth0的txqueuelen值为1000,设置为4096
 [testuser@xxx-01 conf]# ifconfig eth0 txqueuelen 4096

3.关闭swap分区
        more /etc/sysctl.conf | vm.swappiness
        echo vm.swappiness = 0 >> /etc/sysctl.conf

4.设置合理的预读取缓冲区(readahead buffer)大小
调整linux文件系统中预读缓冲区地大小,可以明显提高顺序读文件的性能。默认buffer大小为256 sectors,可以 增大为1024或者2408 sectors(注意,并不是越大越好)。可使用blockdev命令进行调整。

[testuser@xxx-01 ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        40G  7.1G   31G  19% /
tmpfs           3.9G     0  3.9G   0% /dev/shm
/dev/vdb1       197G   36G  152G  19% /data/01
[testuser@xxx-01 ~]# 
[testuser@xxx-01 ~]# blockdev --report
RO    RA   SSZ   BSZ   StartSec            Size   Device
rw   256   512  4096          0     42949672960   /dev/vda
rw   256   512  4096       2048     42947575808   /dev/vda1
rw   256   512  4096          0    214748364800   /dev/vdb
rw   256   512  4096         63    214748029440   /dev/vdb1

### 修改/dev/vdb1的readahead buffer,因为hadoop的dfs nn等等文件夹是在这个目录下
   [testuser@xxx-01 ~]# blockdev --setra 1024 /dev/vdb1
     
5.I/O调度器选择(一般不调整,只会在mapreduce中调整)
主流的Linux发行版自带了很多可供选择的I/O调度器。在数据密集型应用中,不同的I/O调度器性能表现差别较大,
管理员可根据自己的应用特点启用最合适的I/O调度器

6.vm.overcommit_memory设置
进程通常调用malloc()函数来分配内存,内存决定是否有足够的可用内存,并允许或拒绝内存分配的请求。Linux支持超量分配内存,以允许分配比可用RAM加上交换内存的请求。
    vm.overcommit_memory参数有三种可能的配置:
      0 表示检查是否有足够的内存可用,如果是,允许分配;如果内存不够,拒绝该请求,并返回一个错误给应用程序。
      1 表示根据vm.overcommit_ratio定义的值,允许分配超出物理内存加上交换内存的请求。vm.overcommit_ratio参数是一个百分比,加上内存量决定内存可以超量分配多少内存。
     例如,vm.overcommit_ratio值为50,而内存有1GB,那么这意味着在内存分配请求失败前,加上交换内存,内存将允许高达1.5GB的内存分配请求。
      2 表示内核总是返回true。
     除了以上几个常见的Linux内核调优方法外,还有一些其他的方法,管理员可根据需要进行适当调整。
         
        【查看当前值】
# sysctl -n vm.overcommit_memory
        【永久性修改内核参数】
在/etc/sysctl.conf文件里面加入或者直接删除也可以,因为它缺省值就是0
vm.overcommit_memory = 0
运行使之生效
#sysctl -p


7.Transparent Huge Page
已启用“透明大页面”,它可能会导致重大的性能问题。版本为“CentOS release 6.3 (Final)”且版本为“2.6.32-279.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”,并将 d
efrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置,然后将同一命令添加到一个 init 脚本中,
如 /etc/rc.local,这样当系统重启时就会设置它。或者,升级到 RHEL 6.4 或更新版本,它们不存在此错误。将会影响到以下主机。
      [testuser@xxx-01 ~]# cat /sys/kernel/mm/redhat_transparent_hugepage/defrag
      [always] madvise never
      [testuser@xxx-01 ~]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 
      [testuser@xxx-01 ~]# echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local 
 
目录
相关文章
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
56 2
|
3月前
|
缓存 监控 网络协议
掌控全局:Linux 系统性能调优技巧全面指南
掌控全局:Linux 系统性能调优技巧全面指南
|
3月前
|
Linux
在Linux中,列出几种常见打包工具并写相应解压缩参数。
在Linux中,列出几种常见打包工具并写相应解压缩参数。
|
7天前
|
存储 监控 安全
Linux内核调优的艺术:从基础到高级###
本文深入探讨了Linux操作系统的心脏——内核的调优方法。文章首先概述了Linux内核的基本结构与工作原理,随后详细阐述了内核调优的重要性及基本原则。通过具体的参数调整示例(如sysctl、/proc/sys目录中的设置),文章展示了如何根据实际应用场景优化系统性能,包括提升CPU利用率、内存管理效率以及I/O性能等关键方面。最后,介绍了一些高级工具和技术,如perf、eBPF和SystemTap,用于更深层次的性能分析和问题定位。本文旨在为系统管理员和高级用户提供实用的内核调优策略,以最大化Linux系统的效率和稳定性。 ###
|
1月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
40 3
|
1月前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
40 2
|
2月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
75 3
Hadoop集群配置https实战案例
|
2月前
|
监控 Linux Shell
30 个实用的 Linux 命令贴与技巧,提升你的效率(附实战案例)
本文介绍了30个实用的Linux命令及其应用场景,帮助你提升命令行操作效率。涵盖返回目录、重新执行命令、查看磁盘使用情况、查找文件、进程管理、网络状态监控、定时任务设置等功能,适合各水平的Linux用户学习和参考。
|
2月前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
78 2
|
3月前
|
Linux 文件存储 数据安全/隐私保护
Linux用户组管理实战:创建、管理与删除的全面指南
在 Linux 系统中,用户组管理是实现权限控制和资源共享的关键。本文档详细介绍如何创建用户组、管理用户组成员及查看与删除用户组。首先,通过 `groupadd` 命令创建新用户组,并在 `/etc/group` 文件中记录。接着,利用 `usermod` 和 `gpasswd` 命令来添加或删除用户组成员,其中 `gpasswd` 提供更灵活的管理方式。最后,使用 `getent` 或直接读取 `/etc/group` 查看用户组信息,并通过 `groupdel` 删除空用户组。这些操作有助于高效管理和保护系统资源。
301 4