Loadrunner通过ssh连接linux进行hadoop基准测试

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Loadrunner通过ssh连接调用hadoop的测试Jar包进行基准测试,似乎有点讨巧,而且好像实际意义也不是特别大,但是通过这个方法的展示,能够看到Loadrunner的生命力有多大,而且在linux系统测试和开源技术的测试中,也是能够有用武之地,所以本文算是来个抛砖引玉吧。
版权声明:本文为博主原创文章,未经博主允许不得转载。欢迎访问我的博客 https://blog.csdn.net/smooth00/article/details/73796622

Loadrunner通过ssh连接调用hadoop的测试Jar包进行基准测试,似乎有点讨巧,而且好像实际意义也不是特别大,但是通过这个方法的展示,能够看到Loadrunner的生命力有多大,而且在linux系统测试和开源技术的测试中,也是能够有用武之地,所以本文算是来个抛砖引玉吧。

1、在loadrunner中新建脚本(本文以LoadRunner11为例),要求选择协议类型为Java->Java Vuser
2、在Run-time Settings设置JDK路径,由于LoadRunner11不支持jdk1.8,本次测试是拷贝了一份低版本的JDK1.6,所以路径选择固定路径模式(Use specified JDK),当然也可以将JDK1.6配到环境变量中,LoadRunner就可以直接调了。

3、上网下载个jsch-0.1.41.jar,然后在LoadRunner中加载jsch的jar包


4、在Loadrunner中以Java Vuser协议创建脚本,脚本样例如下:

/*
 * LoadRunner Java script. (Build: _build_number_)
 * 
 * Script Description: 
 *                     
 */
import lrapi.lr;

import java.io.BufferedReader; 
import java.io.InputStreamReader;  
import java.util.Vector;  
      
import com.jcraft.jsch.Channel;  
import com.jcraft.jsch.ChannelExec;  
import com.jcraft.jsch.JSch;  
import com.jcraft.jsch.JSchException;  
import com.jcraft.jsch.Session;
import java.io.InputStream;

public class Actions
{

        private String ipAddress;  
        private String username;  
        private String password;  
        public static final int DEFAULT_SSH_PORT = 22;     
        private Vector<String> stdout; 
				private Session session=null;
				private Channel channel=null;
      
        public void SSHCommandExecutor(final String ipAddress, final String username, final String password) {  
            this.ipAddress = ipAddress;  
            this.username = username;  
            this.password = password;  
            stdout = new Vector<String>();
	    			JSch jsch = new JSch(); 
	    			try{
                session = jsch.getSession(username, ipAddress, DEFAULT_SSH_PORT);  
                session.setPassword(password);
								session.setConfig("StrictHostKeyChecking", "no");
                //session.setUserInfo(userInfo);  
                session.connect();  
      
                // Create and connect channel.  
                channel = session.openChannel("exec");
	    			} catch (JSchException e) {  
                // TODO Auto-generated catch block  
                e.printStackTrace();  
            } catch (Exception e) {  
                e.printStackTrace();  
            }
        }  
      
        public int CommandExecute(final String command) {  
            int returnCode = 0;           
            try {                   
                ((ChannelExec) channel).setCommand(command);  
      
                channel.setInputStream(null);  
                BufferedReader input = new BufferedReader(new InputStreamReader(channel  
                        .getInputStream()));  
      
                channel.connect();  
                System.out.println("The remote command is: " + command);  
      
                // Get the output of remote command.  
                String line;  
                while ((line = input.readLine()) != null) {  
                    stdout.add(line);  
                }  
                input.close();  
      
                // Get the return code only after the channel is closed.  
                if (channel.isClosed()) {  
                    returnCode = channel.getExitStatus();  
                }  
      
                // Disconnect the channel and session.  
                //channel.disconnect();  
                //session.disconnect();  
            } catch (JSchException e) {  
                // TODO Auto-generated catch block  
                e.printStackTrace();  
            } catch (Exception e) {  
                e.printStackTrace();  
            }  
            return returnCode;  
        }  

	public int init() throws Throwable {
	    SSHCommandExecutor("172.17.2.12", "root", "123456");
			return 0;
	}//end of init

	public int action() throws Throwable {
            	    
			lr.start_transaction("exe_command");
	    //----------------------------------------写入2个1M的文件---------------------------------
	    /*String commandStr="yarn jar /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.3.2.0-2950-tests.jar TestDFSIO -write -nrFiles 2 -fileSize 1";
	    String commandLog="cat -b /root/TestDFSIO_results.log |tail -n10";*/
	    //--------------------------------------------TestDFSIO -clean---------------------------
	    //---------------------使用12个mapper和6个reducer来创建12个文件----------------------------
	    String commandStr="yarn jar /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.3.2.0-2950-tests.jar nnbench \\";
	    commandStr+="\n -operation create_write -maps 12 -reduces 6 -blockSize 1 \\";
	    commandStr+="\n -bytesToWrite 0 -numberOfFiles 12 -replicationFactorPerFile 3 \\";
	    commandStr+="\n -readFileAfterOpen true -baseDir /benchmarks/NNBench-`hostname -s`";
	    String commandLog="cat -b /root/NNBench_results.log |tail -n30";
	    // ---------------------------------------------------------------------------------------
	    // ------------------------------重复运行一个小作业10次,每次使用2个maps和1个reduces---------
	    /*String commandStr="yarn jar /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.3.2.0-2950-tests.jar mrbench -numRuns 10 -maps 2 -reduces 1";
	    String commandLog="";//无日志文件,属于动态输出日志*/
	    //----------------------------------------------------------------------------------------
	    CommandExecute(commandStr+" \n "+commandLog);//commandStr表示运行hadoop的命令,commandLog表示要输出的日志
               
            for (String str : stdout) {  
                System.out.println(str);  
            }

			lr.end_transaction("exe_command", lr.AUTO);
			return 0;
	}//end of action

	public int end() throws Throwable {
	    try{
				channel.disconnect();
				session.disconnect();
	    }catch(Exception e){
		 		System.out.println(e);
	    }
		return 0;
	}//end of end
}
以上脚本的核心部分是CommandExecute,通过ssh连接linux执行shell命令,一般情况下运行成功后会输出运行日志,但是hadoop基础测试包的调用有些日志是写到后台中的,所以可以通过加上cat -b /root/NNBench_results.log |tail -n30这样的命令(具体需要准确知道日志文件的所在路径),来输出当前执行成功后的日志(比如NNBench测试输出的最后30行就是当前日志)。

5、运行脚本,测试通过的输出如下所示:

6、对于Loadrunner通过C的方式远程连接linux,也是有方法的,具体可以参考别人的文章:

http://blog.csdn.net/hualusiyu/article/details/8530319


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
28天前
|
大数据 网络安全 数据安全/隐私保护
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
94 5
|
26天前
|
Linux 网络安全
Linux虚拟机与主机和Xshell的连接问题解决
Linux虚拟机与主机和Xshell的连接问题解决
60 1
|
28天前
|
XML 大数据 网络安全
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)
55 4
|
2月前
|
关系型数据库 MySQL 数据库
6-2|测试连接数据库的命令
6-2|测试连接数据库的命令
|
2月前
|
Unix Linux 网络安全
python中连接linux好用的模块paramiko(附带案例)
该文章详细介绍了如何使用Python的Paramiko模块来连接Linux服务器,包括安装配置及通过密码或密钥进行身份验证的示例。
55 1
|
25天前
|
关系型数据库 MySQL Linux
Navicat 连接 Windows、Linux系统下的MySQL 各种错误,修改密码。
使用Navicat连接Windows和Linux系统下的MySQL时可能遇到的四种错误及其解决方法,包括错误代码2003、1045和2013,以及如何修改MySQL密码。
162 0
|
2月前
|
Linux Python
Linux之centos安装clinkhouse以及python如何连接
Linux之centos安装clinkhouse以及python如何连接
|
27天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
116 6
|
27天前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
57 2
|
4天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
25 2

热门文章

最新文章