Loadrunner通过ssh连接linux进行hadoop基准测试

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Loadrunner通过ssh连接调用hadoop的测试Jar包进行基准测试,似乎有点讨巧,而且好像实际意义也不是特别大,但是通过这个方法的展示,能够看到Loadrunner的生命力有多大,而且在linux系统测试和开源技术的测试中,也是能够有用武之地,所以本文算是来个抛砖引玉吧。
版权声明:本文为博主原创文章,未经博主允许不得转载。欢迎访问我的博客 https://blog.csdn.net/smooth00/article/details/73796622

Loadrunner通过ssh连接调用hadoop的测试Jar包进行基准测试,似乎有点讨巧,而且好像实际意义也不是特别大,但是通过这个方法的展示,能够看到Loadrunner的生命力有多大,而且在linux系统测试和开源技术的测试中,也是能够有用武之地,所以本文算是来个抛砖引玉吧。

1、在loadrunner中新建脚本(本文以LoadRunner11为例),要求选择协议类型为Java->Java Vuser
2、在Run-time Settings设置JDK路径,由于LoadRunner11不支持jdk1.8,本次测试是拷贝了一份低版本的JDK1.6,所以路径选择固定路径模式(Use specified JDK),当然也可以将JDK1.6配到环境变量中,LoadRunner就可以直接调了。

3、上网下载个jsch-0.1.41.jar,然后在LoadRunner中加载jsch的jar包


4、在Loadrunner中以Java Vuser协议创建脚本,脚本样例如下:

/*
 * LoadRunner Java script. (Build: _build_number_)
 * 
 * Script Description: 
 *                     
 */
import lrapi.lr;

import java.io.BufferedReader; 
import java.io.InputStreamReader;  
import java.util.Vector;  
      
import com.jcraft.jsch.Channel;  
import com.jcraft.jsch.ChannelExec;  
import com.jcraft.jsch.JSch;  
import com.jcraft.jsch.JSchException;  
import com.jcraft.jsch.Session;
import java.io.InputStream;

public class Actions
{

        private String ipAddress;  
        private String username;  
        private String password;  
        public static final int DEFAULT_SSH_PORT = 22;     
        private Vector<String> stdout; 
				private Session session=null;
				private Channel channel=null;
      
        public void SSHCommandExecutor(final String ipAddress, final String username, final String password) {  
            this.ipAddress = ipAddress;  
            this.username = username;  
            this.password = password;  
            stdout = new Vector<String>();
	    			JSch jsch = new JSch(); 
	    			try{
                session = jsch.getSession(username, ipAddress, DEFAULT_SSH_PORT);  
                session.setPassword(password);
								session.setConfig("StrictHostKeyChecking", "no");
                //session.setUserInfo(userInfo);  
                session.connect();  
      
                // Create and connect channel.  
                channel = session.openChannel("exec");
	    			} catch (JSchException e) {  
                // TODO Auto-generated catch block  
                e.printStackTrace();  
            } catch (Exception e) {  
                e.printStackTrace();  
            }
        }  
      
        public int CommandExecute(final String command) {  
            int returnCode = 0;           
            try {                   
                ((ChannelExec) channel).setCommand(command);  
      
                channel.setInputStream(null);  
                BufferedReader input = new BufferedReader(new InputStreamReader(channel  
                        .getInputStream()));  
      
                channel.connect();  
                System.out.println("The remote command is: " + command);  
      
                // Get the output of remote command.  
                String line;  
                while ((line = input.readLine()) != null) {  
                    stdout.add(line);  
                }  
                input.close();  
      
                // Get the return code only after the channel is closed.  
                if (channel.isClosed()) {  
                    returnCode = channel.getExitStatus();  
                }  
      
                // Disconnect the channel and session.  
                //channel.disconnect();  
                //session.disconnect();  
            } catch (JSchException e) {  
                // TODO Auto-generated catch block  
                e.printStackTrace();  
            } catch (Exception e) {  
                e.printStackTrace();  
            }  
            return returnCode;  
        }  

	public int init() throws Throwable {
	    SSHCommandExecutor("172.17.2.12", "root", "123456");
			return 0;
	}//end of init

	public int action() throws Throwable {
            	    
			lr.start_transaction("exe_command");
	    //----------------------------------------写入2个1M的文件---------------------------------
	    /*String commandStr="yarn jar /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.3.2.0-2950-tests.jar TestDFSIO -write -nrFiles 2 -fileSize 1";
	    String commandLog="cat -b /root/TestDFSIO_results.log |tail -n10";*/
	    //--------------------------------------------TestDFSIO -clean---------------------------
	    //---------------------使用12个mapper和6个reducer来创建12个文件----------------------------
	    String commandStr="yarn jar /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.3.2.0-2950-tests.jar nnbench \\";
	    commandStr+="\n -operation create_write -maps 12 -reduces 6 -blockSize 1 \\";
	    commandStr+="\n -bytesToWrite 0 -numberOfFiles 12 -replicationFactorPerFile 3 \\";
	    commandStr+="\n -readFileAfterOpen true -baseDir /benchmarks/NNBench-`hostname -s`";
	    String commandLog="cat -b /root/NNBench_results.log |tail -n30";
	    // ---------------------------------------------------------------------------------------
	    // ------------------------------重复运行一个小作业10次,每次使用2个maps和1个reduces---------
	    /*String commandStr="yarn jar /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.3.2.0-2950-tests.jar mrbench -numRuns 10 -maps 2 -reduces 1";
	    String commandLog="";//无日志文件,属于动态输出日志*/
	    //----------------------------------------------------------------------------------------
	    CommandExecute(commandStr+" \n "+commandLog);//commandStr表示运行hadoop的命令,commandLog表示要输出的日志
               
            for (String str : stdout) {  
                System.out.println(str);  
            }

			lr.end_transaction("exe_command", lr.AUTO);
			return 0;
	}//end of action

	public int end() throws Throwable {
	    try{
				channel.disconnect();
				session.disconnect();
	    }catch(Exception e){
		 		System.out.println(e);
	    }
		return 0;
	}//end of end
}
以上脚本的核心部分是CommandExecute,通过ssh连接linux执行shell命令,一般情况下运行成功后会输出运行日志,但是hadoop基础测试包的调用有些日志是写到后台中的,所以可以通过加上cat -b /root/NNBench_results.log |tail -n30这样的命令(具体需要准确知道日志文件的所在路径),来输出当前执行成功后的日志(比如NNBench测试输出的最后30行就是当前日志)。

5、运行脚本,测试通过的输出如下所示:

6、对于Loadrunner通过C的方式远程连接linux,也是有方法的,具体可以参考别人的文章:

http://blog.csdn.net/hualusiyu/article/details/8530319


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
15天前
|
Java 数据库连接 网络安全
JDBC常用特性-SSH隧道连接
JDBC常用特性-SSH隧道连接
|
4月前
|
Ubuntu Shell 网络安全
安装了ubuntu虚拟机后发现shell无法连接 ubuntu开启ssh连接
【8月更文挑战第23天】安装了ubuntu虚拟机后发现shell无法连接
359 6
|
1月前
|
分布式计算 Java Hadoop
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
通过以上步骤,可以有效地解决 `HADOOP_HOME`和 `JAVA_HOME`删除后依然指向旧目录的问题。确保在所有相关的配置文件中正确设置和删除环境变量,并刷新当前会话,使更改生效。通过这些措施,能够确保系统环境变量的正确性和一致性。
29 1
|
1月前
|
监控 Ubuntu Linux
使用VSCode通过SSH远程登录阿里云Linux服务器异常崩溃
通过 VSCode 的 Remote - SSH 插件远程连接阿里云 Ubuntu 22 服务器时,会因高 CPU 使用率导致连接断开。经排查发现,VSCode 连接根目录 ".." 时会频繁调用"rg"(ripgrep)进行文件搜索,导致 CPU 负载过高。解决方法是将连接目录改为"root"(或其他具体的路径),避免不必要的文件检索,从而恢复正常连接。
|
2月前
|
网络安全 数据安全/隐私保护 C++
VS Code 的SSH连接不成功问题分析与解决
VS Code 的SSH连接不成功问题分析与解决
|
3月前
|
关系型数据库 MySQL 数据库
6-2|测试连接数据库的命令
6-2|测试连接数据库的命令
|
4月前
|
安全 Linux 网络安全
Docker部署ssh连接工具webssh2
【8月更文挑战第2天】Docker部署ssh连接工具webssh2
339 6
Docker部署ssh连接工具webssh2
|
4月前
|
网络安全
mac下通过ssh脚本实现免账号密码连接运服务器
mac下通过ssh脚本实现免账号密码连接运服务器
57 3
|
4月前
|
监控 网络安全 数据安全/隐私保护
Mac服务器ssh连接工具
Mac服务器ssh连接工具
133 2
|
4月前
|
存储 安全 算法
如何使用 PuTTY 创建 SSH 密钥以连接到 VPS
如何使用 PuTTY 创建 SSH 密钥以连接到 VPS
90 2