Shell脚本测试总结

简介:

 

 

1. 脚本测试的苦难
因为脚本使用的自由度很大,对于程序员限制很少,功能实现的随意性给测试带来了不少困难。首先,很多Shell脚本编写不规范,没有同意的Shell脚本编程规范,其次,脚本参数配置与程序逻辑混杂,区分不清晰。往往脚本作者同时承担多个开发任务,由于开发周期以及复杂的线上环境等原因,与其他脚本接口的沟通难以面面俱到,导致RD单元测试进行得很不充分。

2. 我们应该如何入手
首先,代码走查结合动态单步跟踪以及观察日志与文件输出,网络、CPU状态。
然后,撰写测试桩与驱动,白盒测试保证代码逻辑中循环和分支都能够走到,黑盒测试保证函数和功能脚本接口正确,输入输出符合设计预期。
对于异常处理,特别是变量的检查需要特别关注,变量在使用前都需要进行检查,是否为空?或者为0?对于文件名和路径必须检查,确认文件是否存在,路径是否可达之后再进行后续操作。
另外,需要考虑所依赖的其他功能脚本以及二进制工具,这些功能性单元应该如何使用,调用后的返回会有哪些情况,对于正常和异常结果,脚本是否能够捕捉到并且作出正确的判断。

3. 静态测试 && 动态测试
1) 新旧版本代码对比
可以基于icafe平台的codereview功能查看新旧版本的diff代码行,对比升级点,及时与RD沟通确认,避免遗漏,保证测试的全面性。代码对比的方式可能局限性比较大,适用于两个连续版本间代码结构无大的改动的情况,很多情况下,新版本的脚本会与之前的版本完全不同,Shell脚本与C语言模块有一个很大的区别就是,IM 模块C 代码的前后版本实现的承接关系很明显,但是Shell脚本不一定,可能后来的RD会将之前版本的脚本完全推翻。代码结构完全不同,因此在这种情况下,我们应该直接进入代码走查环节。

2) 代码走查
全面、深入、细致地关注脚本分支、循环逻辑正确性。
例如:retrbs重启脚本,在重启PS平台所有retrbs之后,需要清理PS平台retras cache,新增的启动方式升级分成两种启动方式,normal与continue模式,实际在codereview时发现normal方式重启完成后清理cache,continue方式重启完成后直接退出,这肯定是有问题的,因为按正常逻辑来说,不管那种启动方式,在重启完成之后都需要清理cache。


3) 搭建环境
搭建环境需要了解脚本的运行场景,运行频率,环境依赖以及与其配合的上下文脚本及程序:
脚本执行时所处的目录和配置文件
对应的产品模块功能
数据的周期性更新
server间的ssh认证
网络通信端口检查
脚本中的使用的工具
脚本硬件要求
比如说:脚本在什么目录下执行,每天几点钟执行,执行的时候需要什么数据以及工具提前准备好,等等。


4. 如何调试Shell脚本
1) 检查语法错误:
一般来说我们可以通过修改shell脚本的源代码,令其输出相关的调试信息来定位错误,那有没有不修改源代码来调试shell脚本的方法呢?答案就是使用shell的执行选,下面是一些常用选项的用法:
-n 只读取shell脚本,但不实际执行
-x 进入跟踪方式,显示所执行的每一条命令
-c "string" 从strings中读取命令

“-n”可用于测试shell脚本是否存在语法错误,但不会实际执行命令。在shell脚本编写完成之后,实际执行之前,首先使用“-n”选项来测试脚本是否存在语法错误是一个很好的习惯。因为某些shell脚本在执行时会对系统环境产生影响,比如生成或移动文件等,如果在实际执行才发现语法错误,您不得不手工做一些系统环境的恢复工作才能继续测试这个脚本。

“-c”选项使shell解释器从一个字符串中而不是从一个文件中读取并执行shell命令。当需要临时测试一小段脚本的执行结果时,可以使用这个选项,如下所示:
sh -c 'a=1;b=2;let c=$a+$b;echo "c=$c"'

"-x"选项可用来跟踪脚本的执行,是调试shell脚本的强有力工具。“-x”选项使shell在执行脚本的过程中把它实际执行的每一个命令行显示出来,并且在行首显示一个"+"号。 "+"号后面显示的是经过了变量替换之后的命令行的内容,有助于分析实际执行的是什么命令。 “-x”选项使用起来简单方便,可以轻松对付大多数的shell调试任务,应把其当作首选的调试手段。

2) 调试工具-bashdb
使用shell调试器bashdb,这是一个类似于GDB的调试工具,可以完成对shell脚本的断点设置,单步执行,变量观察等许多功能。

使用bashdb进行debug的常用命令
1.列出代码和查询代码类:
l 列出当前行以下的10行
- 列出正在执行的代码行的前面10行
. 回到正在执行的代码行
w 列出正在执行的代码行前后的代码
/pat/ 向后搜索pat
?pat?向前搜索pat

2.Debug控制类:
h 帮助
help 命令 得到命令的具体信息
q 退出bashdb
x 算数表达式 计算算数表达式的值,并显示出来
!!空格Shell命令 参数 执行shell命令
使用bashdb进行debug的常用命令(cont.)
控制脚本执行类:
n 执行下一条语句,遇到函数,不进入函数里面执行,将函数当作黑盒
s n 单步执行n次,遇到函数进入函数里面
b 行号n 在行号n处设置断点
del 行号n 撤销行号n处的断点
c 行号n 一直执行到行号n处
R 重新启动
Finish 执行到程序最后
cond n expr 条件断点


5. 脚本测试的基本流程
1.静态代码检查
2.单元测试1:针对每个功能函数撰写驱动和桩,验证所有分支
• 确认每个配置项以及设计的文件目录是否在使用前进行检查
• 确认所有的变量没有向外传播的危险
• 确认所产出的临时文件没有泄露,脚本自己会负责处理掉临时文件
3.单元测试2:对于单个功能脚本sh -x XXX.sh 跟踪脚本执行情况
4.集成测试1:对于所有脚本使用sh -x XXX.sh 跟踪脚本执行情况
5.集成测试2:模拟脚本生产环境,周期性连续多次执行全部功能脚本,监控脚本性能以及日志、临时文件等状态。

6. 脚本测试中遇到的问题和解决方案
1) 判断一个数组是否为空:
【脚本内容】: 
if [ -z ${pg_readyDatalist[@]} ]
then
…………
fi 
【问题】:不可如此判断,超过一个元素时,语法错误
【sh -x 执行】: 
+ '[' -z model gtrindex ']'
retrbs_restart.sh: line 366: [: model: binary operator expected
【原因】: 
-z 只能判断一个变量是否为空
判断一个list是否为空,应该:
【解决】判断list元素个数是否为0
例如: if [ ${#ps_retrbs[@]} -eq 0 ]

2) If语句判断
【脚本内容】: 
if [ -f ./$i] 
then 
echo "test" 
fi 
【问题】: .$i] 的“]”前面没有空格,造成语法错误
【sh -x 执行】:./test.sh: line 3: [: missing `] 
【原因】: If语句的条件判断“[ ]”,“[”之后和“]”之前必须有空格
【解决】加上空格


3) 字符串判断
【脚本内容】: 
if [ "$1" = "continue" ] then 
echo “succ”
fi 
【问题】:$1为空,打印“succ”
【sh -x 执行】:succ 
【原因】: $1为空会造成语法错误,返回0,继续执行if代码块中的逻辑,导致判断错误 
【解决】修改成 if [ "a$1" = "acontinue" ]

4) 变量传播
【脚本内容】: 
func(){
for((i=0;i<$RETRY_TIMES;i++))
do
NOTICE "delBlacklist”
done
}
for (( i=0; i<pggroup_size; i++))
do
func()
done
【问题】:“i”的值自增之后会传递到外层调用脚本,导致外层调用脚本的循环跳过或死循环
【解决】避免使用i,j,k等常见的循环控制变量,使用自定义的变量名,如retry_count等
在shell函数中定义的变量加上local关键字


5) 命令连接
问题一:
【脚本内容】: 
cd to_del; rm -rf *
【问题】:如果cd 目录失败,rm -rf * 会错误地删除当前目录下的所有文件
【解决】使用 && 连接 cd失败将不会继续执行后面的命令

问题二:
【脚本内容】: 
for data in ${datalist{@}}
do
runRemoteCmd ${host} "cd ${data_path}.new && [[ -f ${data_flag} ]]" || suc=0 && break
done 
【问题】:这里的 || && 是同一个优先级
那么就是说 && 后面的语句 break无论什么情况下都不可能被执行到
【解决】拆成两条语句,单独判断suc


6) 文件泄露
【脚本内容】: 
local status=$( mySsh ${remote_host} "{ ${command%%;}; }&>/tmp/$$ && echo 0 || echo 1" ) 
【问题】:上述代码将远程执行命令行的输出结果导入到一个以pid命名的临时文件中,在脚本关闭的时候没有清除,每一次执行将创建一个新文件,很可能导致文件泄露问题。
【解决】注意清理脚本生成的临时文件

 

7) ssh 远程执行后台命令不靠谱
【脚本内容】: 
ssh hostname "cat bin &“
【执行】
[work@www.baidu.com bin]$ ssh localhost "cat bin &"
cat: bin: Is a directory
[work@www.baidu.com bin]$ echo $?

【问题】:命令执行错误,返回值为0 
【解决】将远程命令放在前台执行:
[work@www.baidu.com bin]$ ssh localhost "cat bin" 
cat: bin: Is a directory
[work@www.baidu.com bin]$ echo $?
1

 

8) 变量使用前使用unset清理
【脚本内容】:一般是针对脚本的配置文件 
ps_retras[0]="work@www.baidu.com"
ps_retras[1]="work@www.baidu.com"
【问题】:如果OP修改ps_retras数组的配置,可能无法生效
【解决】使用unset进行清理 
unset
功能说明:删除变量或函数。 
语法:unset [-fv][变量或函数名称] 
参数: 
-f 仅删除函数。 
-v 仅删除变量。 
例如:unset ps_retras
ps_retras[0]="work@www.baidu.com"
ps_retras[1]=“work@www.baidu.com“

 

7. shell 内置变量
1) $FUNCNAME
函数的名字,类似于C语言中的内置宏__func__,但宏__func__ 只能代表当前所在的函数名,而$FUNCNAME的功能更强大,它是一个数组变量,其中包含了整个调用链上所有的函数的名字,故变量${FUNCNAME [0]}代表shell脚本当前正在执行的函数的名字,而变量${FUNCNAME[1]}则代表调用函数${FUNCNAME[0]}的函数的名字,依此类推。

2) $BASH_SOURCE
shell脚本源文件名,与FUNCNAME相对应

3) $BASH_LINENO
代表shell脚本的当前行号,类似于C语言中的内置宏__LINE__,与FUNCNAME相关联
BASH_LINENO[$i] 指示的是 FUNCNAME[$i + 1]被调用的位置

4) $PS4
第四级提示符变量$PS4 , $PS4的值将被显示在“-x”选项输出的每一条命令的前面。在Bash Shell中,缺省的$PS4的值是"+"号。(现在知道为什么使用"-x"选项时,输出的命令前面有一个"+"号了吧 )
通过修改$PS4的值,就可以达到sh –x 时显示行号还有函数名称的目的了。

 

(作者:zliang)

 












本文转自百度技术51CTO博客,原文链接:http://blog.51cto.com/baidutech/743454,如需转载请自行联系原作者

相关文章
|
5天前
|
JavaScript 前端开发 Shell
Shell 脚本编程保姆级教程(上)
Shell 脚本编程保姆级教程(上)
|
2天前
|
Shell 网络安全
shell脚本 配饰ssh
【7月更文挑战第15天】
10 4
|
6天前
|
网络协议 Shell Linux
Shell脚本配置Centos静态ip地址
这是一个用于在CentOS上设置静态IP的Shell脚本摘要: - 脚本交互式获取用户输入的IP地址、子网掩码、网关和DNS。 - 使用`sed`命令动态更新`/etc/sysconfig/network-scripts/ifcfg-ENS33`配置文件。 - 修改`BOOTPROTO`为`static`,并设置IP、NETMASK、GATEWAY和DNS1字段。 - 用`systemctl restart network`重启网络服务。 - 提示用户新配置的静态IP信息。
|
6天前
|
机器学习/深度学习 数据采集 人工智能
探索自动化测试的边界:从脚本到智能
在软件开发领域,自动化测试已成为确保产品质量和提升开发效率的关键因素。随着人工智能和机器学习技术的飞速发展,传统的自动化测试方法正面临重大的变革。本文将从多个角度分析自动化测试的现状与未来趋势,探讨如何通过集成先进的技术手段优化测试流程,并预测自动化测试领域的发展方向。
9 1
|
12天前
|
Shell Linux
Linux Shell 脚本入门教程:开启你的自动化之旅
Shell是一种计算机程序,它充当了用户与操作系统之间的接口。在Linux系统中,Shell允许用户通过命令行界面(CLI)来控制计算机。Shell脚本则是一种使用Shell语言编写的脚本,它可以自动执行一系列的命令,帮助用户实现任务自动化,提高工作效率。
|
18天前
|
数据管理 测试技术 持续交付
自动化测试的进阶之路:从脚本到框架
【6月更文挑战第28天】在软件开发的生命周期中,自动化测试是确保产品质量和提升开发效率的关键步骤。本文深入探讨了自动化测试的演变历程,从简单的脚本编写到构建复杂的测试框架,揭示了如何通过持续集成和持续部署(CI/CD)实现自动化测试的高效执行。文章不仅介绍了自动化测试的基本概念和工具,还提供了实用的策略和技巧,帮助读者理解如何在现代软件工程实践中有效地应用自动化测试,以及如何克服常见的挑战。
|
18天前
|
Shell
蓝易云 - 简单shell脚本的编写教程
以上就是编写一个基本Shell脚本的步骤。当然,Shell脚本可以做的远不止这些,你可以使用变量,控制结构(如if语句和循环),以及各种Shell命令和功能来编写更复杂的脚本。
22 1
|
2天前
|
敏捷开发 测试技术
探索式测试与脚本化测试的融合之道
在软件测试领域,探索式测试和脚本化测试常被视为对立面。然而,随着敏捷开发的普及和测试自动化需求的增加,两者之间的界限逐渐模糊。本文将探讨如何有效地结合这两种测试方法,以实现更高效、更全面的软件测试策略。我们将通过实际案例分析,展示融合探索式与脚本化测试的优势,并提供实施建议。
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
自动化测试的演进之路:从脚本到智能
【6月更文挑战第18天】自动化测试作为软件质量保证的重要手段,其发展历程映射了技术进步和行业需求的变化。本文旨在探讨自动化测试技术从简单的脚本编写逐步演变为集成化、智能化的测试解决方案的过程。文章将分析自动化测试面临的挑战,介绍当前流行的框架和工具,并展望自动化测试的未来趋势,特别是人工智能如何重塑测试实践,提升测试效率和有效性。
37 2
|
5天前
|
Shell
Shell 脚本编程保姆级教程(下)
Shell 脚本编程保姆级教程(下)