前提
这篇文章记录的是SonarQube
服务搭建的详细过程,应用于云迁移后的PipleLine
的代码扫描环节。
笔者有软件版本升级强迫症,一般喜欢使用软件的最新版本,编写此文的时候(2020-05-17
)SonarQube
的最新版本为8.3.1
。
SonarQube简介
SonarQube是一个代码质量管理开放平台,它集成了数千种自动的静态代码分析规则,旨在提高开发人员的代码质量和安全性,使得开发人员编写更加干净,更加安全的代码。主要提供了三个比较大的功能:
- 代码可靠性支持:提前捕获和提示代码中的错误,从而避免未定义的行为影响到终端用户。
- 应用安全支持:修复可能危害到应用程序的漏洞,并通过安全热点学习
AppSec
(简单理解就是会学习和识别新的漏洞)。 - 技术债务支持:确保管理的代码库干净并且可维护,以便提高开发人员的开发效率。
目前SonarQube
支持27种编程语言,基本上覆盖了当前主流的编程语言编写的项目:
上面谈到的功能可能比较泛,实际上,研发团队可以基于SonarQube
做下面的事情:
CI/CD
流程加入一个SonarQube
扫描的环节。- 实施代码质量阈值,只有通过了这个质量阈值检测才能进入下一个流程。
- 代码质量低于阈值的项目要及时调整对应的代码。
质量阈值可以进行自定义,SonarQube
中针对每个项目会有详细的面板信息,里面会给出项目当前的健康状态,不同级别漏洞的分类和明细,漏洞对应提交者等多维度的统计信息,方便进行问题的追踪和修复。举个例子,笔者在上一家公司项目上线需要跑一个流水线,而SonarQube
设定了不同等级的阈值,对于老项目,会使用最低等级的阈值:阻断性的错误数量要求为0,对于一些新的项目,则严格要求质量如严重性的错误要求为0等,只要无法通过质量阈值检查,那么项目是无法上线的。
SonarQube安装
一般情况下,只需要安装社区版免费的SonarQube
服务即可,可以基于二进制文件安装或者直接使用Docker
下载镜像启动,二进制文件安装的过程比较复杂,因为SonarQube
内部依赖内置的ElasticSearch
做搜索,在Linux
系统中需要添加一个非root
用户,并且修改一些列的系统参数例如系统支持的最大可打开的文件数等等。此外,SonarQube
是一个Java
应用,需要本地安装JDK
。自SonarQube
的7.9
版本开始放弃支持MySQL
数据库,8.3.1
版本下只支持内存模式、PostgreSQL
、Microsoft SQL Server
和Oracle
四种存储引擎。笔者调研过,持久化模式下,三种数据库中PostgreSQL
的安装相对简便。下面会详细记录基于二进制文件安装SonarQube
服务的过程。
软件(系统) | 版本 |
CentOS |
7.x |
OpenJDK |
11.x |
PostgreSQL |
12.x |
SonarQube |
8.3.1 |
笔者在测试的虚拟机(局域网IP
为192.168.56.200
)上关闭了防火墙,如果防火墙开启需要开放对应的端口号。
安装JDK11
OpenJDK
的安装比较简单:
mdkir /data/openjdk cd /data/openjdk wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz ## 默认会解压到/data/openjdk/jdk-11文件夹 tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz 复制代码
如果系统中没有默认的JDK
,可以添加到/etc/profile
中:
vim /etc/profile ## /etc/profile文件中添加下面的内容 export JAVA_HOME=/data/openjdk/jdk-11 export PATH=$JAVA_HOME/bin:$PATH ## 刷新环境变量 source /etc/profile 复制代码
测试一下:
[root@localhost jdk-11]# java -version openjdk version "11" 2018-09-25 OpenJDK Runtime Environment 18.9 (build 11+28) OpenJDK 64-Bit Server VM 18.9 (build 11+28, mixed mode) 复制代码
安装PostgreSQL数据库
PostgreSQL
的安装也相对简单,官方文档有十分详细的步骤:
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm yum install -y postgresql12 yum install -y postgresql12-server /usr/pgsql-12/bin/postgresql-12-setup initdb systemctl enable postgresql-12 systemctl start postgresql-12 复制代码
修改/var/lib/pgsql/12/data/pg_hba.conf
配置,开放所有Host
的访问:
接着重启PostgreSQL
:
systemctl restart postgresql-12 复制代码
切换用户进入PostgreSQL
的命令行,并且添加一个新的数据库用户sonar
和新的数据库sonar
备用:
su postgres psql -U postgres CREATE USER sonar WITH PASSWORD 'sonar'; CREATE DATABASE sonar WITH OWNER sonar ENCODING 'UTF8' 复制代码
这样就建立了一个名称为sonar
,用户名为sonar
并且密码也是sonar
的数据库。
安装SonarQube服务
在安装SonarQube
服务之前,可以参考Prerequisites and Overview调整系统参数,这些参数其实大部分和ElasticSearch
有关,查看参数:
## 一个进程可以拥有的VMA(虚拟内存区域)的数量上限 sysctl vm.max_map_count ## 同时打开的文件数目上限 sysctl fs.file-max ## 可以打开的文件描述符的上限 ulimit -n ## 可以启动线程的数量上限 ulimit -u 复制代码
如果当前的会话是root
用户,可以直接通过下面的命令去修改这四个参数:
sysctl -w vm.max_map_count=262144 sysctl -w fs.file-max=65536 ulimit -n 65536 ulimit -u 4096 复制代码
否则需要手动修改/etc/security/limits.conf
文件,在文件尾部添加:
* soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096 复制代码
修改/etc/sysctl.conf
文件,在文件尾部添加:
vm.max_map_count=262144 fs.file-max=65536 复制代码
/etc/security/limits.conf
和/etc/sysctl.conf
更新完毕后必须重启服务器。
接着新增一个用户sonarqube
(根本原因是ElasticSearch
不能用root
用户启动):
adduser sonarqube # 这一步需要输入密码,这里密码也暂定sonarqube passwd sonarqube # 分配权限 chown -R sonarqube:sonarqube /data/sonarqube 复制代码
接着下载和安装SonarQube
:
mdkir /data/sonarqube cd /data/sonarqube wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-8.3.1.34397.zip uzip sonarqube-8.3.1.34397.zip 复制代码
修改配置/data/sonarqube/sonarqube-8.3.1.34397/conf/sonar.properties
添加下面的属性:
sonar.jdbc.username=sonar sonar.jdbc.password=sonar sonar.jdbc.url=jdbc:postgresql://localhost:5432/sonar 复制代码
完成所有配置之后,可以尝试控制台启动SonarQube
服务:
cd /data/sonarqube/sonarqube-8.3.1.34397/bin/linux-x86-64 ./sonar.sh console 复制代码
如果启动正常,日志如下:
然后Ctrl C
退出控制台,使用./sonar.sh start
后台启动SonarQube
服务即可。
这里归类一下可能会遇到的问题:
- 提示
root
用户不能启动的问题,是因为ElasticSearch
不允许使用root
用户启动,新建一个普通用户即可。 - 提示部分文件夹无访问权限,一般是因为新建的普通用户没有分配
SonarQube
所在目录的写权限。 - 提示文件描述符或者线程数量限制,一般是因为没有修改
vm.max_map_count
、fs.file-max
、ulimit -n
和ulimit -u
参数导致。
SonarQube使用
SonarQube管理员的初始化账号密码都为admin,如果需要修改密码或者分配不同权限的用户,可以在管理员的菜单栏中完成。
访问http://192.168.56.200:9000
进入SonarQube
的WebUI
,可以先到插件市场安装一个汉化插件Chinese Pack
,安装插件完成后重启服务即可实现汉化。
SonarQube
提供不同类型的SonarScanner
用于代码扫描和结果提交,这里以Maven
为例。Maven
的settings.xml
需要引入下面的配置(注意父标签已经存在,重复添加父标签会导致异常):
<settings> <pluginGroups> <pluginGroup>org.sonarsource.scanner.maven</pluginGroup> </pluginGroups> <profiles> <profile> <id>sonar</id> <activation> <activeByDefault>true</activeByDefault> </activation> <properties> <!-- Optional URL to server. Default value is http://localhost:9000 --> <sonar.host.url> <!-- 这个位置需要替换成SonarQube服务地址,例如http://192.168.56.200:9000 --> http://myserver:9000 </sonar.host.url> </properties> </profile> </profiles> </settings> 复制代码
需要被扫描的项目中,需要引入Maven
插件sonar-maven-plugin
,当前最新版本为:
<plugin> <groupId>org.sonarsource.scanner.maven</groupId> <artifactId>sonar-maven-plugin</artifactId> <version>3.7.0.1746</version> </plugin> 复制代码
完成配置后,只需要在项目中执行命令进行扫描即可,首次执行会比较缓慢,因为需要下载大量的规则库和插件:
# 不指定插件版本执行 mvn clean install mvn sonar:sonar # 或者指定插件版本执行 mvn org.sonarsource.scanner.maven:sonar-maven-plugin:${插件的版本号}:sonar 复制代码
此外,可以通过pom
文件中的<properties>
指定SonarQube
的参数,如:
<properties> <sonar.host.url>[...]</sonar.host.url> <ssonar.projectKey>[...]</sonar.projectKey> <sonar.projectName>[...]</sonar.projectName> <sonar.projectVersion>[...]</sonar.projectVersion> <sonar.login>[...]</sonar.login> <sonar.password>[...]</sonar.password> <sonar.sourceEncoding>[...]</sonar.sourceEncoding> ...... </properties> 复制代码
项目扫描结果提交后,可以在http://192.168.56.200:9000/projects
看到项目列表:
点击进去就可以看到项目扫描后的详细报告和统计:
小结
质量管理是DevOps
中的一个重要环节,SonarQube
是一个十分优秀的代码质量管理开放平台,笔者之前迁移服务到某云,云上的流水线配置可以通过插件形式引入SonarQube
服务,这一点起到了低成本高收益的效果。
参考资料: