SonarQube搭建手记

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 这篇文章记录的是SonarQube服务搭建的详细过程,应用于云迁移后的PipleLine的代码扫描环节。

前提



这篇文章记录的是SonarQube服务搭建的详细过程,应用于云迁移后的PipleLine的代码扫描环节。


微信截图_20220512222506.png


笔者有软件版本升级强迫症,一般喜欢使用软件的最新版本,编写此文的时候(2020-05-17SonarQube的最新版本为8.3.1


SonarQube简介



SonarQube是一个代码质量管理开放平台,它集成了数千种自动的静态代码分析规则,旨在提高开发人员的代码质量和安全性,使得开发人员编写更加干净,更加安全的代码。主要提供了三个比较大的功能:


  • 代码可靠性支持:提前捕获和提示代码中的错误,从而避免未定义的行为影响到终端用户。
  • 应用安全支持:修复可能危害到应用程序的漏洞,并通过安全热点学习AppSec(简单理解就是会学习和识别新的漏洞)。
  • 技术债务支持:确保管理的代码库干净并且可维护,以便提高开发人员的开发效率。


目前SonarQube支持27种编程语言,基本上覆盖了当前主流的编程语言编写的项目:


微信截图_20220512222514.png


上面谈到的功能可能比较泛,实际上,研发团队可以基于SonarQube做下面的事情:


  • CI/CD流程加入一个SonarQube扫描的环节。
  • 实施代码质量阈值,只有通过了这个质量阈值检测才能进入下一个流程。
  • 代码质量低于阈值的项目要及时调整对应的代码。


质量阈值可以进行自定义,SonarQube中针对每个项目会有详细的面板信息,里面会给出项目当前的健康状态,不同级别漏洞的分类和明细,漏洞对应提交者等多维度的统计信息,方便进行问题的追踪和修复。举个例子,笔者在上一家公司项目上线需要跑一个流水线,而SonarQube设定了不同等级的阈值,对于老项目,会使用最低等级的阈值:阻断性的错误数量要求为0,对于一些新的项目,则严格要求质量如严重性的错误要求为0等,只要无法通过质量阈值检查,那么项目是无法上线的。


SonarQube安装



一般情况下,只需要安装社区版免费的SonarQube服务即可,可以基于二进制文件安装或者直接使用Docker下载镜像启动,二进制文件安装的过程比较复杂,因为SonarQube内部依赖内置的ElasticSearch做搜索,在Linux系统中需要添加一个非root用户,并且修改一些列的系统参数例如系统支持的最大可打开的文件数等等。此外,SonarQube是一个Java应用,需要本地安装JDKSonarQube7.9版本开始放弃支持MySQL数据库8.3.1版本下只支持内存模式、PostgreSQLMicrosoft SQL ServerOracle四种存储引擎。笔者调研过,持久化模式下,三种数据库中PostgreSQL的安装相对简便。下面会详细记录基于二进制文件安装SonarQube服务的过程。


软件(系统) 版本
CentOS 7.x
OpenJDK 11.x
PostgreSQL 12.x
SonarQube 8.3.1


笔者在测试的虚拟机(局域网IP192.168.56.200)上关闭了防火墙,如果防火墙开启需要开放对应的端口号。


安装JDK11


OpenJDK的安装比较简单:


mdkir /data/openjdk
cd /data/openjdk
wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz
## 默认会解压到/data/openjdk/jdk-11文件夹
tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz
复制代码


如果系统中没有默认的JDK,可以添加到/etc/profile中:


vim /etc/profile
## /etc/profile文件中添加下面的内容
export JAVA_HOME=/data/openjdk/jdk-11
export PATH=$JAVA_HOME/bin:$PATH
## 刷新环境变量
source /etc/profile
复制代码


测试一下:


[root@localhost jdk-11]# java -version
openjdk version "11" 2018-09-25
OpenJDK Runtime Environment 18.9 (build 11+28)
OpenJDK 64-Bit Server VM 18.9 (build 11+28, mixed mode)
复制代码


安装PostgreSQL数据库


PostgreSQL的安装也相对简单,官方文档有十分详细的步骤:


微信截图_20220512222529.png


yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
yum install -y postgresql12
yum install -y postgresql12-server
/usr/pgsql-12/bin/postgresql-12-setup initdb
systemctl enable postgresql-12
systemctl start postgresql-12
复制代码


修改/var/lib/pgsql/12/data/pg_hba.conf配置,开放所有Host的访问:


微信截图_20220512222538.png


接着重启PostgreSQL


systemctl restart postgresql-12
复制代码


切换用户进入PostgreSQL的命令行,并且添加一个新的数据库用户sonar和新的数据库sonar备用:


su postgres
psql -U postgres
CREATE USER sonar WITH PASSWORD 'sonar';
CREATE DATABASE sonar WITH OWNER sonar ENCODING 'UTF8'
复制代码


微信截图_20220512222546.png


这样就建立了一个名称为sonar,用户名为sonar并且密码也是sonar的数据库。


安装SonarQube服务


在安装SonarQube服务之前,可以参考Prerequisites and Overview调整系统参数,这些参数其实大部分和ElasticSearch有关,查看参数:


## 一个进程可以拥有的VMA(虚拟内存区域)的数量上限
sysctl vm.max_map_count
## 同时打开的文件数目上限 
sysctl fs.file-max
## 可以打开的文件描述符的上限
ulimit -n
## 可以启动线程的数量上限
ulimit -u
复制代码


如果当前的会话是root用户,可以直接通过下面的命令去修改这四个参数:


sysctl -w vm.max_map_count=262144
sysctl -w fs.file-max=65536
ulimit -n 65536
ulimit -u 4096
复制代码


否则需要手动修改/etc/security/limits.conf文件,在文件尾部添加:


* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
复制代码


修改/etc/sysctl.conf文件,在文件尾部添加:


vm.max_map_count=262144
fs.file-max=65536
复制代码


/etc/security/limits.conf/etc/sysctl.conf更新完毕后必须重启服务器

接着新增一个用户sonarqube(根本原因是ElasticSearch不能用root用户启动):


adduser sonarqube
# 这一步需要输入密码,这里密码也暂定sonarqube
passwd sonarqube
# 分配权限
chown -R sonarqube:sonarqube /data/sonarqube
复制代码


接着下载和安装SonarQube


微信截图_20220512222556.png


mdkir /data/sonarqube
cd /data/sonarqube
wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-8.3.1.34397.zip
uzip sonarqube-8.3.1.34397.zip
复制代码


修改配置/data/sonarqube/sonarqube-8.3.1.34397/conf/sonar.properties添加下面的属性:


sonar.jdbc.username=sonar
sonar.jdbc.password=sonar
sonar.jdbc.url=jdbc:postgresql://localhost:5432/sonar
复制代码


完成所有配置之后,可以尝试控制台启动SonarQube服务:


cd /data/sonarqube/sonarqube-8.3.1.34397/bin/linux-x86-64
./sonar.sh console
复制代码


如果启动正常,日志如下:


微信截图_20220512222607.png


然后Ctrl C退出控制台,使用./sonar.sh start后台启动SonarQube服务即可。


这里归类一下可能会遇到的问题:


  • 提示root用户不能启动的问题,是因为ElasticSearch不允许使用root用户启动,新建一个普通用户即可。
  • 提示部分文件夹无访问权限,一般是因为新建的普通用户没有分配SonarQube所在目录的写权限。
  • 提示文件描述符或者线程数量限制,一般是因为没有修改vm.max_map_countfs.file-maxulimit -nulimit -u参数导致。


SonarQube使用



SonarQube管理员的初始化账号密码都为admin,如果需要修改密码或者分配不同权限的用户,可以在管理员的菜单栏中完成。


访问http://192.168.56.200:9000进入SonarQubeWebUI,可以先到插件市场安装一个汉化插件Chinese Pack,安装插件完成后重启服务即可实现汉化。


微信截图_20220512222616.png


SonarQube提供不同类型的SonarScanner用于代码扫描和结果提交,这里以Maven为例。Mavensettings.xml需要引入下面的配置(注意父标签已经存在,重复添加父标签会导致异常):


<settings>
    <pluginGroups>
        <pluginGroup>org.sonarsource.scanner.maven</pluginGroup>
    </pluginGroups>
    <profiles>
        <profile>
            <id>sonar</id>
            <activation>
                <activeByDefault>true</activeByDefault>
            </activation>
            <properties>
                <!-- Optional URL to server. Default value is http://localhost:9000 -->
                <sonar.host.url>
                  <!-- 这个位置需要替换成SonarQube服务地址,例如http://192.168.56.200:9000 -->
                  http://myserver:9000
                </sonar.host.url>
            </properties>
        </profile>
     </profiles>
</settings>
复制代码


需要被扫描的项目中,需要引入Maven插件sonar-maven-plugin,当前最新版本为:


<plugin>
    <groupId>org.sonarsource.scanner.maven</groupId>
    <artifactId>sonar-maven-plugin</artifactId>
    <version>3.7.0.1746</version>
</plugin>
复制代码


完成配置后,只需要在项目中执行命令进行扫描即可,首次执行会比较缓慢,因为需要下载大量的规则库和插件:


# 不指定插件版本执行
mvn clean install
mvn sonar:sonar
# 或者指定插件版本执行
mvn org.sonarsource.scanner.maven:sonar-maven-plugin:${插件的版本号}:sonar
复制代码


此外,可以通过pom文件中的<properties>指定SonarQube的参数,如:


<properties>
   <sonar.host.url>[...]</sonar.host.url>
   <ssonar.projectKey>[...]</sonar.projectKey>
   <sonar.projectName>[...]</sonar.projectName>
   <sonar.projectVersion>[...]</sonar.projectVersion>
   <sonar.login>[...]</sonar.login>
   <sonar.password>[...]</sonar.password>
   <sonar.sourceEncoding>[...]</sonar.sourceEncoding>
   ......
</properties>
复制代码


项目扫描结果提交后,可以在http://192.168.56.200:9000/projects看到项目列表:


微信截图_20220512222627.png


点击进去就可以看到项目扫描后的详细报告和统计:


微信截图_20220512222635.png


小结



质量管理是DevOps中的一个重要环节,SonarQube是一个十分优秀的代码质量管理开放平台,笔者之前迁移服务到某云,云上的流水线配置可以通过插件形式引入SonarQube服务,这一点起到了低成本高收益的效果。


参考资料:


个人博客




相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
6月前
|
Java 关系型数据库 jenkins
SonarQube-Jenkins问题汇总
SonarQube-Jenkins问题汇总
|
安全 关系型数据库 Java
SonarQube实战:部署(一)
基于Docker部署SonarQube及中文汉化。
394 0
|
SQL 安全 IDE
SonarQube使用介绍
SonarQube使用介绍
2360 0
SonarQube使用介绍
|
3月前
|
Java 关系型数据库 MySQL
SonarQube——如何搭建SonarQube完整版
SonarQube——如何搭建SonarQube完整版
42 0
SonarQube——如何搭建SonarQube完整版
|
3月前
|
jenkins Java 关系型数据库
jenkins学习笔记之十二:sonarqube9.9、SonarScanner4.8部署
jenkins学习笔记之十二:sonarqube9.9、SonarScanner4.8部署
|
3月前
|
Docker 容器
SonarQube——Docker搭建SonarQube服务
SonarQube——Docker搭建SonarQube服务
53 0
|
Java
SonarQube使用教程
SonarQube使用教程
864 0
【Sonarqube】初体验
【Sonarqube】初体验
120 0
|
存储 Java 关系型数据库
Sonar环境搭建
Sonar环境搭建
310 0
Sonar环境搭建
|
安全 Java Maven
SonarQube最佳实践
SonarQube最佳实践
659 0