自动化代码审查平台: 基于Docker Compose整合Jenkins + SonarQube

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 自动化代码审查平台: 基于Docker Compose整合Jenkins + SonarQube

目录

代码审查平台

本文目标

环境要求

系统环境

组件服务版本

前言

代码评审

SonarQube简介

概述

部署流程

检查系统参数

设置系统参数

拉取代码

进入文件目录

创建数据卷目录

部署文件信息

执行启动脚本

部署成功信息

访问地址

环境配置

SonarQube

admin用户的权限配置:开启执行分析权限

创建访问Token

Jenkins

Jenkins初始密码查看

Jenkins集成Sonarqube

获取Sonarqube的Token

Jenkins中安装Sonar插件

Jenkins中配置Sonar插件

Jenkins集成GitLab

Jenkins集成Maven

Jenkins支持 Docker

Jenkins插件离线下载地址

Maven项目: 集成SonarQube进行代码审查

Idea: SonarLint插件使用

问题记录

SonarQube多分支的扫描

说明

社区版多分支扫描

开源插件

使用yum install java-1.8.0-openjdk 安装jdk后, 找不到安装路径或AVA_HOME没有输出信息



代码审查平台

本文目标

  1. 基于Docker Compose安装Jenkins + SonarQube
  2. 提交SpringBoot+Maven项目代码至GitLab
  3. GitLab通过WebHook自动触发Jenkins执行任务
  4. Jenkins获取代码,执行Sonar(阿里代码规约)分析代码。
  5. 在Sonar的服务器界面查看代码审查结果
  6. 在IDE的SonrLint中实时查看代码审查结果


环境要求

系统环境

CentOS 7

工具/环境 版本
CentOS 7
Docker 20.10.2
Docker-Compose 1.28.2


组件服务版本

工具/环境 版本
Jenkins 2.277.3
Sonarqube 8.5.0-community
postgres 13-alpine
GitLab

 Community Edition 12.5.5

Maven 3.6.3
JDK 1.8.0_292


前言

现如今大家越来越认识到质量前移的重要性。如果一开始就写出优质的、经过测试的代码,那么后面的测试阶段将会减少很多不必要的时间。

如果开发人员迫于业务压力,一味追求项目开发进度,往往会容易形成大量的“烂代码”。 一般的烂代码体现在逻辑混乱、复杂度高、易读性差、没有单元测试和缺乏必要的注释。如果把这样的“烂代码”编译交付测试团队,那么测试人员势必会发现很多低级缺陷,甚至连冒烟测试都无法通过,这样势必会浪费很多时间,延误测试进度。

所以,回到开始,为何不一开始就是写出优质代码呢?


代码评审

我们都知道很多公司都在推行DevOps、推行测试前移,就是让测试人员尽早参与研发过程中来,有很多团队推行了测试人员参与代码评审流程,但是往往效果不是很理想,原因通常是由于测试人员代码能力有限,不熟悉业务代码逻辑,当然也就无法发现正确问题,这样也就而导致测试团队的代码评审变成了摆设。那么问题来了,有什么办法解决这种状况吗?

如果测试人员在执行代码评审的时候可以借助一些代码扫描工具,然后针对这些扫描出的问题再进一步分析,这样轻易地可以发现一些真正代码问题


SonarQube简介

在实际的项目中,我们一般使用的多种编程语言,那么我们需要针对多种编程语言的一种扫描工具。

目前主流的是使用SonarQube代码质量分析平台。

SonarQube是一个开源的代码质量分析平台,便于管理代码的质量,可检查出项目代码的漏洞和潜在的逻辑问题。同时,它提供了丰富的插件,支持多种语言的检测, 如 Java、Python、Groovy、C#、C、C++等几十种编程语言的检测。

它主要的核心价值体现在如下几个方面:

  • 检查代码是否遵循编程标准:如命名规范,编写的规范等。
  • 检查设计存在的潜在缺陷:SonarQube通过插件Findbugs、Checkstyle等工具检测代码存在的缺陷。
  • 检测代码的重复代码量:SonarQube可以展示项目中存在大量复制粘贴的代码。
  • 检测代码中注释的程度:源码注释过多或者太少都不好,影响程序的可读可理解性。
  • 检测代码中包、类之间的关系:分析类之间的关系是否合理,复杂度情况。


概述

在典型的开发过程中:

  1. 开发人员在IDE中开发和合并代码(最好使用SonarLint在编辑器中接收即时反馈),然后将其代码签入ALM。
  2. 组织的持续集成(CI)工具可以检出,构建和运行单元测试,而集成的SonarQube扫描仪可以分析结果。
  3. 扫描程序将结果发布到SonarQube服务器,该服务器通过SonarQube接口,电子邮件,IDE内通知(通过SonarLint)和对拉取或合并请求的修饰(使用Developer Edition及更高版本时)向开发人员提供反馈。


部署流程

检查系统参数

sysctl vm.max_map_count #vm.max_map_count 大于或等于524288

sysctl fs.file-max #fs.file-max 大于或等于131072

ulimit –n #SonarQube的用户可以打开至少131072个文件描述符

ulimit –u #运行SonarQube的用户可以打开至少8192个线程


设置系统参数

sudo sysctl -w vm.max_map_count=262144
sudo sysctl -w fs.file-max=65536
ulimit -n 65536
ulimit -u 4096


拉取代码

git clone https://github.com/FLY-Open-DevOps/Jenkins-SonarQube-DockerCompose.git


进入文件目录

cd install/jenkins-sonarqube-docker-V2


创建数据卷目录

# Jenkins
mkdir -p /home/data/Jenkins/Jenkins_home
cd /home/data/Jenkins
chown -R 1000 Jenkins_home #把当前目录的拥有者赋值给uid 1000
# Sonarqube
mkdir -p /home/data/Sonarqube/conf
mkdir -p /home/data/Sonarqube/data
mkdir -p /home/data/Sonarqube/logs
# 挂载sonar-l10n-zh-plugin-1.16.jar和sonar-pmd-plugin-3.2.0-SNAPSHOT.jar文件
mkdir -p /home/data/Sonarqube/extensions/plugins
mkdir -p /home/data/Sonarqube/lib/bundled-plugins
# postgresql
mkdir -p /home/data/postgresql
mkdir -p /home/data/postgresql/data
chmod  777 /home/data/Jenkins/Jenkins_home
chmod  777 /home/data/Sonarqube/conf
chmod  777 /home/data/Sonarqube/data
chmod  777 /home/data/Sonarqube/logs
chmod  777 /home/data/Sonarqube/extensions/plugins
chmod  777 /home/data/Sonarqube/lib/bundled-plugins
chmod  777 /home/data/postgresql
chmod  777 /home/data/postgresql/data


拷贝插件和创建Maven环境

  • 拷贝install/jenkins-sonarqube-docker-V2/plugin/sonar-l10n-zh-plugin-1.16.jar和install/jenkins-sonarqube-docker-V2/plugin/sonar-pmd-plugin-3.2.0-SNAPSHOT.jar文件到 /home/data/Sonarqube/extensions/plugins
  • 使用install/jenkins-sonarqube-docker-V2/plugin/apache-maven-3.6.3创建Maven环境


部署文件信息

version: "3"
services:
  jenkins:
    image: jenkinsci/blueocean
    restart: unless-stopped
    container_name: jenkins
    ports:
      - "8080:8080"
    networks:
      - sonarnet
    privileged: true
    user: root
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - /home/data/jenkins/jenkins_home:/var/jenkins_home
      # 保持 docker 中的时区跟 host 保持一致, 否则日志等时间都使用 UTC+0 时区, 跟中国时间差 8 个小时
      - /etc/localtime:/etc/localtime:ro
      # 挂载宿主机本地的maven环境
      - /usr/local/jt/apache-maven-3.6.3:/usr/local/maven
      # 让容器使用宿主的docker
      - /var/run/docker.sock:/var/run/docker.sock
      - /usr/bin/docker:/usr/bin/docker
      - /etc/docker:/etc/docker
  sonarqube:
    image: sonarqube:8.5.0-community
    container_name: sonarqube
    ports:
      - "9090:9000"
    networks:
      - sonarnet
    environment:
      - sonar.jdbc.url=jdbc:postgresql://postgres:5432/sonarqube
      - sonar.jdbc.username=sonar
      - sonar.jdbc.password=sonar
    volumes:
      # 保持 docker 中的时区跟 host 保持一致, 否则日志等时间都使用 UTC+0 时区, 跟中国时间差 8 个小时
      - /etc/localtime:/etc/localtime:ro
      - /home/data/sonarqube/conf:/opt/sonarqube/conf
      - /home/data/sonarqube/data:/opt/sonarqube/data
      - /home/data/sonarqube/logs:/opt/sonarqube/logs
      - /home/data/sonarqube/extensions:/opt/sonarqube/extensions
      - /home/data/sonarqube/lib/bundled-plugins:/opt/sonarqube/lib/bundled-plugins
    depends_on:
      - postgres
    restart: unless-stopped
  postgres:
    image: postgres:latest
    container_name: postgres
    ports:
      - "5432:5432"
    networks:
      - sonarnet
    environment:
      - TZ=Asia/Shanghai
      - POSTGRES_USER=sonar
      - POSTGRES_PASSWORD=sonar
      - POSTGRES_DB=sonarqube
    volumes:
      # 保持 docker 中的时区跟 host 保持一致, 否则日志等时间都使用 UTC+0 时区, 跟中国时间差 8 个小时
      - /etc/localtime:/etc/localtime:ro
      - /home/data/postgresql/:/var/lib/postgresql/
      - /home/data/postgresql/data/:/var/lib/postgresql/data/
    restart: unless-stopped
networks:
  sonarnet:
    driver: bridge


执行启动脚本

bash deploy-Jenkins-Sonarqube-stack.sh


部署成功信息

Creating postgres            ... done
Creating Jenkins             ... done
Creating Sonarqube           ... done


访问地址

Jenkins: http://192.168.172.128:8080
SonarQube: http://192.168.172.128:9090


环境配置


SonarQube

默认账号密码 admin,admin登录SonarQube


admin用户的权限配置:开启执行分析权限


创建访问Token

点击右侧头像–我的账号–安全

或者访问 http://192.168.172.128:9000/account/security/


整合阿里Java开发规范(p3c-pmd)

虽然已经集成了阿里P3C,但是使用的还是默认规则,这里我们需要设置为指定规则。

创建规则

管理员帐户登陆Sonarqube,【质量配置】-创建,填写【名称】和选择【语言】,点击【创建】p3c-java

点击创建后进入P3C规则界面,点击【更多激活规则】


激活规则

进入激活界面后,输入【p3c】过滤出规则,规则前都有【p3c】标识,选择【批量修改】,点击【激活p3c-java】

  • 这里只激活了51条规则,有点问题


设置规则

进入【质量配置】,设置默认规则


Jenkins

Jenkins初始密码查看

docker logs Jenkins
或者
# Get the initial admin password
docker exec my-Jenkins-3 cat /var/Jenkins_home/secrets/initialAdminPassword

2021-05-21 06:21:49.809+0000 [id=28] INFO Jenkins.install.SetupWizard#init:




Jenkins initial setup is required. An admin user has been created and a password generated.

Please use the following password to proceed to installation:

67868dccf20d4883a2584804987b3ae4

This may also be found at: /var/Jenkins_home/secrets/initialAdminPassword




2021-05-21 06:22:28.417+0000 [id=28] INFO Jenkins.InitReactorRunner$1#onAttained: Completed initialization


Jenkins集成Sonarqube

获取Sonarqube的Token

打Sonarqube,点击Administrator->security->user,点击token按钮,输入key后再点击generate进行生成,复制该token

2d99bc078e3cd46e4b77aa560ca66b5575a9fc47


Jenkins中安装Sonar插件

Jenkins中要实现代码扫描,需要在Jenkins中安装SonarQube Scanner插件。

从Jenkins的“系统管理”-“管理插件”中找到SonarQube Scanner插件并下载安装,重启Jenkins后生效。


Jenkins中配置Sonar插件

SonarQube servers 配置

系统管理–>系统设置–>SonarQube servers,填写Name和Server URL,Name可以随意填写,Server URL就是SonarQube的url地址,

除此之外,还需要配置token,token需要在在SonarQube中生成。

SonarQube Scanner配置

“系统管理”-“全局工具配置”-“SonarQube Scanner”,点击“SonarQube Scanner 安装”并配置SonarQube Scanner。


Jenkins集成GitLab

Jenkins中添加GitLab插件,选择直接安装,然后服务器中重启Jenkins。

GitLab中生成AccessToken

GitLab,在GitLab中用户设置—>访问令牌选项中生成token,scope为第一个等级:api

Jenkins中添加GitLab中生成的token

测试Jenkins连接GitLab


Jenkins集成Maven

在宿主机环境安装maven, 记得修改和生效/etc/profile

export MAVEN_HOME=/usr/local/jt/apache-maven-3.6.3
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre/bin/java
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

配置maven

进入“系统管理”-“全局工具配置”-“Maven”,配置maven

settings.xml配置

安装“Maven Integration”插件


创建Maven任务

进入任务的配置界面,在源码管理设置部分,选择“Git”,配置好工程的git地址以及获取代码的凭证信息。

然后在“Additional Behaviours”中添加“Clean before checkout”。可以根据自己的需要在“Branches to build”中设置所需要获取的代码分支。


源码管理

在源码管理设置部分,选择“Git”,配置好工程的git地址以及获取代码的凭证信息。然后在“Additional Behaviours”中添加“Clean before checkout”。可以根据自己的需要在“Branches to build”中设置所需要获取的代码分支。


在“构建环境”配置中勾选“Prepare SonarQube Scanner environment”。

添加“Execute SonarQube Scanner”

在“Post Steps”中点击“Add post-build step”,添加“Execute SonarQube Scanner”。

在“Task to run”中输入scan,即分析代码。

在“Analysis properties”中输入下面内容。

sonar.projectKey=webvr-end
sonar.projectName=webvr-end
sonar.language=java
sonar.java.binaries=$WORKSPACE/target/classes/ 
sonar.sources=$WORKSPACE/src

参数说明:

参数项 说明
sonar.projectKey 项目Key,需要唯一,建议使用GroupId+ArtifactId
sonar.projectName 项目名称,跟ArtifactId保持一致即可
sonar.projectVersion 项目版本,跟pom.xml保持一致即可
sonar.sources 源码目录,Java项目默认就是src,如果项目有多个module,那就需要配置为{moduleDirectory}/src
sonar.java.binaries 编译产出的classes目录,如果项目有多个module,那就需要配置为{moduleDirectory}/target/classes
sonar.language 项目语言,例如 Java、NodeJS、C#、PHP 等

Sonar报表指标简介

指标 简介
Bugs bug个数及评分
Vulnerabilities 安全漏洞个数及评分
Debt 债务(代码问题)持续时间
Code Smells 轻微问题:代码风格等等
Coverage 单元测试覆盖率
Duplications 代码重复率
Duplicated Blocks 代码重复块数


Jenkins支持 Docker

Docker-in-Docker: Jenkins CI 内部如何运行 docker


Jenkins插件离线下载地址

http://updates.jenkins-ci.org/download/plugins/


Maven项目: 集成SonarQube进行代码审查

https://glory.blog.csdn.net/article/details/117303914


Idea: SonarLint插件使用

https://glory.blog.csdn.net/article/details/117303504


问题记录

SonarQube多分支的扫描

说明

SonarQube Community 版本不支持多分支扫描,

SonarQube Developer Edition 及以上版本是支持多分支扫描的,扫描时指定分支参数-DSonar.branch=develop即可,就可以实现多分支代码扫描。

$ mvn clean verify Sonar:Sonar -Dmaven.test.skip=true -DSonar.branch=master


社区版多分支扫描

经过搜索和分析 Sonar 扫描原理,目前有2种方式可以实现。

  • 开源插件:Sonarqube-community-branch-plugin
  • 替换 Sonar.projectKey,porjectKey 相等于 Sonar 中每个项目的主键 ID,替换后就会以新项目创建


开源插件

插件地址:https://github.com/mc1arke/Sonarqube-community-branch-plugin

大致操作步骤:

  • 下载插件放到${Sonar_HOME}/extensions/plugins目录下,重启 Sonar。
  • 扫描时,增加-DSonar.branch.name=${GIT_BRANCH}即可。

替换 Sonar.projectKey

扫描时,指定不同的 Sonar.projectKey 即可。


使用yum install java-1.8.0-openjdk 安装jdk后, 找不到安装路径或AVA_HOME没有输出信息

https://glory.blog.csdn.net/article/details/117250344




相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
1天前
|
监控 应用服务中间件 nginx
使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kibana)
ELK的架构有多种,本篇分享使用的架构如图所示: Beats(Filebeat) -> -> Elasticsearch -> Kibana,目前生产环境一天几千万的日志,内存占用大概 10G
28 4
|
1天前
|
运维 安全 Devops
构建高效自动化运维体系:Ansible与Docker的协同实践
【5月更文挑战第23天】 在现代IT基础设施管理中,自动化运维已成为推动效率和可靠性的关键因素。本文探讨了如何利用Ansible这一强大的自动化工具与容器化技术的代表Docker相结合,构建一个高效的自动化运维体系。通过分析两者的特点及互补性,我们展示了一种整合策略,该策略可帮助企业实现快速、一致且安全的部署和管理过程。
|
2天前
|
运维 监控 Docker
构建高效自动化运维体系:Ansible与Docker的完美结合
【5月更文挑战第23天】 在现代IT基础设施管理中,自动化运维已成为提升效率、确保一致性和降低人为错误的关键手段。本文深入探讨了如何通过结合Ansible和Docker技术,构建一个高效、可靠的自动化运维体系。文章首先概述了自动化运维的必要性,接着详细阐述了Ansible和Docker各自的核心优势,最后提供了一个实践案例来展示如何将两者融合以实现运维自动化的最佳实践。
|
8天前
|
jenkins 持续交付 数据安全/隐私保护
Docker 安装 Jenkins
Jenkins 是一个独立的开源自动化服务器,可用于自动化与构建、测试、交付或部署软件相关的各种任务。
41 1
|
10天前
|
运维 安全 API
构建高效自动化运维体系:Ansible与Docker的协同实践
【5月更文挑战第13天】在现代IT基础设施管理中,自动化运维已成为提升效率、确保一致性和降低人为错误的关键。本文通过深入探讨Ansible和Docker的集成实践,揭示了如何构建一个灵活、可扩展且高效的自动化运维体系。我们将从理论到实践,展示如何利用这两种技术实现自动化部署、管理和扩展应用服务,以及它们如何帮助运维团队应对快速变化的业务需求和复杂的IT环境。
33 1
|
10天前
|
jenkins 持续交付
基于Jeecgboot前后端分离的平台后端系统采用jenkins发布
基于Jeecgboot前后端分离的平台后端系统采用jenkins发布
12 1
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
|
10天前
|
开发框架 安全 网络安全
【Docker 专栏】Docker 多平台应用构建与部署
【5月更文挑战第8天】Docker作为一种关键的容器化技术,简化了多平台应用的构建与部署。它提供一致的运行环境,确保应用在不同平台无缝运行;通过分层构建机制加速镜像创建,提升开发效率。Docker的可移植性、高效部署及资源利用率是其主要优势。流程包括开发环境准备、构建镜像、测试验证及部署。然而,面临操作系统差异、网络安全和资源限制等挑战,需注意安全、版本管理和性能优化。Docker在多平台场景的应用将持续发挥价值。
【Docker 专栏】Docker 多平台应用构建与部署
|
10天前
|
数据库 Docker 容器
【Docker 专栏】使用 Dockerfile 自动化构建 Docker 镜像
【5月更文挑战第8天】Dockerfile是构建Docker镜像的关键,它包含一系列指令,用于描述应用运行环境及所需软件包。通过自动化构建,能提高效率、保证可重复性并提升灵活性。确定基础镜像、安装依赖、设置环境后,执行Dockerfile生成镜像,用于应用程序部署。虽然需要熟悉Docker技术和应用细节,但其带来的益处使其成为现代软件开发和部署的重要工具。
【Docker 专栏】使用 Dockerfile 自动化构建 Docker 镜像
|
10天前
|
运维 负载均衡 持续交付
构建高效自动化运维体系:Ansible与Docker的协同实践
【5月更文挑战第7天】 在当今快速迭代的软件开发环境中,自动化运维成为确保部署效率和一致性的关键。本文将探讨如何通过结合Ansible和Docker技术,构建一个高效的自动化运维体系,旨在提升运维效率,减少人为错误,并实现持续集成与持续部署(CI/CD)的流程自动化。文章详细阐述了Ansible的配置管理机制、Docker容器化的优势,以及二者在实际运维场景中的结合应用,为读者提供一套可行的自动化运维解决方案。

热门文章

最新文章