Docker Swarm总结+CI/CD Devops、gitlab、sonarqube以及harbor的安装集成配置(3/5)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: Docker Swarm总结+CI/CD Devops、gitlab、sonarqube以及harbor的安装集成配置(3/5)

博主介绍:Java领域优质创作者,博客之星城市赛道TOP20专注于前端流行技术框架、Java后端技术领域、项目实战运维以及GIS地理信息领域。

🍅文末获取源码下载地址🍅

👇🏻 精彩专栏推荐订阅👇🏻 欢迎点赞收藏评论拍砖........

【Docker Swarm总结】《容器技术 Docker+K8S专栏》

【uniapp+uinicloud多用户社区博客实战项目】《完整开发文档-从零到完整项目》

【Springcloud Alibaba微服务分布式架构 | Spring Cloud】《系列教程-更新完毕》

【SpringSecurity-从入门到精通】《学习完整笔记-附(完整demo源码)》

【从零开始Vue项目中使用MapboxGL开发三维地图教程】《系列教程-不定时更新》

【Vue.js学习详细课程系列】《共32节专栏收录内容》

感兴趣的可以先收藏起来相关问题都可以给我留言咨询,希望帮助更多的人。



12、CI/CD 与 DevOps

12.1 CI/CD 简介

CI,Continuous Integration,持续集成。即将持续不断更新的代码经构建、测试后也持

续不断的集成到项目主干分支。

CD,包含两层含义:Continuous Delivery,持续交付,和 Continuous Deployment,持续

部署。

  • 持续交付:是持续集成的后续步骤,持续频繁地将软件的新版本交付到类生产环境预发,

即交付给测试、产品部门进行集成测试、API 测试等验收,确保交付的产物可直接部署。

  • 持续部署:是持续交付的后续步骤,将持续交付的产物部署到生产环境。

12.2 DevOps 简介

百度百科中是这样介绍 DevOps 的:

DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于

促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整

合。

它是一种重视“软件开发人员(Dev)”和“IT 运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程,来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。

DevOps 是一种思想,是一种管理模式,是一种执行规范与标准。

12.3 CI/CD 与 DevOps 关系

CI/CD 是目标,DevOps 为 CI/CD 目标的实现提供了前提与保障。

13、 系统架构图

最终要搭建出如下图所示架构的系统。

14、Idea 中 Git 配置

14.1 Git 简介

Git(读音为/gɪt/)是一个开源的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。也是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

13.2 Git 的工作流程

13.3 Git 的下载与安装

从 Git 的官网下载 Git。其官网为:https://git-scm.com 。根据安装向导“下一步”式安装即可。

13.4 Idea 中配置 Git

15、GitLab 安装与配置

15.1 简介

GitLab 是一个源码托管开源工具,其使用 Git 作为代码管理工具,并在此基础上搭建起来的 Web 服务。GitLab 由乌克兰程序员使用 Ruby 语言开发,后来一部分使用 Go 语言重写。生产中通常使用 GitLab 搭建私有源码托管平台。

15.2 GitLab 的安装

(1) 主机要求

这里要使用 docker 方式来安装 GitLab,所以需要一台安装有 docker 及 docker-compose的主机,且该主机内存至少 4G。

(2) 拉取镜像

这里使用由 gitlab 官网发布的社区版镜像 gitlab/gitlab-ce:latest。该镜像最好是先拉取到本地后再使用,因为该镜像比较大。

具体安装详情参照我的博文:

(3) 定义 compose.yml

由于启动 GitLab 容器时需要设置的内容较多,为了方便,这里使用 docker compose 方式启动。

在任意目录 mkdir 一个子目录,例如在/usr/local 下新建一个 glab 目录。在该目录中新建compose.yml 文件。文件内容如下:

services:
  gitlab:
    image: gitlab/gitlab-ce
    container_name: gitlab
    restart: always
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        external_url 'http://192.168.162.121:9999'
        gitlab_rails['gitlab_shell_ssh_port'] = 2222
    ports:
      - 9999:9999
      - 2222:2222
    volumes:
      - ./config:/etc/gitlab
      - ./logs:/var/log/gitlab
      - ./data:/var/opt/gitlab
 

编写完compose.yml文件后,使用以下命令检查是否有错误:

docker-compose config

出现配置信息,就说明compose文件没问题!!!

(4) 启动 gitLab

使用 docker-compose up -d 命令启动容器服务。不过,其启动过程时间较长些。

docker-compose up -d

在等待过程中,可以查看其启动日志。

docker-compose logs -f

可以看到如下的大量日志。

13.3 GitLab 的密码配置

(1) 浏览器访问

在浏览器中直接键入 http://192.168.162.121:9999 即可打开登录页面。不过,这个过程一般需要的时间较长。这里需要登录的用户名与密码。默认的用户名为 root,而默认密码需要进入容器中查看。

(2) 查看登录密码

gitLab 平台的登录用户名默认为 root,初始密码在容器中/etc/gitlab/initial_root_password文件中。所以需要首先进入容器,然后查看该文件内容。然后再将 root 用户名与复制来的密码填写到登录页面的相应位置即可登录成功。

cat /usr/local/gitlab/config/initial_root_password

(3) 修改密码

登录后,首先要修改初始密码。为了方便,这里将新密码设置为 自己的密码。

16、SonarQube 安装与配置

16.1 简介

SonarQube 是一个开源的代码扫描与分析平台,用来持续扫描、分析和评测项目源代码的质量与安全。 通过 SonarQube 可以检测项目中代码量、安全隐患、编写规范隐患、重复度、复杂度、代码增量、测试覆盖率等多个维度,并通过 SonarQube web UI 展示出来。SonarQube 支持 30+种编程语言代码的扫描与分析,并能够方便的与代码 IDE、CI/CD 平台完美集成。

SonarQube 的官网地址:https://www.sonarsource.com/

16.2 主机要求

这里要使用docker方式来安装,所以需要一台安装有docker及docker-compose的主机。

16.3 安装与配置

(1) 下载两个镜像

由于 SonarQube 需要 Postgres 数据库的支持,所以安装 SonarQube 之前需要先安装Postgres 数据库。所以需要下载 Postgres 与 SonarQube 两个镜像。

docker pull sonarqube:10.3-community
 
docker pull postgres:latest

(2) 定义 compose.yml

由于需要启动两个容器,所以这里使用 docker-compose 方式。

在/usr/local 下 mkdir 一个 sonar 目录,在其中定义 compose.yml 文件。

sysctl -w vm.max_map_count=524288
 
sysctl -w fs.file-max=131072
 
ulimit -n 131072
 
ulimit -u 8192
 
 
mkdir -p  /data/sonarqube/postgres/postgresql
mkdir -p  /data/sonarqube/postgres/data
mkdir -p  /data/sonarqube/sonarqube/extensions
mkdir -p  /data/sonarqube/sonarqube/logs
mkdir -p  /data/sonarqube/sonarqube/data
mkdir -p  /data/sonarqube/sonarqube/conf
 
 
 
vi compose.yml

services:
  postgres:
    image: postgres
    restart: always
    container_name: postgres
    ports:
      - 5432:5432
    volumes:
      - /data/sonarqube/postgres/postgresql:/var/lib/postgresql
      - /data/sonarqube/postgres/data:/var/lib/postgresql/data
    environment:
      TZ: Asia/Shanghai
      POSTGRES_USER: sonar
      POSTGRES_PASSWORD: sonar
      POSTGRES_DB: sonar
 
  sonar:
    image: sonarqube:8.9.6-community
    container_name: sonar
    depends_on:
      - postgres
    volumes:
      - /data/sonarqube/sonarqube/extensions:/opt/sonarqube/extensions
      - /data/sonarqube/sonarqube/logs:/opt/sonarqube/logs
      - /data/sonarqube/sonarqube/data:/opt/sonarqube/data
      - /data/sonarqube/sonarqube/conf:/opt/sonarqube/conf
    ports:
      - 9000:9000
    command:
      - -Dsonar.ce.javaOpts=-Xmx2048m
      - -Dsonar.web.javaOpts=-Xmx2048m
   #   - -Dsonar.web.context=/sonar
    environment:
      SONARQUBE_JDBC_USERNAME: sonar
      SONARQUBE_JDBC_PASSWORD: sonar
      SONARQUBE_JDBC_URL: jdbc:postgresql://postgres:5432/sonar

(3) 修改虚拟内存大小

在/etc/sysctl.conf 文件中指定 vm.max_map_count 虚拟内存大小。

修改保存后再运行 sysctl –p 命令使 Linux 内核加载文件中的配置。

(4) 启动postgres和SonarQube两个容器服务

通过 docker-compose up –d 命令启动容器,并 docker ps 查看是否启动成功。

docker-compose up -d

(5) 登录 SonarQube

在浏览器键入 SonarQube 服务器的 IP 与端口号 9000,即可打开登录页面。默认用户名与密码都是 admin。这里登录sonarqube网页端时间有点长!!!!

Log in 后即可跳转到更新密码页面。这里更新密码为自己的密码。

Update 后即可看到首页。

(6) 安装汉化插件

在 Maketplace 中键入关键字 Chinese 后即可找到要安装的汉化插件,点击 I understand the risk(我了解风险)后即可看到 Install 按钮,点击安装。

安装成功后,在页面上部就可看到 Restart Server 的提示,让重启 SonarQube。

重启后,页面会自动跳转到具有中文的登录页面。登录进入后,页面已经变为了中文。

17、harbor 安装与配置

17.1 Harbor 安装系统要求

Harbor 要安装的主机需要满足硬件与软件上的要求。

(1) 硬件要求

(2) 软件要求

17.2 安装 Harbor

(1) 下载安装包

在官网复制 Latest 最新版的离线安装包的下载链接地址,在 Linux 系统中通过 wget 命令下载,将其下载到某目录中。

(2) 解压安装包

将下载好的包解压到某目录中。解压后其就是一个独立的目录 harbor。

tar zxvf harbor-offline-installer-v2.8.2.tgz -C /opt/apps/

(3) 修改 harbor.yml

复制一份 harbor 解压包中的 harbor.yml.tmpl,并重命名为 harbor.yml。

(4) 运行 prepare

运行 harbor 解压目录中的 prepare 命令。该命令会先拉取 prepare 镜像,然后再生成很多的其后期要用到的配置文件。

(5) 运行 install.sh

运行 harbor 解压目录中的 install.sh 命令,其会自动完成五步的安装过程,并在最终启动很多的容器。这些容器本质上就是通过 docker-compose 进行编排管理的。

(6) 新建仓库

在浏览器地址栏中输入 http://192.168.162.124 即可看到登录页面,在其中输入用户名

admin,密码为自己设置的密码,即可登录。

登录后点击“新建项目”,新建一个镜像仓库。

18、目标服务器安装与配置

18.1 docker 引擎

由于目标服务器需要从镜像中心 Harbor 中 docker pull 镜像,然后使用 docker run 来运

行容器,所以目标服务器中需要安装 Docker 引擎。

18.2 docker-compose

由于目标服务器需要通过 docker-compose 运行 compose.yml 文件来启动容器,所以目

标服务器中需要安装 docker-compose。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
11天前
|
Ubuntu 安全 Docker
【DevOps】Docker 最佳实践指南(绝对干货)
祝您的 Docker 之旅一切顺利!
40 4
|
7天前
|
网络协议 Linux 网络安全
GitLab安装和使用指南
GitLab安装和使用指南
11 0
|
11天前
|
Linux 网络安全 数据安全/隐私保护
centos7安装gitlab-ce社区版全过程,详细到爆炸,这些面试官常问的开发面试题你都掌握好了吗
centos7安装gitlab-ce社区版全过程,详细到爆炸,这些面试官常问的开发面试题你都掌握好了吗
|
11天前
|
安全 Devops 网络安全
【DevOps】Docker 最佳实践指南(绝对干货)
【DevOps】Docker 最佳实践指南(绝对干货)
19 2
|
11天前
|
网络协议 Ubuntu Devops
【DevOps】Docker 最佳实践指南(绝对干货)
如果需要通过网络远程访问 Docker 守护进程,应开启 TLS 并确保只接受来自可信客户端的连接。
15 3
|
13天前
|
Web App开发 测试技术 C++
Playwright安装与Python集成:探索跨浏览器测试的奇妙世界
Playwright是新兴的跨浏览器测试工具,相比Selenium,它支持Chrome、Firefox、WebKit,执行速度快,选择器更稳定。安装Playwright只需一条`pip install playwright`的命令,随后的`playwright install`会自动添加浏览器,无需处理浏览器驱动问题。这一优势免去了Selenium中匹配驱动的烦恼。文章适合寻求高效自动化测试解决方案的开发者。
20 2
|
13天前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面,也添加了RDS的IP白名单报错:数据源配置有误,请检查,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
33 0
|
13天前
|
存储 分布式计算 DataWorks
MaxCompute产品使用合集之大数据计算MaxCompute dataworks可以批量修改数据集成任务的数据源配置信息吗
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
13天前
|
数据挖掘 测试技术 开发工具
python 以及集成环境的安装
python 以及集成环境的安装
|
13天前
|
Linux 数据安全/隐私保护 Docker
源码管理新征程:CentOS 7上GitLab安装全程解析
源码管理新征程:CentOS 7上GitLab安装全程解析
38 0
源码管理新征程:CentOS 7上GitLab安装全程解析