用Git子模块和Docker Compose实现高效开发工作流

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: 本文讲的是用Git子模块和Docker Compose实现高效开发工作流,【编者的话】搭建开发环境一直让程序员们头疼,本文使用Git子模块和Docker Compose实现高效率的开发工作流,让程序员能够轻松搭建出开发环境,把精力投入到需要开发的应用本身。

本文讲的是用Git子模块和Docker Compose实现高效开发工作流【编者的话】搭建开发环境一直让程序员们头疼,本文使用Git子模块和Docker Compose实现高效率的开发工作流,让程序员能够轻松搭建出开发环境,把精力投入到需要开发的应用本身。

问题

自我们从Continuous Software雇佣了第一位远程开发的程序员以来,我们就意识到精简开发工作流的重要性。当新入职的程序员接手由很多应用组成的复杂项目时,我们想尽量避免以下这几个问题:

  • 缺少stack模块:Node.js、PHP、PostgreSQL等
  • 不清楚项目组件/应用的总体概况
  • 本地配置冲突:监听端口、数据库配置等


此外,就我个人经验而言,我们这样的程序员太容易找不着北了。曾经,我入职一个公司的第一整天都花在搭建开发环境上,试图去理解所有的东西怎么才能一起工作,而无法直接就去理解公司开发的应用到底是怎么工作的。

方案

在具体介绍如何解决上述问题之前,我先介绍下我们项目使用的开发工作流。

我们的每个项目都在Bitbucket上有自己的Team(和GitHub上的Organization对应)。每个应用都会在Team下创建一个Repository(比如,apidashboardcpanel)。在这些子模块之上,创建了一个名为development的Repository。子模块的同一层级有README.mddocker-compose.yml两个文件。

kytwb@continuous:~/path/to//$ ls -la
total 40
drwxrwxr-x 11 kytwb amine 4096 Mar 14 16:30 .
drwxr-xr-x  4 kytwb amine 4096 Nov  1 20:17 ..
drwxr-xr-x 20 kytwb amine 4096 Mar 11 14:24 api
drwxr-xr-x 11 kytwb amine 4096 Mar  3 13:21 cpanel
drwxr-xr-x 10 kytwb amine 4096 Mar 12 11:37 dashboard
-rw-r--r--  1 kytwb amine 2302 Mar  2 15:28 docker-compose.yml
drwxrwxr-x  9 kytwb amine 4096 Mar 14 16:30 .git
-rw-r--r--  1 kytwb amine  648 Dec 22 17:20 .gitmodules
-rw-r--r--  1 kytwb amine 1706 Dec 17 16:41 README.md


当新程序员加入项目时,只需在Bitbucket上浏览developmentrepository,根据README.md的步骤就可以快速搭建环境。具体步骤如下所示:

$ git -v
$ docker -v
$ docker-compose -v
$ git clone git@bitbucket.com:/development.git  && cd 
$ git submodule init && git submodule update
$ git submodule foreach npm install
$ docker-compose up -d


至此,一切就都已经搭建好,并运行在本地机器上了。

实现原理

本章介绍我们是如何实现上述工作流的。

前提条件

$ git -v
$ docker -v
$ docker-compose


由于我们的开发堆栈完全基于Docker,所以,程序员需要先安装Docker。这时他们不需要特别熟悉Docker,只需要在开发时使用Docker即可,我们间接地将他们引入到了容器的世界,之后会以此为桥梁向他们解释如何使用Docker实现持续集成、持续交付等等。README.md中并没有详细介绍如何安装Docker,因为安装很简单。

当docker-compose还叫Fig的时候我们就已经用它来编排开发堆栈里的容器。之后Docker收购了Fig,重命名为Docker Compose。有人提议将Docker Compose合并到Docker代码里,但是基于很多原因最终并没有这么做,所以Docker Compose仍然需要单独安装。

同样地,本文没有详细介绍Docker Compose的安装,因为很简单。

搭建仓库(Repository)

如前所述,需要创建一个开发仓库,以及为每个应用创建对应的仓库。这里我们创建了apidashboardcpanel。当创建这些仓库的时候,重点关注development仓库的搭建。

$ git clone git@bitbucket.com:/development.git  && cd 


现在将应用程序的仓库添加为development仓库的子模块,只需要键入如下命令:

$ git submodule add git@bitbucket.org:/api.git
$ git submodule add git@bitbucket.org:/dashboard.git
$ git submodule add git@bitbucket.org:/cpanel.git


这样,你的development仓库根目录下会创建出.gitmodules文件。程序员也就可以在克隆developmentrepository的时候一次得到所有的应用程序并运行:

$ git submodule init && git submodule update


更多子模块的信息,请参考Git官方文档

Docker化一切

现在我们已经搭建好了development仓库,可以通过cd的方式访问所有不同的应用程序。接下来我们要用之前提到的编排工具:Docker Compose来容器化所有的应用及其配置。

首先从api应用程序开始。打开docker-compose.yml,为API声明一个容器,并为这个容器选择基础镜像。本示例中的代码基于Node.js,因此选择官方Node.js镜像:

api:
image: dockerfile/nodejs


这时,运行命令docker-compose up -d会创建出一个名为<project>_api_1的容器,这个容器什么也不做(启动后立即退出)。运行命令docker-compose ps可以得到由docker-compose.yml编排的所有容器的信息。

接下来配置api容器,使其多一些功能。为了实现这个目的,我们需要:

  • 将源代码挂载到容器中
  • 声明用什么命令运行应用
  • 暴露合适的端口以供访问应用


这样配置文件类似:

api:
image: dockerfile/nodejs
volumes:
- ./api/:/app/
working_dir: /app/
command: npm start
ports:
- "8000:8000"


现在再运行docker-compose up -d,就启动了api应用,可以在http://localhost:8000访问它。这个程序可能会崩溃,可以使用docker-compose logs api检查容器日志。

这里,我怀疑api的崩溃是因为它连不上数据库。因此需要添加database容器,并让api容器能够使用它。

api:
image: dockerfile/nodejs
volumes:
- ./api/:/app/
working_dir: /app/
command: npm start
ports:
- "8000:8000"
links:
- database
database:
image: postgresql
ports:
- "5432:5432"


通过创建database容器,并将其连接到api容器,我们就可以在api容器里找到database。要想展示API的环境(比如,console.log(process.env)),必须使用如下变量,比如POSTGRES_1_PORT_5432_TCP_ADDRPOSTGRES_1_PORT_5432_TCP_PORT。这是我们在API的配置文件里使用的关联到数据库的变量。

通过link指令,这个数据库容器被认为是API容器的依赖条件。这意味着Docker Compose在启动API容器之前一定会先启动数据库容器。
现在我们用同样的方式描述其它应用程序。这里,我们可以通过环境变量API_1_PORT_8000_TCP_ADDRAPI_1_PORT_8000_TCP_PORT,将api连接到dashboardcpanel应用。

- ./api/:/app/
working_dir: /app/
command: npm start
ports:
- "8000:8000"
links:
- database
database:
image: postgresql
dashboard:
image: dockerfile/nodejs
volumes:
- ./dashboard/:/app/
working_dir: /app/
command: npm start
ports:
- "8001:8001"
links:
- api
cpanel:
image: dockerfile/nodejs
volumes:
- ./api/:/app/
working_dir: /app/
command: npm start
ports:
- "8002:8002"
links:
- api


就像之前为数据库修改API配置文件一样,可以为dashboard和cpanel应用使用类似的环境变量,从而避免硬编码。

现在可以再次运行docker-compose up -d命令和docker-compose ps命令:

kytwb@continuous:~/path/to/$ docker-compose up -d
Recreating _database_1...
Recreating _api_1...
Creating _dashboard_1...
Creating _cpanel_1...
kytwb@continuous:~/path/to/$ docker-compose ps
Name                     Command              State      Ports           
----------------------------------------------------------------------------------
_api_1         npm start            Up         0.0.0.0:8000->8000/tcp
_dashboard_1   npm start            Up         0.0.0.0:8001->8001/tcp
_cpanel_1      npm start            Up         0.0.0.0:8002->8002/tcp
_database_1    /usr/local/bin/run   Up         0.0.0.0:5432->5432/tcp


应用应该就已经启动并运行了。
http://localhsot:8000可以访问api。
http://localhsot:8001可以访问dashboard。
http://localhsot:8002可以访问cpanel。

更进一步

本地路由

在使用docker-compose up -d运行所有容器之后,可以通过http://localhost:t>访问我们的应用。基于当前配置,我们可以很容易地使用jwilder/nginx-proxy加上本地路由功能,这样就可以使用和生产环境类似的URL访问本地应用了。比如,通过http://api.domain.local访问http://api.domain.com的本地版本。
jwilder/nginx-proxy镜像将一切变得很简单。只需要在docker-compose.yml里加上描述去创建一个名为nginx的新容器。根据jwilder/nginx-proxy的README文件(挂载Docker守护进程socket,暴露80端口)配置该容器就可以了。之后,在现有容器里再添加额外的环境变量VIRTUAL_HOSTVIRTUAL_PORT,如下:

api:
image: dockerfile/nodejs
volumes:
- ./api/:/app/
working_dir: /app/
command: npm start
environment:
- VIRTUAL_HOST=api.domain.local
- VIRTUAL_PORT=8000
ports:
- "8000:8000"
links:
- database
database:
image: postgresql
dashboard:
image: dockerfile/nodejs
volumes:
- ./dashboard/:/app/
working_dir: /app/
command: npm start
environment:
- VIRTUAL_HOST=dashboard.domain.local
- VIRTUAL_PORT=8001
ports:
- "8001:8001"
links:
- api
cpanel:
image: dockerfile/nodejs
volumes:
- ./api/:/app/
working_dir: /app/
command: npm start
environment:
- VIRTUAL_HOST=cpanel.domain.local
- VIRTUAL_PORT=8002
ports:
- "8002:8002"
links:
- api
nginx:
image: jwilder/nginx-proxy
volumes:
- /var/run/docker.sock:/tmp/docker.sock
ports:
- "80:80"


nginx容器会检查所有运行在Docker守护进程之上(通过挂载的docker.sock文件)的容器,为每个容器创建合适的nginx配置文件,并设置VIRTUAL_HOST环境变量。

要想完成本地路由的搭建,还需要在etc/hosts里添加所有的VIRTUAL_HOST。我是手动用node.js的hostile包来完成这个工作的,不过我猜应该可以自动化实现,就像jwilder/nginx-proxy可以根据nginx配置文件动态变化一样。这里需要再研究一下。

现在可以再次运行docker-compose up -d,然后使用和生产环境一样的url访问应用程序,只需用.localTLD代替.comTLD。

建议

本文发表在AirPair上,如果你对更进一步这一章有任何建议,请随意fork并修改它。如果你发现本文有任何错误,也请帮忙修改。

原文链接:Efficient development workflow using Git submodules and Docker Compose(翻译:崔婧雯) 
===========================
译者介绍
崔婧雯,现就职于VMware,高级软件工程师,负责桌面虚拟化产品的质量保证工作。曾在IBM WebSphere业务流程管理软件担任多年系统测试工作。对虚拟化,中间件技术有浓厚的兴趣。


原文发布时间为:2015-03-20

本文作者:崔婧雯

本文来自云栖社区合作伙伴DockerOne,了解相关信息可以关注DockerOne。

原文标题:用Git子模块和Docker Compose实现高效开发工作流

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
1月前
|
存储 开发工具 开发者
揭秘 Microsoft.Docker.SDK:让容器开发更轻松的强大工具揭秘
随着云计算和容器技术的快速发展,`Docker` 已经成为容器化技术的事实标准。`Microsoft` 作为 `Docker` 的主要支持者和参与者,推出了 `Microsoft.Docker.SDK`,旨在帮助开发者更轻松地进行容器开发。本文将深入揭秘 Microsoft.Docker.SDK 的功能、使用方法以及它在容器开发中的应用。
72 12
|
2月前
|
关系型数据库 MySQL 数据库
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤,希望对您有所帮助。
265 42
|
1月前
|
弹性计算 运维 Ubuntu
在阿里云ECS云服务器上安装、配置及高效使用Docker与Docker Compose
本文介绍了在阿里云ECS上使用Ubuntu系统安装和配置Docker及Docker Compose的详细步骤。通过这些工具,可以快速部署、弹性扩展和高效管理容器化应用,满足开发和运维需求。内容涵盖Docker的安装、镜像源配置、创建Web程序镜像以及使用Docker Compose部署WordPress等实际操作,并分享了使用体验,展示了阿里云实例的高性能和稳定性。
436 4
|
4月前
|
监控 NoSQL 时序数据库
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
《docker高级篇(大厂进阶):7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括:原生命令、是什么、compose容器编排,一套带走
412 78
|
1月前
|
安全 开发者 Docker
Docker技术背景与应用:解决现代开发中的关键问题
Docker作为一种革命性的容器化技术,极大地改变了现代软件开发的方式。通过解决环境一致性、依赖管理、部署复杂性和资源利用率等问题,Docker为开发者提供了高效、灵活的开发和部署环境。尽管面临着一些挑战,但随着技术的发展和完善,Docker将继续在现代软件开发中发挥重要作用。作为全栈工程师,掌握并善用Docker技术,将为我们的开发工作带来更多便利和可能性。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
|
2月前
|
消息中间件 Kafka Docker
docker compose 安装 kafka
通过本文的步骤,您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理,方便快速搭建和测试分布式系统。
231 2
|
3月前
|
存储 Docker 容器
Docker-基础(数据卷、自定义镜像、Compose)
通过数据卷实现持久化存储,通过自定义镜像满足特定需求,通过Docker Compose方便地管理多容器应用
122 27
|
3月前
|
存储 Docker 容器
Docker-基础(数据卷、自定义镜像、Compose)
通过数据卷实现持久化存储,通过自定义镜像满足特定需求,通过Docker Compose方便地管理多容器应用。掌握这些Docker基础概念和操作,可以显著提高开发和部署效率,确保应用程序的可移植性和可扩展性。
117 22
|
3月前
|
存储 项目管理 开发工具
图解Git——分支开发工作流《Pro Git》
分支开发工作流利用Git的分支功能,支持灵活的项目管理。长期分支如`master`和`develop`分别保存稳定和开发中的代码;短期主题分支用于开发单一特性或修复问题,完成后合并到主分支。此模式确保代码稳定性,支持并行开发、便于审查和灵活调整。建议维护明确的长期分支,保持主题分支短小精悍,并定期清理无用分支。配置上可保护关键分支,遵循命名规范。
139 7
|
4月前
|
存储 Kubernetes Docker
Kubernetes(k8s)和Docker Compose本质区别
理解它们的区别和各自的优势,有助于选择合适的工具来满足特定的项目需求。
448 19
下一篇
oss创建bucket