麻袋理财基于Docker的容器实践:互联网金融征信项目的微服务化之旅

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器镜像服务 ACR,镜像仓库100个 不限时长
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: 本文转载自中生代技术群的分享,本期是FinTech第一期,本文将分享麻袋理财基于Docker的容器实践,带领大家走进互联网金融征信项目的微服务化之旅。

FinTech第一期

征信是互联网金融的核心系统之一,在单体应用到服务化改造中,定义了API Gateway,Scheduler Service,Data Processing Service,Cache Service和Worker Service等服务,并实现了对基于Docker的微服务化。


本次分享的主题是《麻袋理财基于Docker的容器实践》——

             47dd52995b328b66410b4e4e6af9db4db3502771
征信要做的事情就是从内部外部获取数据,以此对用户的还款意愿进行甄别。
现在市场上也有很多第三方的征信公司,每家征信公司的数据来源各不相同,比如有些来自通信运营商,所以我们需要对接很多第三方的公司,而且各家公司的IT技术能力层次不齐,提供的接口也各不相同。

痛点:

  1. 对接N家公司;
  2. 使用不同接口;
  3. 各个接口的并发限制,超时时间各不相同

             2629a4fa123c3c190550e3d52d78dbc6b6c0dbb6

改造之前是一个典型的单体应用。
             75232d668bff24f240d165c03a924a41200c0061
改造过程中,我们希望把和第三方交互的模块抽取出来以便于单独扩展,提供API Gateway,对外提供统一的接口。
在方法与流程上,我们希望用自动的CI和CD,提高部署效率。从运维的角度来看,希望能够有更好的监控,及时发现问题,解决问题。
             93923c08ca25421f4553cf2beac8f53b5c73374f
我们遵循12 Factor App的原则,服务拆分的时候,使用单一职责。代码和配置进行分离,这样Dev/Test/Prod环境可以用同一套代码加不同配置。
这是改造结果,后面我会一一叙述。
             8116b8d67a94a73406f32376bce57cfae6ba7aa0

后面讲一下Docker的一些细节:

             36658572b6c769737eeeba37b5620d1bbd2b1565

目前Docker版本已经到1.12了,我们也已经升级到了1.11版本,原则就是保持在上一个稳定版本。
             f81cab86a5eaa881033c136fffb052cce402ff85
我们有使用一些基础镜像,包含一些基础的组件。

             a7681554cd353a4fdbed11fd748c57bc801de3af

             34fca486c39c3f0bd02166b3340eb2552939c326

我们的系统大部分使用Java开发,因此有Maven的基础构建镜像,JDK镜像等。
             61d6dac62fc681d58eea2dd3a45e37779804bab6
镜像仓库用的是VMware中国团队开发的Harbor,也是一个开源项目。
             16a03b76ccef1313aa62973baa6759d7cc80c79e
存储是一个高级话题,也包括如何优化Docker file,减少layer。

             401f66f518c163adbf3ab5617365e2130b4f52e6

             266b773ea77ff6d46b6b45c88ffd0f84de6e5e0a

这是几种存储驱动的比较。
             496a38b2efc096775f43175d6a3d8c3adfc0abc7
代码仓库我们目前用gitlab,遵循git-flow。目前每个项目有三个分支:dev,uat和master。每次代码提交都会触发Maven build和test,跑一些自动化测试脚本,结果会反馈到gitlab上。CI跑完之后,通过merge request的方式合并到uat分支,然后由测试和业务同事进行验证。测试完成后再通过merge request合并到master分支,然后进行产线部署,一般走灰度发布的流程。所有发布的流程都是用Jenkins实现
             936b0552cfca5332c9b55ebfa4003bae1f53bc72
我们会使用Docker compose来部署一组相关服务,参数通过不同文件来指定。
             2dbb457b961cedda4f1767e9a1d90666a35cdcf5
集群管理使用Swarm+Shipyard。
             3581e23ad35348e47f303219df4e6c4eb39eae11
日志监控用ELK,还有就是用filebeat把日志同步到某个目录,方便开发排错。
             cf07a8a0021bd28ffabfbbc3604dce34297d1f67
目前 Docker监控以cAdvisor为主。
             0cd9bff324edf4779a7f790db6a68d6962fc64d4
这是最后的部署架构图。
             e5d00cbe86087b741cd3cd14ac0838bbc2d5865a
总结
  1. 每个worker和一个第三方渠道打交道;
  2. 每个可以独立跑的项目用Docker进行封装;
  3. 用gitlab+Jenkins+Docker实现自动化CI/CD
Q&A
Q1: 王老师,请问你们如何解决合并分支时代码冲突的问题呢?尤其在涉及到多个feature分支以及个人分支的情况下。另外经常也会有已合并到dev分支上的feature需要撤销,这个怎么处理会比较好呢?
A1:代码冲突只能人工解决,另外一个微服务化的优势是,不同功能会放在不同项目中。

Q2: 目前麻袋整合了多少外部征信数据,后期的征信数据再加工和标准化做到什么程度了?
A2:我们正在梳理自己的征信领域模型。

Q3: 征信信息是实时查询吗?
A3:大部分是,但是有部分数据第三方提供的是异步接口;另外一个问题是第三方的IT水平也一般,不能保证7*24小时可用,再加上网络的问题,也会经常超时,所以要做好保护。

Q4: 调用外部征信渠道是一个微服务?还是按渠道分成不同的微服务?
A4:按渠道拆分为不同的服务,可以根据第三方的能力动态部署多个instance。

Q5: Docker打通了三层网络?
A5:我们现在没有用overlay network,因为不需要做隔离。

Q6: 单体到容器微服务化,相同研发人员产能究竟提升了多少,有无度量数据?
A6:首先是模块化能够带来很多好处,当然系统的复杂性也会增加,所以要先根据业务场景进行分析。数据没有度量。

Q7: 不同征信渠道作为一个worker单独部署,渠道多的时候,起很多Docker也是很占资源,做成一个微服务,并发去掉用呢?
A7:Docker占用资源还好了,主要是访问第三方需要不同线程池,不让对方响应比较慢,会把线程都占用掉。

Q8: 对这种大额低频的应用上Docker的意义在哪?主要是部署和运维层面?
A8:征信是一个高频应用(因为审批需要调用),也会不断接入新的第三方渠道,所以这样拆分之后,就可以做到不停机加渠道及升级不同渠道。

Q9: 关于问题四,接着请教[抱拳]理财和分期不同于秒杀场景,需要先注册,然后提订单,通常在同一时间并发应该没那么高,按渠道做那么多Docker实例必要性?

A9:这里拆分的原因还是因为要对接不同第三方渠道,第三方渠道提供不同接口,我们希望能够用一个模型来进行屏蔽这种差异性。


作者简介
王天青,麻袋理财首席架构师,曾就职于EMC中国研究院,对OpenStack,Cloud Foundry及Docker有较深研究。2015年加入麻袋理财,负责整个基础架构的演进。

本文转载自微信公众号 中生代技术 freshmanTechnology
目录
相关文章
|
3天前
|
运维 Kubernetes Cloud Native
云原生技术:容器化与微服务架构的完美结合
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其灵活性和高效性成为企业的新宠。本文将深入探讨云原生的核心概念,包括容器化技术和微服务架构,以及它们如何共同推动现代应用的发展。我们将通过实际代码示例,展示如何在Kubernetes集群上部署一个简单的微服务,揭示云原生技术的强大能力和未来潜力。
|
1天前
|
运维 Cloud Native 虚拟化
一文吃透云原生 Docker 容器,建议收藏!
本文深入解析云原生Docker容器技术,涵盖容器与Docker的概念、优势、架构设计及应用场景等,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
一文吃透云原生 Docker 容器,建议收藏!
|
1天前
|
Cloud Native 安全 API
云原生架构下的微服务治理策略与实践####
—透过云原生的棱镜,探索微服务架构下的挑战与应对之道 本文旨在探讨云原生环境下,微服务架构所面临的关键挑战及有效的治理策略。随着云计算技术的深入发展,越来越多的企业选择采用云原生架构来构建和部署其应用程序,以期获得更高的灵活性、可扩展性和效率。然而,微服务架构的复杂性也带来了服务发现、负载均衡、故障恢复等一系列治理难题。本文将深入分析这些问题,并提出一套基于云原生技术栈的微服务治理框架,包括服务网格的应用、API网关的集成、以及动态配置管理等关键方面,旨在为企业实现高效、稳定的微服务架构提供参考路径。 ####
13 5
|
2天前
|
负载均衡 监控 Cloud Native
云原生架构下的微服务治理策略与实践####
在数字化转型浪潮中,企业纷纷拥抱云计算,而云原生架构作为其核心技术支撑,正引领着一场深刻的技术变革。本文聚焦于云原生环境下微服务架构的治理策略与实践,探讨如何通过精细化的服务管理、动态的流量调度、高效的故障恢复机制以及持续的监控优化,构建弹性、可靠且易于维护的分布式系统。我们将深入剖析微服务治理的核心要素,结合具体案例,揭示其在提升系统稳定性、扩展性和敏捷性方面的关键作用,为读者提供一套切实可行的云原生微服务治理指南。 ####
|
1天前
|
Cloud Native API 持续交付
云原生之旅:从容器到微服务的演进之路
【10月更文挑战第39天】在这篇文章中,我们将一起探索云原生技术的奥秘。通过浅显易懂的语言和生动的比喻,我们将了解云原生技术如何改变软件开发的世界。文章将带领读者从容器的基本概念出发,逐步深入到微服务架构的实践,揭示这些技术如何助力现代应用的快速迭代与可靠部署。准备好,让我们启程进入云原生的精彩世界吧!
|
2天前
|
缓存 监控 开发者
掌握Docker容器化技术:提升开发效率的利器
在现代软件开发中,Docker容器化技术成为提升开发效率和应用部署灵活性的重要工具。本文介绍Docker的基本概念,并分享Dockerfile最佳实践、容器网络配置、环境变量和秘密管理、容器监控与日志管理、Docker Compose以及CI/CD集成等技巧,帮助开发者更高效地利用Docker。
|
3天前
|
监控 持续交付 Docker
Docker 容器化部署在微服务架构中的应用有哪些?
Docker 容器化部署在微服务架构中的应用有哪些?
|
3天前
|
监控 持续交付 Docker
Docker容器化部署在微服务架构中的应用
Docker容器化部署在微服务架构中的应用
|
3天前
|
安全 持续交付 Docker
微服务架构和 Docker 容器化部署的优点是什么?
微服务架构和 Docker 容器化部署的优点是什么?
|
Java 应用服务中间件 Linux
使用docker部署springboot项目小白教程
使用docker部署springboot项目小白教程
523 0