麻袋理财基于Docker的容器实践:互联网金融征信项目的微服务化之旅-阿里云开发者社区

开发者社区> 中生代技术> 正文

麻袋理财基于Docker的容器实践:互联网金融征信项目的微服务化之旅

简介: 本文转载自中生代技术群的分享,本期是FinTech第一期,本文将分享麻袋理财基于Docker的容器实践,带领大家走进互联网金融征信项目的微服务化之旅。

FinTech第一期

征信是互联网金融的核心系统之一,在单体应用到服务化改造中,定义了API Gateway,Scheduler Service,Data Processing Service,Cache Service和Worker Service等服务,并实现了对基于Docker的微服务化。


本次分享的主题是《麻袋理财基于Docker的容器实践》——

             47dd52995b328b66410b4e4e6af9db4db3502771
征信要做的事情就是从内部外部获取数据,以此对用户的还款意愿进行甄别。
现在市场上也有很多第三方的征信公司,每家征信公司的数据来源各不相同,比如有些来自通信运营商,所以我们需要对接很多第三方的公司,而且各家公司的IT技术能力层次不齐,提供的接口也各不相同。

痛点:

  1. 对接N家公司;
  2. 使用不同接口;
  3. 各个接口的并发限制,超时时间各不相同

             2629a4fa123c3c190550e3d52d78dbc6b6c0dbb6

改造之前是一个典型的单体应用。
             75232d668bff24f240d165c03a924a41200c0061
改造过程中,我们希望把和第三方交互的模块抽取出来以便于单独扩展,提供API Gateway,对外提供统一的接口。
在方法与流程上,我们希望用自动的CI和CD,提高部署效率。从运维的角度来看,希望能够有更好的监控,及时发现问题,解决问题。
             93923c08ca25421f4553cf2beac8f53b5c73374f
我们遵循12 Factor App的原则,服务拆分的时候,使用单一职责。代码和配置进行分离,这样Dev/Test/Prod环境可以用同一套代码加不同配置。
这是改造结果,后面我会一一叙述。
             8116b8d67a94a73406f32376bce57cfae6ba7aa0

后面讲一下Docker的一些细节:

             36658572b6c769737eeeba37b5620d1bbd2b1565

目前Docker版本已经到1.12了,我们也已经升级到了1.11版本,原则就是保持在上一个稳定版本。
             f81cab86a5eaa881033c136fffb052cce402ff85
我们有使用一些基础镜像,包含一些基础的组件。

             a7681554cd353a4fdbed11fd748c57bc801de3af

             34fca486c39c3f0bd02166b3340eb2552939c326

我们的系统大部分使用Java开发,因此有Maven的基础构建镜像,JDK镜像等。
             61d6dac62fc681d58eea2dd3a45e37779804bab6
镜像仓库用的是VMware中国团队开发的Harbor,也是一个开源项目。
             16a03b76ccef1313aa62973baa6759d7cc80c79e
存储是一个高级话题,也包括如何优化Docker file,减少layer。

             401f66f518c163adbf3ab5617365e2130b4f52e6

             266b773ea77ff6d46b6b45c88ffd0f84de6e5e0a

这是几种存储驱动的比较。
             496a38b2efc096775f43175d6a3d8c3adfc0abc7
代码仓库我们目前用gitlab,遵循git-flow。目前每个项目有三个分支:dev,uat和master。每次代码提交都会触发Maven build和test,跑一些自动化测试脚本,结果会反馈到gitlab上。CI跑完之后,通过merge request的方式合并到uat分支,然后由测试和业务同事进行验证。测试完成后再通过merge request合并到master分支,然后进行产线部署,一般走灰度发布的流程。所有发布的流程都是用Jenkins实现
             936b0552cfca5332c9b55ebfa4003bae1f53bc72
我们会使用Docker compose来部署一组相关服务,参数通过不同文件来指定。
             2dbb457b961cedda4f1767e9a1d90666a35cdcf5
集群管理使用Swarm+Shipyard。
             3581e23ad35348e47f303219df4e6c4eb39eae11
日志监控用ELK,还有就是用filebeat把日志同步到某个目录,方便开发排错。
             cf07a8a0021bd28ffabfbbc3604dce34297d1f67
目前Docker监控以cAdvisor为主。
             0cd9bff324edf4779a7f790db6a68d6962fc64d4
这是最后的部署架构图。
             e5d00cbe86087b741cd3cd14ac0838bbc2d5865a
总结
  1. 每个worker和一个第三方渠道打交道;
  2. 每个可以独立跑的项目用Docker进行封装;
  3. 用gitlab+Jenkins+Docker实现自动化CI/CD
Q&A
Q1:王老师,请问你们如何解决合并分支时代码冲突的问题呢?尤其在涉及到多个feature分支以及个人分支的情况下。另外经常也会有已合并到dev分支上的feature需要撤销,这个怎么处理会比较好呢?
A1:代码冲突只能人工解决,另外一个微服务化的优势是,不同功能会放在不同项目中。

Q2:目前麻袋整合了多少外部征信数据,后期的征信数据再加工和标准化做到什么程度了?
A2:我们正在梳理自己的征信领域模型。

Q3:征信信息是实时查询吗?
A3:大部分是,但是有部分数据第三方提供的是异步接口;另外一个问题是第三方的IT水平也一般,不能保证7*24小时可用,再加上网络的问题,也会经常超时,所以要做好保护。

Q4:调用外部征信渠道是一个微服务?还是按渠道分成不同的微服务?
A4:按渠道拆分为不同的服务,可以根据第三方的能力动态部署多个instance。

Q5:Docker打通了三层网络?
A5:我们现在没有用overlay network,因为不需要做隔离。

Q6:单体到容器微服务化,相同研发人员产能究竟提升了多少,有无度量数据?
A6:首先是模块化能够带来很多好处,当然系统的复杂性也会增加,所以要先根据业务场景进行分析。数据没有度量。

Q7:不同征信渠道作为一个worker单独部署,渠道多的时候,起很多Docker也是很占资源,做成一个微服务,并发去掉用呢?
A7:Docker占用资源还好了,主要是访问第三方需要不同线程池,不让对方响应比较慢,会把线程都占用掉。

Q8:对这种大额低频的应用上Docker的意义在哪?主要是部署和运维层面?
A8:征信是一个高频应用(因为审批需要调用),也会不断接入新的第三方渠道,所以这样拆分之后,就可以做到不停机加渠道及升级不同渠道。

Q9:关于问题四,接着请教[抱拳]理财和分期不同于秒杀场景,需要先注册,然后提订单,通常在同一时间并发应该没那么高,按渠道做那么多Docker实例必要性?

A9:这里拆分的原因还是因为要对接不同第三方渠道,第三方渠道提供不同接口,我们希望能够用一个模型来进行屏蔽这种差异性。


作者简介
王天青,麻袋理财首席架构师,曾就职于EMC中国研究院,对OpenStack,Cloud Foundry及Docker有较深研究。2015年加入麻袋理财,负责整个基础架构的演进。

本文转载自微信公众号 中生代技术 freshmanTechnology

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
官网链接