开发者学习笔记【阿里云云原生助理工程师认证（ACA）课程：消息队列和应用工具产品体系-申通快递云原生应用实践】
课程地址：https://edu.aliyun.com/course/3112075/lesson/19054
消息队列和应用工具产品体系-申通快递云原生应用实践
内容介绍
一、云原生理念和微服务架构在企业的综合实践方案
二、数据库的云原生化方案
三、申通公司应用阿里云产品的总体情况
四、申通这套云上应用环境的后续展望
一、云原生理念和微服务架构在企业的综合实践方案
第一个案例的主角是国内最大的物流公司之一申通快递，这个故事依然得从双十一说起，为了解决双十一的技术挑战，申通的技术部门在物流场景中引入了IOT、大数据和AI等手段，并通过快速的技术迭代促进物流资源的有效配置，从而帮助公司面对大促后的物流洪峰。
总体来说，快速的技术迭代带来了对it基础设施的挑战。
传统的虚拟化架构在弹性方面就显得力不从心了，比如上云前申通使用线下机房作为计算及数据存储的平台，一到双十一资源需求就膨胀，大促之后则闲置浪费。上云后，几乎全部的资源都是按量购买，利用云原生技术的快速扩缩容的特性，双十一前快速扩容，双十一后有序释放，真正做到了开箱即用，不产生一天的浪费。与2019年双十一当天相比，2020年11月1日到3日，申通在业务量大幅提升的情况下，it投入反而降低了30%。这充分的体现了云原生应用快速迭代、高可用、弹性好、成本合理的特点，是一次成功的技术升级。目前，申通正把业务从IDC机房往云上搬迁，核心业务系统也已经在云上完成了流量的承接。
这套IDC系统帮助申通实现了早期的快速发展，但也暴露了不少问题。传统的IOE技术体系各系统架构不规范，运行不稳定，研发效率不高，这些都无法满足申通的业务发展需求。随着云计算在国内的发展成熟，越来越多的企业把自己的核心业务搬到了云上。申通在同阿里云进行多次的技术交流后，最终确定其为唯一的合作伙伴，为企业提供计算和数据的处理平台。下面我们结合容器技术及其相关的趋势，详细的分析一下申通云原生的技术架构。首先说申通业务上云的应用、云原生化技术改造。
申通原来的技术核心是基于Vmware家族的虚拟化应用和oracle的数据库。计划上云后，打算通过阿里云全面转型到基于Kubernetes的云原生架构体系，也就是说应用架构需要根据云原生特性进行重构。
这个过程主要涉及两个方面：
第一方面，程序代码的改造升级，核心是应用的容器化和架构的微服务化。容器是云原生的一大基础，跟虚拟机比起来使用更轻量的容器来实现虚拟化，能够为应用带来效率和速度的提升，并让其更加适合微服务架构，此外，通过应用的容器化还解决了基础设施不一致的问题，保证了应用在开发、测试和生产环境的一致性。
下面来谈谈微服务架构改造的目的。原来，很多业务是基于oracle的存储过程及触发器来实现，系统之间的服务依赖也是走的数据库ODG同步来完成的，这种方式的问题就是系统非常的难于维护，也非常的不稳定。
架构升级时，通过引入Kubernetes的服务发现和微服务架构的方案，按业务域进行拆分，让整个系统更加易于维护。
二、数据库的云原生化方案
借助阿里云申通引入了ORTP和ORDP两种不同类型的数据库，将在线数据与离线数据分析逻辑进行拆分，并分别存入了这两种数据库中，从而取代了oracle的数据库方案，并解决了诸如查询历史数据的时候oracle表现不佳的问题。
下面我们对比这张图介绍一下申通云原生的基础架构。
第一，基础设施全部的计算资源取自阿里云的神龙裸金属服务器，Kubernetes搭配神龙服务器，能够获得更佳的性能及更合理的资源利用率。云上资源可以按量付费，特别适合大促场景，伸缩自如。相比于线下自建机房和常备机器，云上资源的操作更加方便，管理成本也更低。
第二，流量接入申通共有三套流量接入系统，一套是面向公网请求的，一套是面向自有办公和生产需求的。还有一套是仅供服务内部调用的，域名解析采用云DNS及private zoom，同时借助了Kubernetes的ingress能力来做统一的域名转发，这样可以节省公网SLB的数量，便于运维管理。
第三，平台的选择，申通pass平台基于阿里云容器服务ACK进行打造了该平台具备测试、集成、预发、生产统一环境，能够打通devoaips闭环。由于其天生的资源隔离，机器资源利用率高，且支持多云跟混合云的部署，上云后每个应用都在Kubernetes上面创建单独的name space，并定义配置模板。通过该方案，申通实现了应用的资源隔离版本的快速升级和历史回滚。
第五，运维管理得益于阿里云的托管版容器服务，申通免去了运维master节点的工作，只需要制定works节点的上线及下线流程即可。同时，上面运行的业务系统均通过pass平台完成日志的搜索系统，根据策略按需自动完成扩容操作，降低了直接操作Kubernetes集群所带来的风险。
下面我们来结合左边的这张图，从三个角度说明一下申通的云原生服务的特点。
首先我们说说应用和数据迁移的特点。申通的云上业务系统及业务中间件均是通过镜像的方式部署的，应用通过服务发现组件进行注册和调用，全部在线应用对应的POD及service配置均保存在pass平台里面。每个应用的历史镜像版本都保存在系统中，这样随时可以基于这份配置快速的构建一套业务生产环境。
数据的迁移，这个过程主要是通过DTS工具将数据及增量迁移到云上。阿里云的DTS实时数据流服务，集数据迁移、订阅、同步于一体，可以提供稳定安全的数据传输链路。此外，小文件存储保存在OSS上面，并以nas作为共享存储介质，挂载到神龙节点，以实现服务集成的特点，申通技术以K8S集群作为计算资源，通过gate执行版本控制，并借助云环境高效的实现了应用的构建、编译及镜像的上传业务镜像保存在镜像服务仓库中。
最后云平台的高可用性保证，也是云原生服务的关键。阿里云的K8S集群通过控制应用的副本数来保证集群的高可用。当节点出现故障时，通过负面数的保持，可以快速的在其他works节点上再起新的pot，再配合负载均衡等组件业务中的高可用性也得到了保障。
介绍了申通云原生应用的特点，我们再来谈一谈这套方案的创新指数：
第一，申通通过自己的应用和业务特点，制定了一套有效的监控体系。监控系统的任务是发现业务故障，通过引入监控体系，主动发现业务问题，快速响应并解决故障。申通在同一个pot里面部署了两个容器，一个是业务容器，一个是log tail容器，应用只需按照运维定的目录，将业务日志打进去即可以完成监控数据的采集。
第二，在申通的云原生环境中，pot和ECS网络处于同等地位。
这一创新点是基于阿里云的特殊网络插件来实现的。相比于传统的社区插件，特位根据阿里云的网络环境深度优化，主要有几个额外的特性：
第一，不依赖VPC路由表就能够打通网络，因此节点的规模不受路由表的限制。
第二，不需要额外为POD规划olay的网段。
第三，混合云专线打通，也无需额外配置路由。
第四，可以直接将POD挂载到SLB的后端。
第五，性能至少提升了20%。
因此，申通的云原生服务架构具备一个高性能且健壮的网络技术。申通的技术团队定义了三套接入环境及三套业务环境。三套接入环境指的是公网、办公网和内网。公网主要是适合跟外部客户对接，该网络环境通过统一的证书卸载，有助于收敛公网IP。办公网只允许指定语言IP的请求，并通过网络ACL让整个应用的访问更加安全。内网适合于业务之间及混合云架构下IDC业务调用云上应用，以保证性能和安全。三套业务环境则是根据业务产品的生命周期划分的，分别是测试用的测试环境、发布前验证产品的预发环境和产品正式运行的生产环境。
三、申通公司应用阿里云产品的总体情况
首先在成本方面，公共云可以做到随用随付，完即销毁，按量付费。另外阿里云的产品都是免托管运维的，可以节省人工运维的成本，让企业更加专注于做核心的业务。
其次，稳定性方面，云上产品至少提供了五个9以上的SLA服务，确保稳定性。阿里云的数据类产品也具备高可靠、低成本、安全性、存储、无线等特点，让企业的数据更加的安全。
第三，效率方面，借助阿里云相关的产品深度的集成，可以实现一站式的研发运维工作。
第四，赋能方面，阿里云的组件和产品涵盖了计算、AI、大数据、IOT等诸多的领域。通过已有的技术组件可以节省业务创新带来的技术成本。
四、申通这套云上应用环境的后续展望
目前，申通已经使用了云原生技术，快速的将基础设施迁移到云上，解决了成本预算问题、服务监控问题、服务接入和负载均衡等问题，让公司以更低的成本、更稳定的方式来应对快递高峰。对于类似于申通这样的传统企业，数字化转型和上云来说，使用云原生技术的内置组件和能力可以大幅降低企业研发和运维人员的技术迁移成本，让企业技术人员只需要关心业务研发和迁移，而无需管理大量的基础设施迁移成本可以说是企业上云的最佳路径。
申通下一步将会结合云原生技术，在以下三个方面优化系统。
第一，实时的弹性调度，快递业务是典型的周期性业务，使用云原生技术的实时弹性调度能力，可以让每天的业务高低峰都能够自动弹性伸缩，有望再节省一大笔的资源成本。
第二，智能运维和安全生产。根据云原生的细颗粒度监控能力，结合AI ops技术，针对各项系统和业务指标进行分析和诊断，从而及时的发现和处理异常事件。
第三，网络服务引入网格技术来优化目前的微服务架构，统一微服务调度的协议，实现全链路追踪和监控，进而提升研发和运维的效率。
