.Net微服务实战之DevOps篇

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: .Net微服务实战之DevOps篇

技术只是基础

  

该系列的两篇文章《.Net微服务实战之技术选型篇》和《.Net微服务实战之技术架构分层篇》都是以技术角度出发描述微服务架构的实施。

  

如果技术选型篇叙述的是工具,那么架构分层篇讲的就是技巧,而本篇要讨论的就是原则。一直以来我会给身边向我探讨问题的人灌输一种理念,没有什么技术银弹,因为我们做的是软件工程,提供的是问题相应的解决方案,不同类型问题的解决方案是存在着本质上的差异。

  

继续提供之前的源码:https://github.com/SkyChenSky/Sikiro


PS:该篇文章与.Net无关,其实主要是沿用前面两篇文章的命名,此外我认为DevOps不是简单的工具使用,应从软件工程角度进行出发。


什么才是优秀的架构设计?

  

曾经有好几个同行问过我同一个问题:什么才是优秀的架构设计?我一直信奉着两句话一个定律


  • 架构服务于业务,技术服务于架构
  • 康威定律(简单理解成组织架构的设计等同于系统架构的设计)

  

架构设计其实就是一种方案取舍,在有限资源里(包括但不限人力、时间)能让团队顺利的实施技术,同时满足业务规模的需要,我认为可以称之为优秀的架构设计,简单来说

两个字合适

image.png

 


架构核心要素

  

核心的主要5大:性能、可用性、伸缩性、扩展性、安全性

  

而我们所讨论的微服务,选择了扩展性,牺牲了可用性、性能,扩展性的目的就是为了快速响应需求变化降低系统耦合度提高系统模块的复用度。而微服务的调用是通过跨进程的网络通信的,跟进程内方法调用比无疑是慢了一个单位;原本单服务99.99%高可用,假如现在三个服务就是99.99%*99.99%*99.99%=99.97%。

  

当然我们可以在基于微服务的通过引入其他技术提高可用性、伸缩性和安全,但是确保无疑是牺牲了性能,除了性能还会在团队开发效率与运维复杂度上会受到影响。由此可见,没有万能技术手段,而架构其实在取舍。

  

引入一种技术必定带新的技术问题这是个必然结果,刚提到团队开发效率运维复杂度会受到影响,那是否有办法缓解甚至解决并提高呢?既然涉及到团队、流程这些关键字那么就应该向软件工程方向寻找方案,合适架构实施还需要合适的开发模式进行支撑的,而风靡全球的DevOps就是不二之选。


软件工程

  

在行业盛传的一条公式:软件 = 软件工程 + 程序,可想而知软件工程的占据多么重要的比重。那么什么是软件工程?百度是这么解释的:

  

软件工程是研究和应用如何以系统性的、规范化的、可定量的过程化方法去开发和维护软件,以及如何把经过时间考验而证明正确的管理技术和当前能够得到的最好的技术方法结合起来的学科。它涉及到程序设计语言、数据库、软件开发工具、系统平台、标准、设计模式等方面。

  

我自己重新总结了一个软件工程的通俗描述,通过多人协作、有目标、有步骤、有计划的并使用科学方法论指导开发与维护程序的这个过程。也可以用一条公式表达:软件工程 = 工具 + 流程 + 模式。


image.png


 

软件危机

  

软件工程的出现目的是为了解决软件危机的。软件危机其实是当时落后的软件生产方式无法满足迅速增长的计算机软件需求,从而导致软件开发与维护过程中出现一列的严重问题的现象。那么三次软件危机是什么呢?我整理了个表格(详细可以自行百度阅读)


名称 时间 原因 解决方案
第一次软件危机

20世纪60年代—70年代

使用机器语言或者汇编语言在特定的机器上进行软件的设计与编写,引出的“抽象性”和“可移植性”的问题 高级的编程语言+瀑布开发模式
第二次软件危机

20世纪80年代—90年代

软件复杂性进一步升级,需要更好更好的“可组合性”(Composability)、“可延展性”(Malleability)以及“可维护性”(Maintainability) 面向对象编程语言+设计模式
第三次软件危机 2005年至今 软件的发展速度已经远超于硬件的发展,体现于需求复杂度、技术复杂度、团队协作 更好的工具、开发模式、与协作流程

 

  

由上可见,软件的快速发展直接促使了软件工程上的进步,新的工具、新的开发与设计模式,新的协作流程也随之而生。


开发模式的发展

  

我工作多年经历了多家公司,所经历的有三种开发模式,瀑布、敏捷、DevOps。那么这三种主流的开发模式也对应着三个发展阶段:


瀑布开发模式

  

瀑布开发模式是在第一次软件危机1970时Winston Royce博士提出来。其思想是把项目过程划分为主要的六个阶段:需求收集、需求分析、软件设计、程序编码、软件测试、运行维护。团队划分也通过岗位职责进行划分:产品团队、开发团队、测试团队、运维团队。到目前为止该开发模式仍然用到做项目制的开发团队。


image.png


那么其优点与劣势也很明显,优点是计划明确,职责清晰,按部就班的完成就好。缺点是周期容易拖得太长,不容易调整变更,每个人只为自己职责范围内的负责,跨部门沟通成本大(这就是为什么我在图里画了两堵墙的原因)。我自己呆过一个瀑布模式的团队,在项目立项后就会被项目经理调动资源成为团队,而开发人员只会在这一次批次负责编码与修改测试反馈的问题,基本上上线后的问题跟你无关(除非紧急严重的),其他的BUG也许是下一个批次的另外一个开发人员帮你填。


敏捷开发模式

  

准确的说敏捷开发是一种价值观和原则的体现,2001年17位IT大佬想把瀑布发模式这种重量级的开发过程替换成一种更加轻量级,可惜大家都没有达成统一意见因此把各自都认同的观念整理出来成为敏捷宣言。

image.png

  

敏捷开发其实把产品、开发、测试三种岗位职责的人紧密的联系了起来,由原来长周期的大目标拆解成了一个个短周期的小目标。他之所以快,不是因为写代码快了,而是节省了很多不必要的前置条件与返工,同时小步快跑的交付也可以提高团队的士气,一个长周期项目那枯燥、乏味、痛苦的过程,谁试谁知道。

  

举个例子,大家都是为公司的同个产品努力,没有什么合同谈判可言,只要需求要求相互了解清楚并且可行就可以开干了。写详细设计文档的时间,还不如花时间多沟通下需求的核心点,想办法设计得更容易满足需求。短周期的交付后,产品与客户就可以及时的查看交付效果并相应的优化与调整。(快速响应并不代表随时随地接受变更响应,可以统一归到下一个迭代周期,我不赞同拍拍脑袋的变更,自己都没清楚的功能怎么说服客户使用?

  image.png

  

敏捷开发的最大好处之一就是短周期的持续交付,这样方式能在现阶段的互联网行业得到更快速的响应与市场的抢占,同时能很好的进行技术改进与试错。但是这种”野蛮的“方式会让开发团队与运维团队形成一条鸿沟,而鸿沟的形成主要原因是运维团队希望软件的运作是可靠的,所以他们对资源的变动、新技术的使用尤为的小心、谨慎。

  

我曾经呆过一个敏捷开发团队,生产出了问题运维团队会自行去修改配置,当然会越改越错了,而且一天发布次数多了,就会起争执。


DevOps

  

DevOps可以看过是敏捷的扩展与延申,它的出现就是为了解决开发团队与运维团队的那条鸿沟,只要存在人工处理的方式担心的问题总会出现,同一段程序无论执行多少次相同输入的输出总是一致的,但是人的处理却不能保证,那么使用自动化改善协作的过程,鸿沟自然就跨越了,。那么开发团队与运维团队就可以为相同的目标与方向而努力。而组织

架构也将演变成如下:

image.png


  

从上图也与开头的康威定律做了一个很好的呼应。

 

我是如何实施DevOps的?

 

image.png

技术

  

这个角度是大家最乐意去关注的,在我们团队主要使用了以下技术,脚本什么的我就不花时间贴出来了,在我看来工具的使用,只要花点时间就能解决。


类型 名称
持续集成/持续交付 Jenkins
源代码管理 Gitlab
云平台 阿里云
软件包管理器 私有Nuget
代码检查 Reshaper
容器化 Docker
分布式链路跟踪 SkyWalking
日志系统 ES+Filebeat+kibana
系统监控 Prometheus

  

原本代码检查想引入SonarQube代替人工检查+Reshaper,可惜于服务器资源不足。

  

对于一般的团队,我建议优先从Gitlab+Jenkins搭建好完成CI/CD,其次把日志系统给完善起来,这两者完成得越早,给团队带来的收益就越高,后续才会有更多的时间来完善整套技术体系,这是一个良性的循环


  

人延申出的就是团队与文化,经过上面的讲解大家都意识到软件工程就是一样多人协作的工作,只有团队目标一致,共同负责承担团队的项目,愿意一同与项目成长才能很好的实施DevOps。就像多匹马拉车一样,只有它们都有共同的目标的时候才能快速拉车到目的,如果他们一匹向东一匹西,只会让马车无法前行甚至四分五裂。

  

在我的团队,因为在招聘人员的时候已经进行过了筛选,所以在合作上非常的顺利,当然我也经常在例会和业余的时候都会给大家传达思想,让团队成员真正的从实际意义上去理解现在的做法。

  

对于已经成型的团队来说如何去落地呢?无非三种,激励、考核和逐步试行。如果有条件的公司可以设置奖金激励,如果有绩效考核的可以将DevOps实施纳入考核目标,如果两者都没的,那就选取团队里愿意改变的同事进行试行,使用过后都说好的那么更会有说服力。 


流程 

  

为了落实了文化的改进与技术的使用的这个过程,我们需要科学的、有步骤、有计划的方式完成这项工作,并且可以让这套标准化的方式可以重复使用到其他项目上。

  

在我的团队是有产品、前端开发,后端开发、测试、运维组成的。我采用了原型模式+DevOps模式:


  •   产品人员会优先使用Axure RP工具把需求整理产出原型并与需求方确认。


  •   产品确认好的原型就是我们技术的输入,技术拿到需求后会做一次需求评审,主


要是排查需求疑惑和确认需求目标


  •   需求明确后,由我使用Visual Project任务拆解与排期,任务会建立在我们的项目管理系统Redmine上,如果任务周期过程,我会拆分成多个可交付的短周期,一般会控制在2个星期内


  •   接到任务后,大家就跟根据自己的任务使用PowerDesigner数据库设计(早期是由我独裁设计,后期团队发展壮大了,就由业务负责人各自设计),在这个阶段,如果有新的服务与新的工具库需要部署,我就会正面与运维沟通让他把自动化给完成。


  • 因为我们是前后端分离的,所以我们使用了Swagger减少了写接口文档的时间,所有任务是否完成以前端是否对接好接口为主导,前端对接好后,就会在Redmine修改自己的任务状态并新建一个测试任务给到测试。


  • 测试会根据自己写好的测试用例,进行对完成的任务进行场景测试,如果有BUG会在Redmine提给相应的人进行修改。一般会先由前端人员排查是否是他的交互上的BUG,如果确认是数据问题那么就会转给后端开发,开发人员定位BUG时,可以通过我们的SkyWalking和Kibana联合定位问题,定位问题时间一般都在2-10分钟。

 

  • 代码合并到测试分支后就会通过Jenkins发布到测试环境,生产环境的发布是合并到生产环境后手动确认发布的。

  

除此之外,每周一会有一个例会内容不限工作,也可以分享周末去哪里娱乐了。在该迭代周期快到结束的2-3天会开一个进度会议,看看大家完成情况。因为公司没有下午茶,所以我们自己通过玩抢红包领到最大的两个的请吃下午茶,最少一星期一次。


结束

  

该篇到这里就分享结束了,也是该系列的最后一篇,我曾经认为技术与管理必须二选一,自从我成为了一个技术与团队的负责人后,终于让我认识到,一个优秀的技术思想还是需要一些管理手段才能很好的实施,而我们的技术管理无非就是软件工程

目录
相关文章
|
8天前
|
Dubbo Java 应用服务中间件
微服务框架Dubbo环境部署实战
微服务框架Dubbo环境部署的实战指南,涵盖了Dubbo的概述、服务部署、以及Dubbo web管理页面的部署,旨在指导读者如何搭建和使用Dubbo框架。
55 17
微服务框架Dubbo环境部署实战
|
4天前
|
SQL 关系型数据库 数据库
七天.NET 8操作SQLite入门到实战详细教程(选型、开发、发布、部署)
七天.NET 8操作SQLite入门到实战详细教程(选型、开发、发布、部署)
|
6天前
|
自然语言处理 Java 网络架构
解锁跨平台微服务新纪元:Micronaut与Kotlin联袂打造的多语言兼容服务——代码、教程、实战一次打包奉送!
【9月更文挑战第6天】Micronaut是一款轻量级、高性能的Java框架,适用于微服务开发。它支持Java、Groovy和Kotlin等多种语言,提供灵活的多语言开发环境。本文通过创建一个简单的多语言兼容服务,展示如何使用Micronaut及其注解驱动特性实现REST接口,并引入国际化支持。无论是个人项目还是企业应用,Micronaut都能提供高效、一致的开发体验,成为跨平台开发的利器。通过简单的配置和代码编写,即可实现多语言支持,展现其强大的跨平台优势。
18 2
|
6天前
|
运维 监控 持续交付
深入浅出:微服务架构的设计与实战
微服务,一个在软件开发领域如雷贯耳的名词,它代表着一种现代软件架构的风格。本文将通过浅显易懂的语言,带领读者从零开始了解微服务的概念、设计原则及其在实际项目中的运用。我们将一起探讨如何将一个庞大的单体应用拆分为灵活、独立、可扩展的微服务,并分享一些实践中的经验和技巧。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供新的视角和深入的理解。
31 3
|
15天前
|
测试技术 API 开发者
.NET单元测试框架大比拼:MSTest、xUnit与NUnit的实战较量与选择指南
【8月更文挑战第28天】单元测试是软件开发中不可或缺的一环,它能够确保代码的质量和稳定性。在.NET生态系统中,MSTest、xUnit和NUnit是最为流行的单元测试框架。本文将对这三种测试框架进行全面解析,并通过示例代码展示它们的基本用法和特点。
29 7
|
12天前
|
开发框架 缓存 前端开发
实战.NET Framework 迁移到 .NET 5/6
从.NET Framework 迁移到.NET 5/6 是一次重要的技术革新,涵盖开发环境与应用架构的全面升级。本文通过具体案例详细解析迁移流程,包括评估现有应用、利用.NET Portability Analyzer 工具识别可移植代码、创建新项目、逐步迁移代码及处理依赖项更新等关键步骤。特别关注命名空间调整、JSON 序列化工具更换及数据库访问层重构等内容,旨在帮助开发者掌握最佳实践,确保迁移过程平稳高效,同时提升应用性能与可维护性。
45 2
|
15天前
|
Kubernetes 监控 Devops
【独家揭秘】.NET项目中的DevOps实践:从代码提交到生产部署,你不知道的那些事!
【8月更文挑战第28天】.NET 项目中的 DevOps 实践贯穿代码提交到生产部署全流程,涵盖健壮的源代码管理、GitFlow 工作流、持续集成与部署、容器化及监控日志记录。通过 Git、CI/CD 工具、Kubernetes 及日志框架的最佳实践应用,显著提升软件开发效率与质量。本文通过具体示例,助力开发者构建高效可靠的 DevOps 流程,确保项目成功交付。
41 0
|
11天前
|
API 开发者 Java
API 版本控制不再难!Spring 框架带你玩转多样化的版本管理策略,轻松应对升级挑战!
【8月更文挑战第31天】在开发RESTful服务时,为解决向后兼容性问题,常需进行API版本控制。本文以Spring框架为例,探讨四种版本控制策略:URL版本控制、请求头版本控制、查询参数版本控制及媒体类型版本控制,并提供示例代码。此外,还介绍了通过自定义注解与过滤器实现更灵活的版本控制方案,帮助开发者根据项目需求选择最适合的方法,确保API演化的管理和客户端使用的稳定与兼容。
44 0
|
11天前
|
Java Spring 传感器
AI 浪潮席卷,Spring 框架配置文件管理与环境感知,为软件稳定护航,你还在等什么?
【8月更文挑战第31天】在软件开发中,配置文件管理至关重要。Spring框架提供强大支持,便于应对不同环境需求,如电商项目的开发、测试与生产环境。它支持多种格式的配置文件(如properties和YAML),并能根据环境加载不同配置,如数据库连接信息。通过`@Profile`注解可指定特定环境下的配置生效,同时支持通过命令行参数或环境变量覆盖配置值,确保应用稳定性和可靠性。
25 0
|
15天前
|
监控 Cloud Native 开发者
云端精英的.NET微服务秘籍:Azure上的创新实战演练
【8月更文挑战第28天】在现代软件开发中,微服务架构通过分解应用程序提升可维护性和扩展性。结合Azure与.NET框架,开发者能轻松打造高效且易管理的云原生微服务。首先,使用Docker容器化.NET应用,并借助Azure Kubernetes Service(AKS)或Azure Container Instances(ACI)部署。为确保高可用性和伸缩性,可利用Azure Traffic Manager负载均衡及Azure Autoscale动态调整实例数。
22 0