异构(兼容dubbo)SOA系统架构(.net)优化升级

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 原文:异构(兼容dubbo)SOA系统架构(.net)优化升级前面一片文章已经提到我司的异构(兼容dubbo)SOA系统架构,解决了不少技术痛点,也还算比较完善,也顺利推广开来。 但作为项目的开发者,自己产品的问题心里是清楚的,离自己满意还是有不小的距离。
原文: 异构(兼容dubbo)SOA系统架构(.net)优化升级

前面一片文章已经提到我司的异构(兼容dubbo)SOA系统架构,解决了不少技术痛点,也还算比较完善,也顺利推广开来。

但作为项目的开发者,自己产品的问题心里是清楚的,离自己满意还是有不小的距离。

在推广的同时,我紧张的进入了下一个版本的开发,让它更加完善。

原来的版本号是1.0,现在版本升级为1.1且已经开发完成并发布(内部),本次升级主要内容如下:

1、修正了一些bug
2、简化了SOA使用
  强化IOC的作用,解耦对象关联性
  使用公司内部Nuget管理SOA及相关依赖
  简化方法调用及方法参数(尽量只保留必须的参数)
3、性能提升、cpu和线程资源占用适当下降
  高效异步线程,减少应用程序启动时间
  高效对象复用节省内存和cpu消耗
4、稳定性提升
  增加故障转移(出错的节点将会在负载均衡列表中移除,避免服务异常zookeeper未及时通知导致的大量报错)
  优化zookeeper连接状态检测和维护(连接中断及时重新连接)
  增加服务端优雅下线机制
5、强化配置
  增加了很多可选配置满足业务和性能需要
  可以对单个服务单独个性化配置
6、强化日志
  对SOA内部几乎每个组件和每个服务都可以配置单独的日志
  可以开启所有日志也可以选择性的开启部分日志
 
以上开发测试工作耗了三个多月,当然这里面包含一些基础建设工作,其意义不只是SOA受益,比如内部Nuget、日志、IOC容器优化,

 一、1.1版本使用控制台做服务端的例子
1、使用Nuget安装Fang.SOA
所有引用(含ZooKeeper和Thrift)一键搞定
2、其实要安装的东西还是挺多的,如果没有Nuget就会让人崩溃
3、不要被太多组件(dll)吓到,大部分dll很小的,都是独立的功能
注:大家可以看到以上截图是9月初的,开发完成时间实际是11月中旬;也就是说9月初设计完成且基本目标已经完成并调试通过,其后又经历漫长的两个多月不断得修改bug和优化;一路过来痛并快乐着,看着离自己的目标一步步越来越近。
4、服务端的代码非常简单
    class Program
    {
        static IContainer _container;
        static void Main(string[] args)
        {
            IContainer container = _container = new SimpleContainer()
                .SOALoadSettings();//加载appSettings配置
            CreateHelloWorld(container);//HelloWorld服务
            container.SOAStart();//启动所有服务
            Console.ReadLine();
        }
        /// <summary>
        /// HelloWorld服务
        /// </summary>
        /// <param name="container"></param>
        private static void CreateHelloWorld(IContainer container)
        {
            string serviceName = "com.fang.HelloWorld$Iface";//服务名
            var service = new HelloWorldImp();//服务实现逻辑
            container.SOAProvider<HelloWorldService.Iface>(serviceName, service);//注册服务
        }
    }

哈哈,简单吧。

除了简单还有什么?是不是也非常的流畅啊

你没看错,以上区区几个行代码就完成了SOA服务的发布工作

注:如果要在同一个应用程序中注册(发布)多个服务依次注册即可

5、对比1.0版本少的东西

5.1 ZKInit方法没有了

这是一个重大变化,原来是要先把zooKeeper连接上才可以"发布"服务的

现在没有这个必须前提了,zooKeeper连接异步化了,需要zooKeeper的时候从IOC容器中获取,如果容器没有,再异步连接zooKeeper并保存到IOC容器中,以后需要的时候随时取。

5.2 增加了container(IOC容器)

这也是一个重大变化,现在SOA配置是依赖容器的,实际所有的参数都是从容器获取,程序初始化的时候给需要的每个参数在容器里面注入了默认值,如果需要配置覆盖默认值即可

上面的SOALoadSettings就是容器扩展方法,用于把appSettings中SOA相关节点的数据加载容器中

其实几乎SOA各大组件、运行需要对象、对象缓存服用很多都是用该容器实现的

5.3 1.0版本中ZKConsumer一哥的位置被无情的抛弃了

1.0版本中ZKConsumer几乎是.net SOA直接交互的唯一一个类

后来随着SOA系统完善,我发现ZKConsumer担不起一哥这个角色就抛弃了它,启用与SOA"毫无关系"的IContainer(容器接口)

这会是以后的趋势,我们"不再需要牢记"每个系统个性化的业务名词(类),我们使用IContainer通用对象的扩展方法来定义简单Api

我们使用一个系统的方法就变成了引用该系统的Nuget包(dll),引用该系统的命名空间,然后在IContainer下找该系统的Api(扩展方法)来用即可

启动一个系统就变成了给该系统配置容器,可以通过文件配置也可以通过代码配置

5.4 有人可能说还少一堆配置,这全都默认值可不行
那些配置可以在appSettings中配置,每个服务还可以单独配置,提供了一堆IContainer的扩展方法来配置
把1.0例子中的配置全加上后的代码如下:
        private static void CreateHelloWorld(IContainer container)
        {
            string serviceName = "com.fang.HelloWorld$Iface";//服务名
            var service = new HelloWorldImp();//服务实现逻辑
            string serviceIp = "192.168.109.166";//发布服务使用ip
            int servicePort = 5000;//发布服务使用端口
            string group = "kg";//应用程序分组
            string serviceVersion = "1.0.0";//服务版本
            int serviceTimeOut = 5000; //服务超时阈值(单位Millisecond)
            int alertElapsed = 3000; //服务执行耗时监控报警阈值(单位Millisecond)
            int alertFailure = 10; //服务每分钟出错次数监控报警阈值
            container.SOAServiceHost(serviceIp, servicePort, serviceName)
                .SOAServiceGroup(group, serviceName)
                .SOAServiceVersion(serviceVersion, serviceName)
                .SOAServiceTimeout(serviceTimeOut, serviceName)
                .SOAAlertelapsed(alertElapsed, serviceName)
                .SOAAlertfailure(alertFailure, serviceName);
            container.SOAProvider<HelloWorldService.Iface>(serviceName, service);//注册服务
        }

有人说,你这代码更多了,是对1.0版的退化吗?

其一、并不是每个服务都有那么多个性化的配置,提供必须参数的简单api提高使用体验

其二、配置多元化了,代码配置不再是不二选择,必须写的代码更少了

 
二、日志配置
1、日志配置是本次升级的主要内容之一
一个容器扩展方法SOALog就可以搞所有SOA的日志记录,增加日志后的代码如下:
        static void Main(string[] args)
        {
            IContainer container = _container = new SimpleContainer()
                .SOALoadSettings()//加载appSettings配置
                .SOALog();//开启所有日志
            CreateHelloWorld(container);//HelloWorld服务
            container.SOAStart();//启动所有服务
            Console.ReadLine();
        }

2、开启日志默认效果如下:

这是我本地15号至今一直在跑的本地测试服务,日志文件稍微有点大,但是日志性能还是比较可靠的,全日志下几乎不影响高并发的执行耗时
对于每个服务都有单独的日志
默认按天分文件,当然也可以不记录文件,输出到控制台或者数据库等,这样的话就要配置了,配置一个日志工厂到容器中,超出本文范畴不再展开
 
3、能不能只开启部分日志
当然可以,提供了一堆日志配置方法(容器扩展方法),SOALog只是他们的总司令而已
呵呵,这么多款日志配置,总有一款适合你。
 
三、1.1版客户端的例子
1、直接上代码(nuget安装引用同服务端)
    public class HelloWorldTest
    {
        static IContainer _container;
        public static void Test()
        {
            IContainer container = _container = new SimpleContainer()
                .SOALoadSettings()//加载appSettings配置
                .SOALog();
            Subcribe(container);//订阅com.fang.HelloWorld
            string str = null;
            do
            {
                str = Console.ReadLine();
                if (string.Equals(str, "Exit", StringComparison.CurrentCultureIgnoreCase))
                    return;
                Console.WriteLine("callService");
                CallService();//调用服务
            } while (true);
        }
        private static void Subcribe(IContainer container)
        {
            string serviceName = "com.fang.HelloWorld$Iface";//服务名
            string serviceGroup = "kg";//服务分组
            container.SOAConsumer<HelloWorldService.Iface>(serviceName, serviceGroup, zooKeeper);
        }
        private static void CallService()
        {
            if (_container == null)
                return;
            string results = null;
            using (var resource = _container.SOAService<HelloWorldService.Iface>())
            {
                if (resource == null)
                    return results;
                HelloWorldService.Iface service = resource.Service;
                if (service == null)
                {
                    Console.WriteLine("service is null");
                    return results;
                }
                else
                {
                    var socket = resource.Socket;
                    Console.WriteLine(string.Concat(socket.Host, ":", socket.Port.ToString(), "为您服务"));
                }
                try
                {
                    results = service.sayHello("Word");
                }
                catch (Exception ex)
                {
                    var socket = resource.Socket;
                    if (socket != null)
                        Console.WriteLine(string.Concat(socket.Host, ":", socket.Port.ToString(), "出错"));
                    Console.WriteLine(ex.Message);
                }
            }
        }
    }

注:1.1客户端还是满满的容器扩展方法,简洁的Api,和服务端一样可以使用容器配置服务的个性化的参数(这里就不展开了)

 

2、执行效果如下:

CallService
192.168.109.166:3459为您服务
Hello word

CallService
192.168.109.166:3458为您服务
Hello word

CallService
192.168.109.166:3457为您服务
Hello word

CallService
192.168.109.166:3456为您服务
Hello word

CallService
192.168.109.166:3459为您服务
Hello word

CallService
192.168.109.166:3458为您服务
Hello word

CallService
192.168.109.166:3457为您服务
Hello word

我本地跑着4个服务,按轮询提供服务

 
五、畅想将来版本
前面基本把本次升级的内容展示出来,算是我比较满意的版本,其性能和稳定性已经不输java的dubbox。
但是我还有继续优化的冲动,也整理几点尚未实现但是我很期待的功能
1、完全容器配置支持
  就是类似dubbo一样在spring容器中配置一下就可以了
2、DI支持
  把服务工厂Aop封装为服务接口,直接DI服务接口对象到需要的地方,执行方法最开始获取一个真实对象,执行方法结束回收
3、多种容错算法和多种负载均衡算法可供配置
 
   等我完成手头其他更紧急的工作,将准备启动下一版本的开发
 
 
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
2月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
1月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
179 1
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
1月前
|
存储 消息中间件 人工智能
ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用
本文整理自2024年云栖大会阿里云智能集团高级技术专家金吉祥的演讲《ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用》。
|
1月前
|
存储 消息中间件 运维
架构升级的救星!流量回放自动化测试的必备指南
大家好,我是小米,一名29岁的技术宅。今天分享一个物联网领域的实用技能——流量回放自动化测试。系统重构后,测试工作量巨大,本文介绍如何通过日志收集和数据回放进行自动化测试,包括离线、实时和并行回放模式,帮助快速定位Bug,提升测试效率和系统稳定性。欢迎关注我的微信公众号“软件求生”,获取更多技术干货!
42 3
|
1月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
2月前
|
缓存 物联网 数据库
如何帮助我们改造升级原有架构——基于TDengine 平台
一、简介 TDengine 核心是一款高性能、集群开源、云原生的时序数据库(Time Series Database,TSDB),专为物联网IoT平台、工业互联网、电力、IT 运维等场景设计并优化,具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等系统功能,能大幅减少系统设计的复杂度,降低研发和运营成本,是一个高性能、分布式的物联网IoT、工业大数据平台。 二、TDengine 功能与组件 TDengine 社区版是一开源版本,采用的是 AGPL 许可证,它具备高效处理时序数据所需要的所有功能,包括: SQL 写入、无模式写入和通过第三方工具写入 S标准 SQL 查
76 13
|
3月前
|
安全 网络安全 网络虚拟化
优化大型企业网络架构:从核心到边缘的全面升级
大型企业在业务运作中涉及多种数据传输,涵盖办公应用、CRM/ERP系统、数据中心、云环境、物联网及安全合规等多个方面。其复杂的业务生态和全球布局要求网络架构具备高效、安全和可靠的特性。网络设计需全面考虑核心层、汇聚层和接入层的功能与冗余,同时实现内外部的有效连接,包括广域网连接、远程访问策略、云计算集成及多层次安全防护,以构建高效且可扩展的网络生态系统。
优化大型企业网络架构:从核心到边缘的全面升级
|
3月前
|
消息中间件 存储 Java
图解Kafka:Kafka架构演化与升级!
图解Kafka:Kafka架构演化与升级!
89 0
图解Kafka:Kafka架构演化与升级!
|
3月前
|
存储 缓存 Cloud Native
阿里云EMR数据湖文件系统问题之JindoFS架构升级后的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS架构升级后的问题如何解决
|
4月前
|
消息中间件 Java 测试技术
Java中的软件架构重构与升级策略
Java中的软件架构重构与升级策略