C#.NET 权限管理系统组件 - 大数据读写分离实现的例子

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

  当web服务器的每天的访问量超过10万ip时对服务器主机的性能要求就非常高了,而且这些访问量又不是平均分布在24个小时里,往往有一个集中的访问高峰,晚上服务器的访问量又很低甚至是深夜连续好几个小时没访问量!

   例如我们平时维护的网站的日平均访问量是30万ip、访问高峰时并发的用户量非常大,数据库主机的压力非常大,虽然我们采取了分库措施,但是有些大表、核 心业务表的访问压力又非常大,例如有同时有1千个用户在读取数据库又同时这1千个用户在写入数据库,往往读取的次数比写入的更多一些。

   1:购买更好的服务器硬件提升性能(硬件性能越高价钱越高,这个是无止境的投资,而且闲置下来的服务器有时候也无法发挥更好的作用,同时还需要购买相同配置的备份服务器,以防止硬件突然损坏,所以这个代价不只是购买1台就可以了,要购买2台才可以)。

   2:利用读写分离进行性能优化,例如数据库的复制机制,把主数据库复制出一份到另外一个服务器上,写入操作都写主数据库,读取操作都从另外一个服务器读 取,这样并不需要非常牛的服务器,就可以把1千人同时读取,同时又写入的操作,分给2台服务器来承担。这样主服务器的压力明显可以减少了,性能下降也会明 显得到改善。一台主机可能处理起来要接近死机了,2台主机来承担这个压力,可能2个主机都活得好好的,而且还可以承担的更大的并发压力了。

   3:数据库的复制同步可以让数据库管理员来设置配置了,我们写程序主要是改我们的源码,原来的1个数据库连接 UserCenterDbConnection读写在一起的修改一下,UserCenterWriteDbConnection(写入)、 UserCenterReadDbConnection(读取)的进行分离,当然我们的系统刚开始设计的时候就足够健壮那就耗费1天2天就可以修改过来 了,再仔细测试一下就可以重新发布了,读写分离就这么搞定了,心里舒坦了很多。

   4: 读写分离也不是那么100%绝对的,主要目的是为了降低主服务器的性能压力,尽量把读取操作集中在另外一个读取的数据库服务器上,解放主服务器;例如一个 操作需要马上写入服务器,然后需要及时读取到值的,也直接写入读取主服务器就可以了,读写分离也是相对的,我们的主要目的是把主服务器的并发访问压力减 缓、提高主服务器的数据处理性能。 

下图是大数据读写分离的示意图,做得非常好看,我喜欢

下面是数据库连接到2个服务器的配置方法,第一个是写入的服务器,第二个是读取的服务器。

这里是连接2个服务器的例子

下面是读写分离的服务器上监控只读服务器上的sql语句运行情况的例子抓图




本文转自 jirigala 51CTO博客,原文链接:http://blog.51cto.com/2347979/1188403,如需转载请自行联系原作者

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 分布式计算 API
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
95 0
|
29天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
114 3
【赵渝强老师】基于大数据组件的平台架构
|
29天前
|
Java 物联网 编译器
C#一分钟浅谈:.NET Core 与 .NET 5 区别
本文对比了 .NET Core 和 .NET 5,从历史背景、主要区别、常见问题及易错点等方面进行了详细分析。.NET Core 侧重跨平台支持和高性能,而 .NET 5 在此基础上统一了 .NET 生态系统,增加了更多新特性和优化。开发者可根据具体需求选择合适的版本。
45 7
|
25天前
|
开发框架 网络协议 .NET
C#/.NET/.NET Core优秀项目和框架2024年10月简报
C#/.NET/.NET Core优秀项目和框架2024年10月简报
|
2月前
|
分布式计算 大数据 Apache
利用.NET进行大数据处理:Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力,Apache Spark作为高效的大数据处理引擎,广受青睐。然而,.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark,展示如何通过C#和F#等.NET语言,结合Spark的强大功能进行大数据处理,简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作,突显了.NET for Apache Spark的易用性和强大功能。
51 1
|
28天前
|
SQL 分布式计算 大数据
【赵渝强老师】大数据生态圈中的组件
本文介绍了大数据体系架构中的主要组件,包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka;计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream;分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
|
2月前
|
SQL 存储 分布式计算
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
37 9
|
2月前
|
开发框架 前端开发 API
C#/.NET/.NET Core优秀项目和框架2024年9月简报
C#/.NET/.NET Core优秀项目和框架2024年9月简报
|
2月前
|
消息中间件 监控 Java
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
75 1
|
2月前
|
存储 开发框架 .NET
C#语言如何搭建分布式文件存储系统
C#语言如何搭建分布式文件存储系统
77 2