从oracle到mysql,主从到分库,一个普通项目数据库架构的变迁-阿里云开发者社区

开发者社区> 科技小能手> 正文

从oracle到mysql,主从到分库,一个普通项目数据库架构的变迁

简介:
+关注继续查看

为了节约成本,也是为了顺应去IOE这个大时代的发展,项目的数据库从最初的Oracle切到了MySQL。

开始切到MySQL的时候项目才上线时间不长,当时数据不多,而且当时预计在较长一段时间内数据也不会发生爆炸式的变化,考虑到大部分是读的请求所以考虑用主从架构。

注:存储引擎用的是InnoDB,当时主要是考虑事物的需求,其实在选择存储引擎的时候没有特殊需求都应该选择InnoDB,关于InnoDB和MyISam的区别可参考:MySQL存储引擎之MyISAM、InnoDB详细对比


市面上目前开源且比较有名字的中间件主要有3种,分别是360的atlas、阿里巴巴的Cobar(目前也有叫MyCat,其实应该都是说同一个东西)、淘宝的TDDL。


Atlas https://github.com/Qihoo360/Atlas/wiki

我们将Atlas作为主从架构的中间件,之所以选择Atlas是因为其简单只是做个纯转发的操作,所以对SQL语句的支持度也是很好的,且具有以下特性能满足我们的需求:

1、实现读写分离;

2、实现分表;

3、主库宕机会被自动摘掉不影响从库的读,从库宕机也会被自动摘掉不影响应用;

4、通过管理接口,简化管理工作,DB的上下线对应用完全透明,同时可以手动上下线;

5、所有MYSQL支持的SQLAtlas都支持。换句话说:Atlas并不分析SQL,只是把SQL语句路由到对应数据库节点;

6、支持事物:事物内SQL全部走写节点;

7、为了解决读写分离存在写完马上就想读而这时可能存在主从同步延迟的情况,Altas中可以在SQL语句前增加 /*master*/ 就可以将读请求强制发往主库;

8、能通过client-ips参数对有权限连接Atlas的ip进行过滤;

9、日志中记录所有通过Atlas处理的SQL语句,包括客户端IP、实际执行该语句的DB、执行结果以及耗费的时间。


Atlas架构图:

wKioL1OkCrigVIqgAC2eeBfNwf0940.jpg


缺点:

1、Atlas在主库或者从库宕机摘掉后不会自动恢复,需要自己手动去或者写心跳脚本去处理;

2、不能实现分布式分表,所有的子表必须在同一台DB的同一个database


Cobar

随着接入应用的激增,token表数据在未来可预计的时间内会发生重大变化,单表数据太大主从明显已经力不从心,故而考虑了分库分表,对于此种业务场景cobar是不二的选择。我们使用cobar的一个很重要的考量是团队中有人阅读过并具有修改相关代码的能力,且公司中其他团队有相关的成功使用经验。

cobar架构图:

wKiom1Oo-vCSI3LdACCeCyv5Xsw195.jpg

优点:

1、Mycat支持将一张表水平拆分成多份分别放入不同的库来实现表的水平拆分;

2、Mycat支持将不同的表放入不同的库。


缺点:

1、支持标准SQL99语法,不支持部分Mysql特定的SQL

2、分库字段不能UPDATE

3、查询条件中尽量带分库字段,否则扫描所有分库节点合并结果集。

4、数据库中新增表后,Mycat中必须修改配置文件,增加表配置。

5、对事物的支持不够好,不支持SAVEPOINT操作。

6、不支持跨库情况下的join、分页、排序、子查询操作。

7、分库情况下,insert语句必须包含拆分字段列名。

8、分库情况下,update语句不能更新拆分字段的值。


以上的都是基于实际工作中的使用经验总结的,因个人使用场景和个人阅历的关系可能不完全准确,仅供参考。



本文转自 古道卿 51CTO博客,原文链接:http://blog.51cto.com/gudaoqing/1429002


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10084 0
“移山”法宝~阿里数据库迁移项目yugong(愚公)开源啦!【内有详解】
阿里数据库迁移项目yugong开源啦!yugong解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步。DBA的小伙伴们赶快来围观!
17471 0
「免费开源」基于Vue和Quasar的crudapi前端SPA项目实战之数据库逆向(十二)
数据库逆向就是通过读取数据库物理表schema信息,然后生成表单元数据,可以看成“dbfirst”模式,即先有数据库表,然后根据表生成元数据,逆向表单后续操作和普通动态表单类似。本文主要介绍了数据库逆向功能,在数据库表单已经存在的基础上,通过数据库逆向功能,快速生成元数据,不需要一行代码,我们就可以得到已有数据库的基本crud功能,包括API和UI。类似于phpmyadmin等数据库UI管理系统,但是比数据库UI管理系统更灵活,更友好。
54 0
我的第一个extjs desktop + jsp +mysql实战练习项目
一直使用asp.net+mssql 花了二周时间,边学边做,把一个ms sql server +asp.net + extjs desktop 改造为  mysql + jsp + extjs desktop 的项目,界面如下,以为纪念: ...
1019 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13890 0
MySQL---数据库从入门走向大神系列(十二)-构建MVC项目
这个是对前面技术的一个小总结吧,用到的大概技术有: MVC框架,加注解,Struts框架的思想,动态代理,线程管理对象ThreadLocal,Connection对象池,Properties文件读取,EL表达式,JSTL,JavaBean,Java访问MySQL数据库,增删改查… 其实做出来界面挺简单: 完整的项目链接: https://github.
830 0
SpringBoot实现与MongDB非关系型数据库的数据连接【项目实战经验分享】
记录一下SringBoot+Spring Data Mongodb,供大家借鉴和参考,同时也为了回顾一下知识,废话不多说直接上干货。
1502 0
23706
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载