TDDL动态数据源开源-基本说明

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

总体描述

TDDL动态数据源主要分为2层,每一层都实现了jdbc**规范**,以方便地集成到各种orm框架或者直接使用.每一层都各司其职.

TGroupDataSource(tddl group ds)默认情况下依赖TAtomDataSource(tddl atom ds),但是可以扩展依赖普通数据源.这一层主要的职责是解决读写分离以及主备切换的问题,当然是在线执行这些动作,无需重启.一个TGroupDataSource底下会挂多个TAtomDataSource,每个TAtomDataSource都有相对应的读写权重.

TAtomDataSource(tddl atom ds)这一层并没有实现真正的数据源逻辑,而是依赖了一个近似第三方的包-我们从**jboss**剥离出来的datasource,这一层的职责主要是将单个数据源的配置放置到diamond服务器中,实现数据源配置的集中管理和动态变更.减少运维成本. TAtomDataSource实际对应了一个真正的数据源.

Tddl动态数据源暂时支持mysql和oracle ,但是因为每一层都是jdbc的实现,所以很容易扩展支持其他实现jdbc规范的数据源.

TGroupDataSource

  1. 基本功能
    (1) 主备数据库动态容灾切换

支持进行主备的对调切换,状态对调后备库变为主库,主库变为备库

(2) 相同数据分片读写分离

针对mysql replication机制进行的数据主备复制,可以直接使用group datasource来支持读写分离。读写分离支持权重设置,允许对不同库使用不同的权重。

(3) 读重试

一台数据库挂掉后,如果是个fatal exception(有定义),那么会进入读重试,以确保尽可能多的数据访问可以在正常数据库中访问。

(4) 数据库挂掉排除,单线程重试

使用try – lock机制来进行线程保护,在第一次捕捉到fatal exception以后,只允许一个线程进入数据库进行数据访问,直到数据库可以正常的工作为止

(5) 流量控制,数据库保护

  1. 延展性功能
    (1) 指定数据库访问(ThreadLocal)

一组对等数据库中,写库一般只配置一个,其余数据库都为备库,因为通过复制机制,所以主备主键有延迟,对于各种类型的读(实时读和延迟读),可以使用GroupDataSourceRouteHelper.executeByGroupDataSourceIndex(int dataSourceIndex)指定需要访问的数据库.

(2) 指定数据库访问(Hint)

这是指定数据库访问的另外一种方式. 这种方式是在sql之前加注释,告知tddl动态数据源该选择第几个数据库.类似: /+TDDL_GROUP({groupIndex:0})/select * from normaltbl_0001 where pk = ? 变幻groupIndex的数字即可指定具体的第几个库,从0开始.

TAtomDataSource

  1. 基本功能
    (1) 数据源配置集中管控

(2) 定期密码变更

(3) Jboss数据源连接池的配置管理和推送

  1. 延展性功能
    (1) 动态创建,添加,减少数据源

(2) 数据库R,W,NA状态通知,以及读写访问控制,如置为NA则数据库所有访问会直接抛出SQLException

(3) 数据库保护

Diamond中配置说明.

Tddl的动态数据源配置都放置在diamond配置中心,而一条diamond配置包括一个全局唯一的dataId和GROUP, tddl的配置数据也不例外,以下主要说明tddl动态数据源的dataId拼写以及每一个dataId下数据的内容.(**详细示例请参考示例使用说明文档)**

  1. 1. **TGroupDataSource**的配置
    Group中的配置主要是配置一组对等的数据的读写权重

dataId组成规范:“com.taobao.tddl.jdbc.groupV2.4.1“+dbGroupKey

配置内容(示例):tddl_sample_0:r10w10p0,tddl_sample_0_bac:r10w0p0

其中tddl_sample_0和tddl_sample_0_bak就是下一层需要的dbKey,后面r为读权重,w为写权重

  1. 2. **TAtomDataSource**的配置
    atom ds中的配置分为了3部分(global,app,user),配置内容全部为java的properties格式

Global

dataId组成规范: “com.taobao.tddl.atom.global.”+dbKey

配置内容:

属性key 说明
ip 数据实例的ip
port 数据实例的端口
dbname 数据库名称
dbType MYSQL,ORACLE
dbStatus RW,NA

App

dataId组成规范: “com.taobao.tddl.atom.app.”+appName+”.”+dbKey

配置内容:
属性key 说明
username 该应用使用的用户名
oracleConType oci,thin,如果db为mysql,则不用理会
minPoolSize 最小连接池
maxPoolSize 最大连接池
idleTimeout 连接的最大空闲时间
blockingTimeout 等待连接的最大时间
preparedStatementCacheSize Oracle专用
writeRestrictTimes 单位timeSliceInMillis写限制,默认空不限制
readRestrictTimes 单位timeSliceInMillis读限制,默认空不限制
threadCountRestrict 并发线程限制,默认空不限制
timeSliceInMillis 限制的时间单位
connectionProperties 连接参数

User

dataId组成规范: “com.taobao.tddl.atom.passwd.”+dbName+”.”+dbType+”.”+userName

配置内容:
属性key 说明
encPasswd 密码
encKey 密钥

本文来源于"阿里中间件团队播客",原文发表时间"  2012-04-27"

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
Java 关系型数据库 中间件
分库分表(3)——ShardingJDBC实践
分库分表(3)——ShardingJDBC实践
391 0
分库分表(3)——ShardingJDBC实践
|
5月前
sharding-jdbc 兼容 MybatisPlus的动态数据源
【8月更文挑战第2天】要使 `Sharding-JDBC` 与 `MyBatisPlus` 的动态数据源兼容,需引入相关依赖,配置数据源及分库分表策略,并在 `MyBatisPlus` 中设置参数以协同工作。可能还需自定义代码处理数据源切换。示例代码框架展示整合方式,实际应用中需按具体业务场景详细配置并处理异常情况,如数据一致性问题。
351 1
|
8月前
|
存储 弹性计算 中间件
|
8月前
|
负载均衡 算法 Java
Sharding-JDBC如何实现读写分离
通过以上步骤,Sharding-JDBC能够实现数据库的读写分离,从而提高应用程序的读取性能。欢迎关注威哥爱编程,一起学习成长。
128 0
|
8月前
|
关系型数据库 MySQL Java
(详解与使用)Sharding-JDBC通过mysql主从复制来进行项目优化
(详解与使用)Sharding-JDBC通过mysql主从复制来进行项目优化
110 0
|
druid Java 数据库连接
分库分表(2)——动态数据源实践
分库分表(2)——动态数据源实践
187 0
|
关系型数据库 MySQL Java
ShardingSphere 实战之读写分离
采用 ShardingShpere 的 Sharding-Porxy(透明化的数据库代理端) 模式在本地实现 mysql 数据库读写分离,并通过 java 应用程序连接.
ShardingSphere 实战之读写分离
|
监控 中间件 关系型数据库
MyCAT、ShardingSphere和Mocc这三个中间件的优缺点对比
MyCAT、ShardingSphere和Mocc这三个中间件的优缺点对比
|
SQL 开发框架 .NET
calcite入门02-连接多数据源
calcite入门02-连接多数据源
565 0
|
JavaScript 小程序 Oracle
Sharding JDBC 实战:分布式事务处理
Sharding JDBC 实战:分布式事务处理