破解世界性技术难题! GTS让分布式事务简单高效

简介: 分布式系统架构中,分布式事务是一个绕不过去的挑战。什么是分布式事务?简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,分布式事务需要保证这些小操作要么全部成功,要么全部失败。


 GTS开启全网公测:https://www.aliyun.com/aliware/txc


背景

分布式系统架构中,分布式事务是一个绕不过去的挑战。什么是分布式事务?简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,分布式事务需要保证这些小操作要么全部成功,要么全部失败。本质上来说,分布式事务就是为了保证不同数据库或消息系统的数据一致性。

分布式事务是一个世界性技术难题,最难之处在于严格保证数据一致性的情况下很难达到高性能。XA模型的两个代表产品是Oracle的Tuxedo和IBM的CICS,这两个产品都有很长的历史和很高的声望,但在国内没有多少用户,根本原因是什么?价格是一个因素,但不可能是关键因素,任何人都会做“价格”与“量”的取舍,何况是精明的Oracle、IBM。根本原因在于性能。相同软硬件,开启分布式事务则吞吐大幅下降,用户是很难接受的,会转而使用一些最终一致性方案,或放弃事务,通过每天对账进行人工订正。

为了提供一个高性能的通用分布式事务解决方案,阿里中间件(Aliware)团队自主研发了新一代企业级分布式事务产品——全局事务服务GTS(Global Transaction Service)。在满足事务ACID的前提下,普通配置的单服务器可以达到15000 TPS以上的超强性能(两个小时完成1亿多笔业务哦)。


GTS发展历史

GTS产品的内部名称是TXC,从14年5月份开始研发。产品最初目的是解决阿里内部广泛使用的TDDL分库分表所带来的分库间数据不一致问题,和HSF服务化后所带来的服务链路上数据不一致问题。这是典型的分布式事务要求。

14年10月,TXC 1.0发布,分布式事务功能已经具备,性能还有局限,适合于吞吐量较小的场景。15年12月,TXC 2.0发布,性能比1.0提升了10倍以上,在阿里内部多条业务线铺开,并经受了16年双11高并发考验,非常稳定高效。16年年中开始,TXC 2.0随着阿里中间件上云热潮,开始专有云输出,并得到了市场极大认可,已经应用于包括电商、物流、金融、零售、政企、游戏、文娱在内的众多领域,有非常多的重量级用户。17年2月,TXC 2.0上公有云公测,外部名称改为全局事务服务GTS (https://www.aliyun.com/aliware/txc)。

 

产品介绍

GTS支持的资源包括:DRDS,Oracle,MySQL,RDS,PgSQL,H2,MQ。后续计划根据实际业务需求支持更多类型资源。GTS事务可以通过RPC框架和消息中间件进行事务传递,把整个业务调用链路或者消息链路串在一个分布式事务,极大简化应用开发。

GTS支持同城容灾与两地三中心容灾,可以保证各种异常情况下的数据一致。GTS简单易用,对业务无侵入,真正做到业务与事务分离,开发者可以集中精力于业务本身,使用分布式事务时,通过简单加个注解即可完成,如下例所示可以保证两个数据库上的操作在同一个事务:

    @TxcTransaction(timeout = 60000)

    void dataUpdate(Connection con1, Connection con2) {

        update1(con1);

        update2(con2);

    }

 

GTS有很多技术创新,项目负责人高级技术专家姜宇(花名于皋)有13篇分布式事务的核心技术专利,研发团队的技术专家张松树也有3篇专利。通过大量的专利技术,精妙的算法,与精巧的分布式事务私有协议,GTS取得了超强的性能。在满足事务ACID的前提下,3台8c16g虚机组成的高可用服务器集群可以支撑1万TPS以上的分布式事务。与同类产品相比,性能有巨大优势,可以说是技术领域的一个重大突破,将为广大企业大幅降低业务开发成本。GTS适用的典型场景包括:跨多分库的分布式数据库事务场景,跨多数据库的事务场景,跨数据库系统、消息系统的事务场景,和跨服务的事务场景。这都是中大型企业的普遍性需求。GTS 联合企业级互联网架构Aliware旗下多款中间件产品,如EDAS,MQ、DRDS等,助力企业互联网转型。

 

相关文章
|
1月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
234 4
|
18天前
|
机器学习/深度学习 监控 PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
|
27天前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
153 0
|
7月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
5月前
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
547 35
|
6月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
8月前
|
机器学习/深度学习 存储
DeepSeek进阶开发与应用4:DeepSeek中的分布式训练技术
随着深度学习模型和数据集规模的扩大,单机训练已无法满足需求,分布式训练技术应运而生。DeepSeek框架支持数据并行和模型并行两种模式,通过将计算任务分配到多个节点上并行执行,显著提高训练效率。本文介绍DeepSeek中的分布式训练技术,包括配置与启动方法,帮助用户轻松实现大规模模型训练。数据并行通过`MirroredStrategy`同步梯度,适用于大多数模型;模型并行则通过`ParameterServerStrategy`异步处理大模型。DeepSeek简化了分布式环境配置,支持单机多卡和多机多卡等场景。
|
10月前
|
存储 缓存 负载均衡
从零到一:分布式缓存技术初探
分布式缓存通过将数据存储在多个节点上,利用负载均衡算法提高访问速度、降低数据库负载并增强系统可用性。常见产品有Redis、Memcached等。其优势包括性能扩展、高可用性、负载均衡和容错性,适用于页面缓存、应用对象缓存、状态缓存、并行处理、事件处理及极限事务处理等多种场景。
610 1
|
10月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
355 2
|
11月前
|
监控 算法 网络协议

热门文章

最新文章