数据传输服务DTS:敏捷弹性构建企业数据容灾和集成
内容介绍:
一、DTS覆盖全球的数据传输服务
二、企业级跨境数据传输服务
三、特邀客户分享DTS助力稿定加速全球业务布局
四、瑶池数据库全球容灾&多活&集成
五、智能化数据传输服务serverless&insight
分享数据传输服务DTS在这一年以来的进展,以及接下来怎么样能够帮助企业更好地构建企业级的容灾集成,并帮助企业走向出海。主题分为4个部分,首先介绍DTS覆盖全球的数据传输服务,接下来面向企业去看企业级的数据传输服务的能力究竟如何。第3个部分的关于瑶池数据库整体的容灾、多活、集成基于DTS的一套全链路的方案,最后结合时代潮流,希望大模型能够帮助企业数据资产更顺滑、更智能、更易管理的部署到需要的地方,所以DTS结合大模型在智能化上面实现了整体的全链路升级。
一、DTS覆盖全球的数据传输服务
1、行业趋势
数据资产在以一个非常高效的速度在增长,随着大模型的引进,我们认为资产的增速会再进一步增加。在这些数据资产的生产过程中,数据资产可以理解为企业的资金,这些资金需要去流向需要布局的地方。整体的业界趋势上,2023年开始有明显的企业出海的布局,DTS让数据资产积累的一些经验,更好地面向出海以及企业所需要布局的一些战略进行更顺滑、更高效、更有机动性的资产流动。
2、覆盖全球的数据传输服务
去年我们整体进行了全球更多区域的一个布局,目前在全球已经支持30多个区域,80多个可用区,也跟网络团队一起持续的去接入全球的运营商资源。同时将很多在国内重点服务客户的一些经验、能力进行了全球化的部署,包括数据的全量迁移、持续性高质量的数据同步、单向的数据订阅以及在数据传输过程中持续性的数据校验,对于这些原子能力来讲,我们做到了全球化能力的拉起。
第四是出海或者在数据流转期间最关注的点是全球化的全域数据托管以及数据安全能力,DTS不断在安全能力上进行相关性的打磨。对于数据传输的加密速度效率提升,以及企业级的全链路智能监控、智能运维,在这一些能力上面也有相关性的布局。通过这样一些能力,我们希望能够帮助企业更高效的走向把数据资产部署到全球需要的位置。
二、企业级跨境数据传输服务
1、企业跨境数据能力核心困境
TTM和相关的数据能力是企业出海的决胜点。举个例子,当企业决定在某个区域进行服务的时候,更快速、更激动地完成这个区域数据的基础建设以及数据资产启动化的部署,对企业快速抢占市场起到至关重要的意义。这时候有更高效的数据全链路的服务,可以帮助企业大大节省启动时间。
第二是当我们在市场上开始了相关的服务,接下来在国内或者中心化区域有了非常高质量的运营策略和运营方法论,怎么把它移植到需要的目标地点。我们分析的数据库以及分析的资产的数据采集,这些链路需要在目的地上面进行相关性的响应。所以这时就涉及到一些资产的全球化的部署。
第三,在当地进行了数据部署之后,各个地方有各个地方的法规,面向这些法规,要构建一个相对安全的数据安全全套的部署能力。同时要保证数据在各个区域之间,尤其是跨境数据传输的安全能力,这些是让企业在这个区域内更好、更持久发展的很重要的动力。第四就是在稳定运营之后,怎么能够做到高效、低成本的运营,这是企业级能力需要为客户考虑的,也是客户选择企业级数据产品的重点原因。
2、全球数据传输网络和企业级服务
阿里云DTS面向企业级能力梳理了几大核心的模块。第一,支持35种数据源,目前支持企业级的数据结构、数据资产的同步以及数据集成,可以实现一键从0到1的冷启动,这帮助我们用更快的速度、更好的方式响应前期快速的启动资产。
第二,支持实时流量的分析,面向离线的数据资产,同时结合实时的当地用户的响应服务的变化,可以做到更符合当地情况的一个企业的运营。DTS的实时能力会帮助企业在当地前期用更高效的响应、技术的实时化帮助企业快速完成当地的个性化的适配。
第三,对于一些整体的运维管理,我们实现支持个性化的告警,对于前期数据安全相关的能力,可以订阅相对等级比较低的告警去扫描主要潜在的一些风险。相对稳定之后,可以订阅一些比较严重的问题,减少运营的成本。
第四,在长久运营过程中,支持智能化的管理,会基于大模型通过日志采集和真实的数据帮助找到问题的根因,实现一键的解决方法,尽量减少运营的投入资源。我们支持开机开启用,也支持全场景各种需求的场景覆盖。对于上游的业务数据,DTS可以做到几乎无损,同时结合智能化完成下一代更智能的数据传输集成体验的升级。
3、跨境数据传输核心场景
服务于客户从0~1布局的出海的场景。上面的是业务拓展,很多企业在出海的时候会复用国内成型的方法论,更多的是在远程采用当地的BD来进行整个业务的拓展。所以在业务拓展和商业模式复制上,企业已经相对比较成熟。而数据架构的复用和数据资产的流转,DTS可以非常好的帮助各位完成一套从0~1的部署。其间包括了tp的业务数据库和ap的分析型数据库,完成从应用端到运营端全链路的一套数据架构的出海。
企业有各种各样的服务模式,比如以中国为中心全世界多点的介入,或者整个全世界多云各地区域的介入。
第一种面向全球多国的数据库,我们支持用户基于业务逻辑、自己的规则进行流量的多点的分发,将这些流量承载之后,要解决的一个问题就是如何能够将多点的数据进行全球的分发以及全球所有数据库的多活服务同步。DTS自身的能力可以帮助企业进行多点接入之后的数据最终一致的管理,能保证在所有服务节点上的数据全量一致,这为全球多活的服务模式提供了一种可能。
同时企业的核心资产对于不同区域,实际上存在着一些数据资产的权限管理,我们将中心资产进行一个符合当地法律法规的分发后,可以做到以中心化集中式平台为分析,区域化自治平台为为子服务的同步模式。我们可以将运营权还给当地的运营,因为他们更懂当地的业务,基于这一套方式上,通过DMS全域的管理,实现了企业使用多活架构下如何能够构建跨境全域服务的一套全数据流转流程。
第二,客户可能基于不同当地的政策以及公司策略上的影响会有多云的管理,在不同的地方选择不同的云。但是当你选择不同的云的时候,DTS一样会为企业提供中心化的数据流转服务,可以支持以数据库为核心的数据流转,去除了云间的 。DMS的全域管理可以帮助客户纳管全球自己所有的数据库,统一进行管理之后,it架构会变得非常清爽,不用再担心不同云之间的数据流转存在问题,也为企业未来架构选型上面减少了很多决策成本。
三、特邀客户分享DTS助力稿定加速全球业务布局
阿里云的客户厦门稿定股份,他们在大模型时代下做到了很好的一个全球数据资产分发的场景,特别邀请了稿定的廖老师分享稿定是如何使用DTS走向全球的。
1、走近稿定
根据稿定整个业务场景去看DTS是如何能够满足我们整个业务产品的快速构建的过程。稿定从2010年作为第1批的SaaS服务商进入了电商视觉的赛道,经过快十几年的发展,基本上已经能够覆盖整个全场景的商业角色的需求,能够提供整个企业级视觉内容的创新方案,同时拓宽了海外市场,提供了整个国内外全球的商业设计解决方案。
在这个过程中,基本上积累了上亿的个人用户以及500万+的企业用户,华为、滴滴还有钉钉都是我们经常合作的伙伴和客户。为了满足整个全场景用户不同的全链路的需求,同时还收购了目前业界比较知名的像花瓣、快传。实际上打通从视觉的创意灵感到视觉的创作,到资产的管理以及文件传输整个全链路的产品需求打造。这样能够将品牌工艺取证做得更完善。
2、DTS助力稿定实现全球化业务高效分发
在整个业务构建的过程中,DTS如何帮助业务更快速的成长以及构建产品能力呢?稿定本身聚焦于视觉创意领域,对于稿定最核心的业务场景是需要为用户提供更好的视觉内容,无论是素材模板或者视频相关的视觉内容。
稿定的内容更多都是在国内完成整个生产的过程,但是由于国内外用户需求完全不同,这时候就需要从个性化分发到不同的区域数据中心,利用DTS能够快速的将内容分发库进行数据中心的同步,能够快速的将我们的数据资产在不同数据中心完成快速的构建,同时快速完成产品的构建。
3、DTS支持稿定全球化容灾多活
为了服务国内和国际全球用户,我们在多地域都有数据中心,并且在一些容灾场景会考虑到多云的存在,dts能够帮我们整个数据库能完成实时或离线的同步,离线调度的过程能够保证在出现某个数据中心不可用或部署区有异常的时候整个业务是持续、可靠、稳定的,同时能够持续的为全球客户提供更可靠的企业服务,能够更可靠、更快速的完成整个产品构建,并且能够得到能够更好的数据库产品口碑。
实际上更多想利用DTS帮我们完成数据传输通道,这样我们整个产品对于数据资产来说实际上是稿定最核心的点。在这个层面上来看,DTS基本上能够帮我们更快的完成整个业务的发展和产品构建。
四、瑶池数据库全球容灾&多活&集成
我们以中心化为资源生产,在大模型时代,我们可以非常快速的生产以阿里云为核心的中心资料,同时基于dts能力,我们实现全球化的分发。这样一种工作模式,我们认为这是未来更符合长效的数据的流转模式。接下来发布阿里云瑶池数据库全球容灾、多活、集成在DTS上的一个全链路的体验。
面向数据库服务的部署能力,包含了同城多AZ、异地,同时对跨境进行了特殊的管理,也管理了云上和云下包括它云的全链路的备份。通过dts可以将以上串联起来,帮助企业去做融资、去做多活、去做数据集成,可以更好地通过一站式的产品和体验进行服务。DTS和RDS一起构建了一个全新的产品模式-RDS GAD全球多活数据库。
这个数据库可以为企业提供在RDS的原生体验,实现数据库全球多活的管理,支持一键开启,不需要进行任何繁琐的网络配置,所有的数据传输全部通过dts进行处理。同时它相较于独立管理,具有更好的价格竞争力,能够帮助企业只需要付很小的一部分费用就可以将业务拓展到全国。我们支持容灾切换帮助企业更有信心构建全球多活的服务,任何的宕机点都会进行自主的切换,提供整体的一个容灾演练。
阿里云的主流数据库包括polar、tair和RDS,DTS都会支持他们进行全球化的双向同步,构建全球化多活的一个部署。基于不同的容灾rpo、ipo的策略,用户可以选择将它作为容灾或将它作为多活。DTS也支持了analyticDB的全球数据集成,我们支持analyticDB自身同步到analyticDB,实现全球数据资产的分发,同时也支持跨整个global的面向analyticDB的数据集成服务。这一套体系的构建会帮助客户有更灵活的架构选择,同时对于非常关注安全的企业,也可以进行企业架构的相关性升级。
五、智能化数据传输服务serverless&insight
最后结合大模型时代,尝试用更智能的方式进行dts的产品智能化的升级。
1、serverless
DTS去年进行了serverless版本的beta发布,serverless版本对于DTS来讲对于客户的收益是更大的。闲时数据传输的资源节省或是峰值,面向业务做到高性能、高响应度的支撑,都需要serverless的能力。我们支持秒级的弹声响应以及基于负载的弹声策略,通过数据的采集、决策、执行、验证这4个核心阶段的智能化策略中心的输入,可以将我们真实的负载结合用户真实的SQL,同时预测在抬升之后的性能响应。做到以上,对于serverless进行一个链路判断,最终做到秒极的抬升,快速响应业务动态的变化。今年和AMD的芯片一起进行了整体的升级,对于数据传输体验的性能有10%的提升。我们进行了软硬智能的结合做了serverless版本的正式发布。
2、Insight
为了做到管理、建议、诊断一站式,我们基于通义千问的大模型通过采集实现了一键诊断的能力。将整个的过程分为数据的准备、智能化的预判、解决方案的推荐,我们通过秒级的性能数据的采集,完成了核心企业基于时序的一套数据传输过程的监控,将这些数据投入到诊断模型中,预判优化地方、问题发生原因、解决办法,进行整个的修复。在这个部分引入大模型后,可以做到一分钟发现整个链路的问题,5分钟智能化的定位问题,10分钟给出解决方案。支持一键解决方案的使用,通过这种方式,用户不用看所有的日志,不用做很多的分析,就可以快速智能化的把问题解决。
3、NL2ETL
第三部分是DTS的NL2ETL功能, DTS有90%的客户目前还是在使用简单的数据传输能力,但是在数据传输过程中涉及到一些数据的变形、清洗、准备,可以通过DTS的ETL能力在实时传输的过程中解决这些问题。中间涉及的用户核心卡点就是实时的ETL创建过程技术难度有些大,DTS的NL2ETL功能就是为了解决这个问题而产生的产品,支持用户利用自然语言去输入自己所希望的数据的变形,我们会自动生成相关的脚本语言,提供整个的测试环境。在自然语言转换的过程中成功率达到了93.75%。
也就是用户在使用DTS的过程中需要一些轻量化的ETL的能力时,可以通过自然语言去实现这样的能力。我们希望能够在数据的流转过程中以及面向全球化的过程中,能够更好地减少使用DTS的成本,更快的面向业务,实现数据资产全球化的分发和配置,帮助企业能够更好的用好数据,更好地发挥数据价值。