• 解读数据传输DTS技术架构及最佳实践

    阿里云上的数据库都能够支持DTS,而用户在ECS上自建的数据库以及用户在本地IDC上自建的数据库,包括MySQL、Oracle、SQL Server、PG、MongoDB以及Redis都是能够支持DTS的,而且相对比较特别的是DTS还能够支持增量的...
    文章 2017-09-01 12200浏览量
  • DTCC 2019|云时代数据库迁移&容灾技术新进展与应用

    DReader是插件化的,可插拔的架构,对于源端的各种数据库开发一个插件,将这个插件放到DTS上去之后就能够支持源端数据库到目标数据库的增量数据同步了。日志解析DReader对于日志解析而言,存在一定的问题,这里选取...
    文章 2019-05-24 3338浏览量
  • 深度|实时历史数据库存储成本惊人,怎么破?

    增量同步,支持不同数据库产品之间的数据同步,在在线/历史库解决方案中,DTS强大的"条件过滤"功能是非常重要的一环,通过配置DTS任务可以非常便捷地实现过滤Delete操作,动动鼠标点两下即可实现自定义的数据同步...
    文章 2020-06-19 856浏览量
  • 基于X-Engine引擎的实时历史数据库解决方案揭秘

    增量同步,支持不同数据库产品之间的数据同步,在在线/历史库解决方案中,DTS强大的"条件过滤"功能是非常重要的一环,通过配置DTS任务可以非常便捷地实现过滤Delete操作,动动鼠标点两下即可实现自定义的数据同步...
    文章 2020-05-22 1190浏览量
  • 带货直播源码开发采用MySQL有什么优越性

    借助数据传输服务DTS,云服务器上的自建 MySQL 数据库到云数据库 MySQL 数据库实例、具有外网 IP 的 IDC 机房内/其他友商云 MySQL 数据库到云数据库 MySQL 数据库实例等多种场景可轻松进行数据库自动迁移,极大简化...
    文章 2020-09-11 171浏览量
  • 异地多活数据流基础设施DRC 双11支持571亿交易额背后...

    数据库团队提供了一个升级服务,DTS,已经在云上服务一个月。DRC正在实现为更多RDS用户提供便捷的服务: RDS跨域同步:RDS replication本身不支持跨域,DRC通过异步复制,对RDS无入侵。RDS binlog服务:目前已支持...
    文章 2019-07-29 1489浏览量
  • 快狗打车平滑上云架构方案

    最后,是服务能力考虑:不管是数据库缓存、搜索、大数据、监控等等,如果我们从头都自己来的话,可能会比较耗费时间,而且搭建的服务可能也没有已有的云能力那么强。所以这里我们的结论是让专业的人做专业的事情,...
    文章 2020-12-07 2760浏览量
  • DTCC 2020|阿里云程实:云原生时代的数据库管理

    而SQL Server数据库所依赖的VSS机制就是使用的Copy on Write方案,可以没有日志,而是在业务和存储层接口部分有一层约定来实现一致性拷贝。Mirror Split方案主要用于专用设备。第二个问题就是增量备份CBT(Changed ...
    文章 2021-01-06 1797浏览量
  • 应用容灾中,MySQL数据表是否需要跨云同步

    分析主备中心上的数据同步机制:作为管理全局唯一性序列号的数据表xx_table,通过数据同步工具DTS能够保证数据实时在双中心之间同步,且应用在更新数据库序列号时,对数据库加锁防止不一致。理论上不会出现主备中心...
    文章 2021-03-12 3966浏览量
  • 【七天深入MySQL实战营】答疑汇总Day2 MySQL 高并发...

    缓存的为准,然后把它同步数据库里面;还是以数据库里面的数据为准,到数据库执行的时候,还是要做一个判断的,如果是想要严格一点的话,还是要以数据库为准;如果要是以数据库为准的话,相当于是你从缓存里面读...
    文章 2021-01-25 855浏览量
  • 如何做到全年配送 0 故障?盒马揭秘 12个关键技术

    在智能调度系统中,DB依赖核心作业中的单据,核心作业稳定性高于智能调度,为了保障核心作业稳定,我们为DB做了降级策略,用精卫同步一份数据到读库。DB降级主要衡量DB不稳定对该DB上业务的影响。(6)上下游同一...
    文章 2020-02-18 1076浏览量
  • 阿里开发者招聘节|阿里云数据库团队诚招技术人才啦!

    数据库产品事业部-JAVA/C++/算法研发工程师、高级技术专家(杭州、北京、深圳)职位描述: 负责数据传输产品架构设计、核心技术研发 阿里巴巴集团全球数据同步基础设施架构规划 云计算产品技术输出,服务阿里云...
    文章 2019-04-29 9880浏览量
  • 阿里云数据库,破解大型网站架构设计中的数据存储难题

    除此之外,还需要保证发生误操作时数据库的稳定性,虽然MySQL有比较合理的权限管理机制,但是像新兴的MongoDB以及Redis等数据库对于权限管理的处理还是比较粗放的,而在权限管理不合理的情况下,如果触发了误操作将...
    文章 2017-04-19 7577浏览量
  • 菜鸟积分系统稳定性建设-分分表&百亿级数据迁移

    系统目前读积分会通过缓存tair做查询,击穿缓存才会到达数据库,写积分会直接更新数据库(缓存是为了临时解决大促期间系统性能瓶颈问题)。我们可以看到大促大瓶颈是在写积分对数据库的压力上,我们还有很多秒杀场景...
    文章 2021-09-13 849浏览量
  • 基于 MaxCompute 的实时数据处理实践

    历史数据和近实时数据融合分析•产品级别集成消息服务:•Datahub-日志/消息•DTS-数据库日志•SLS-行为日志•Kafka-物联网/日志接入三、工具及接入流式数据写入-接入消息&服务•消息队列Kafka(插件支持)•...
    文章 2021-10-28 232浏览量
  • 云栖大会分享:买单侠的数据库架构之路

    目前生产中使用了SQL Server、MySQL等关系型数据库缓存采用的是Redis,另外一些数据源和第三方的数据采用的是MongoDB存储。风控技术上有自研抱团算法,风控决策模型可以协助区分好人和坏人,底层使用的是一组图...
    文章 2017-10-27 2082浏览量
  • 云栖大会分享:买单侠的数据库架构之路

    目前生产中使用了SQL Server、MySQL等关系型数据库缓存采用的是Redis,另外一些数据源和第三方的数据采用的是MongoDB存储。风控技术上有自研抱团算法,风控决策模型可以协助区分好人和坏人,底层使用的是一组图...
    文章 2018-01-05 902浏览量
  • 分布式服务化系统一致性的“最佳实干”

    依赖关系型数据库提供的ACID特性(后面介绍),但是在大规模高并发的互联网系统里,一些特殊的场景对读的性能要求极高,服务于交易的数据库难以抗住大规模的读流量,通常需要在数据库前垫缓存,那么缓存数据库之间...
    文章 2017-08-01 2591浏览量
  • 分布式事务一致性解决方案

    主库、从库和缓存数据一致性,相同数据冗余,关系数据库,为保证关据库的高可用和高性能,一般会采用主从(备)架构并引入缓存。其中数据不一致性存在于数据冗余的时间窗口内。常用的解决方案见数据库之架构。多副本...
    文章 2018-08-22 2762浏览量
  • 降云十八掌——阿里云运维架构最佳实践(下)

    我们把业务部署在不同平台上,这些可能在不同地域上,我们怎么样保障不同地域连接的数据库数据实时同步,保障数据一致性?阿里云有DTS成熟的同步方案,加上专线高速通道解决数据传输速度等问题,这也是这方面较成熟...
    文章 2019-08-29 4457浏览量
  • 站在巨人WordPress的肩膀上学架构

    DTSDTS 是一款支持多种数据源的可视化数据迁移工具,可以帮助我们快捷直观的将自建数据库的数据迁移至云数据库,也可以做数据同步订阅使用。DBS,DBS是一款专业型的数据库备份工具,可以快捷的将数据库备份至OSS中...
    文章 2020-02-19 1180浏览量
  • 数据库产品事业部月刊(2019年4月)

     Redis 发布性能增强版Redis 因为稳定高效,接口便利,成为数据库缓存的最佳选择,但是单线程处理模式限制了Redis 的吞吐能力,单节点综合 QPS 稳定在10万左右,在互联网下超高并发的业务场景下容易产生性能瓶颈。...
    文章 2019-05-29 8896浏览量
  • 基于 MaxCompute 的实时数据处理实践

    Datahub-日志/消息DTS-数据库日志SLS-行为日志Kafka-物联网/日志接入三、工具及接入流式数据写入-接入消息&服务消息队列Kafka&xff08;插件支持&xff09;Logstash的输出插件&xff08;插件支持&xff09;Flink版内置插件...
    文章 2021-09-03 842浏览量
  • DTCC 2020|阿里云李飞飞:云原生分布式数据库与数据...

    除了前面提到的数据库应用迁移工具ADAM和数据库同步工具DTS,我们还提供了丰富的其他数据库生态工具,包括数据管理服务DMS和数据数据库备份服务DBS,可以提供数据血缘关系、数仓开发与建模、数据安全管理、数据备份...
    文章 2021-01-07 7384浏览量
  • 买单侠数据库架构之路

    摘要:在2017杭州云栖大会阿里云HTAP技术专场上,上海秦苍信息科技有限公司DBA负责人赵怀刚为大家分享了HTPA型数据库产品在现实中的落地应用以及企业级数据库架构设计中的HTPA的应用。本文内容根据嘉宾演讲视频以及...
    文章 2017-11-02 2432浏览量
  • 阿里云ET的成功应用——云博士架构揭秘

    缓存处理:为了保证高并发情况下的秒级应答体验,云博士使用缓存机制提升性能。在流量比较大的时候,云博士把问答输入和输出存入缓存,之后来自用户的问题如果命中缓存中的问答输入,云博士会把缓存中对应的答案直接...
    文章 2017-08-08 4429浏览量
  • 如何从设计和规范上规避RDS性能问题?...

    除了关系型数据库之外,我们有很多不同的数据存储的选择,比如:搜索引擎类、NOSQL类、时序类、缓存类,等等。应当根据不同的查询场景,选择最适合的数据存储方式。企图用MYSQL解决一切问题,是不明智的。场景六:...
    文章 2018-06-20 2409浏览量
  • ICDE:POLARDB定义云原生数据库

    你可以通过加载一个OSS(类似AWS S3)上的备份来启动你的数据库,也可以通过将POLARDB当成RDS的slave来从RDS实时复制数据,也可以利用DTS(data transfer service数据传输服务)来从RDS和其他数据库迁移到POLARDB。...
    文章 2018-04-20 4725浏览量
  • 车联网上云最佳实践(三)

    缓存集群采用阿里云数据库Redis版,传统自建Redis数据库通常存在集群节点扩容复杂,管理维护难等问题。所以我们改用云上数据库 Redis 版来替代,它具有性能卓越,弹性扩容,数据安全性高,可用性高,秒级监控,简单...
    文章 2018-08-23 3688浏览量
  • SQL 笔记 By 华仔

    笔记58 SQLSERVER数据库表各种同步技术 减少SQLServer中每次的同步数据量 笔记59 sql server 下xml to table 笔记60 SQLSERVER中的 CEILING函数和 FLOOR函数 笔记61 SQLSERVER中的跟踪标记 笔记62 SQL时间格式转化 ...
    文章 2017-11-17 733浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化