利用OTTER实现准实时ETL、数据同步
利用OTTER实现高效、复杂、实时性高的数据同步场景;数据同步模式涵盖1源表->1目标表、N源表(在/不在同一实例)->1目标表、1源表->N目标表(在/不在同一实例)、自定义同步
开源数据同步神器——canal
作为使用最广泛的数据库,如何将mysql的数据与中间件的数据进行同步,既能确保数据的一致性、及时性,也能做到代码无侵入的方式呢?如果有这样的一个需求,数据修改后,需要及时的将mysql中的数据更新到elasticsearch,我们会怎么进行实现呢?
谈谈对Canal(增量数据订阅与消费)的理解
概述
canal是阿里巴巴旗下的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql(也支持mariaDB)。
起源:早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。
Kubernetes决胜Swarm的优势在这里?
微服务架构是那种能够扩大差距的下一代技术。就应用程序而言,微服务架构是保持相关性的关键,其中大版本更新慢、补丁粗糙都是不可接受的。容器是向微服务架构迈出的第一步,接下来就得靠Kubernetes管理微服务。