利用OTTER实现准实时ETL、数据同步
利用OTTER实现高效、复杂、实时性高的数据同步场景;数据同步模式涵盖1源表->1目标表、N源表(在/不在同一实例)->1目标表、1源表->N目标表(在/不在同一实例)、自定义同步
DRC实践
DRC简介
DRC(Data Replication Center)是我在阿里听过的一个概念,它的业务域是支持异构数据库实时同步,数据记录变更订阅服务。为跨域实时同步、实时增量分发、异地双活、分库分表等场景提供产品级的解决方案。
otter部署【原创】
环境IP:10.10.6.171 部署:mysql源库IP:10.10.6.172 部署:mysql目标库IP:10.10.6.173 部署:zookeeper,manager,node,canal (也都部署到源库服务器上)
由于otter进行数据库同步,目前仅支持row,所以需要把源库的binlog_format改为ROWlog-bin=mysql-binexpire_logs_days=3binlog_format=ROW
otter为纯java编写(manager,node,canal都为java编写),所以需要安装JDK。
canal 高可用介绍(4)
概述
这篇文章的目的是为了讲清楚canal的HA机制,至于什么是HA机制直接套用canal官网原话,因为我自认为没法描述的更好。而我直接从代码的角度去分析如何实现HA的,其实也就是zookeeper的分布式锁的使用方法。
NPP 多生物群落:全球初级生产力数据计划产品,R2
本数据集为全球初级生产力数据倡议(GPPDI)产品,包含2523个站点和5164个网格单元的净初级生产力(NPP)估算值,涵盖A、B、C三类观测数据,经生态系统模型-数据比对(EMDI)验证,提供.csv格式文件,用于全球碳循环与生态模型研究。