阿里云开源离线同步工具DataX3.0介绍
阿里云开源离线同步工具DataX3.0介绍
一. DataX3.0概览
DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX使用指南——ODPS to ODPS
1. DataX是什么
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
分布式关系型数据库服务DRDS产品信息汇总
在客户现场遇到很多客户的开发商、运维人员刚刚接触DRDS,希望获取到DRDS的相关信息,因此整理汇总了关于DRDS的使用、迁移、核心原理等信息,以便这些刚刚接触的DRDS的同学,能对DRDS有个全方位的认识,所以整理了这篇文章,希望对大家有所帮助。
突破自我—一文看尽DataWorks全新升级以及在城市大脑的广泛应用
在2018年云栖大会·深圳峰会的专有云专场中,来自阿里云的大数据专家张辉(士诚)为现场的听众带来了题为《DataWorks全新升级以及在城市大脑的广泛应用》的技术分享。在本次分享中,士诚重点阐述DataWorks概述、DataWorks核心能力升级和DataWorks在城市大脑中的应用三个方面。
用Fluent实现MySQL到ODPS数据集成
Fluentd是一个日志收集系统,可以定制输入或输出到常用系统(如MongoDB, RDS, Mysql, HDFS)或直接用于Log收集。
DHS(Datahub)向开发人员提供Fluentd插件,可以通过Fluentd将其它系统数据利用DHS导入到ODPS中。
以下操作均在root 用户下进
使用datax迁移cassandra数据
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现各种异构数据源之间高效的数据同步功能。最近,阿里云cassandra团队为datax提供了cassandra读写插件,进一步丰富了datax支持的数据源,可以很方便实现cassandra之间以及cassandra与其他数据源之间的数据同步。
基于Tablestore Tunnel的数据复制实战
### 前言
数据复制主要指通过互联的网络在多台机器上保存相同数据的副本,通过数据复制方案,人们通常希望达到以下目的:1)使数据在地理位置上更接近用户,进而降低访问延迟;2)当部分组件出现故障时,系统依旧可以继续工作,提高可用性;3)扩展至多台机器以同时提供数据访问服务,从而提升读吞吐量。