数据集成 Data Integration

首页 标签 数据集成 Data Integration
# 数据集成 Data Integration #
关注
2915内容
DataX使用指南——ODPS to ODPS
1. DataX是什么 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
分布式关系型数据库服务DRDS产品信息汇总
在客户现场遇到很多客户的开发商、运维人员刚刚接触DRDS,希望获取到DRDS的相关信息,因此整理汇总了关于DRDS的使用、迁移、核心原理等信息,以便这些刚刚接触的DRDS的同学,能对DRDS有个全方位的认识,所以整理了这篇文章,希望对大家有所帮助。
Hadoop数据迁移MaxCompute最佳实践
本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。您也可以参考本文进行MaxCompute数据到Hadoop的反向迁移。
数据库工程师快速上手MaxCompute进行ETL
案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者,特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发,简单了解在MaxCompute做大数据ETL过程,同时了解一些MaxCompute SQL和常用数据库SQL的基本区别。
向分析型数据库ADS中导入数据
        ADS是阿里云提供的分析性数据库,实现百亿数据毫秒级计算。         在使用ADS进行分析之前,需要先将数据导入到ADS中。 1 两种方法        ADS导入分为两种:批量导入和实时导入。这两种导入方式,是在建表的时候确定的。 1.1 批量导入
使用Datax将MySQL中的数据导入到TableStore中
背景 由于我们的数据在MySQL中的数据已经快接近亿级别,在访问MySQL并发读写的时候遇到了很大的瓶颈,严重的Block了我们的业务发展,主要从白天十点到晚上十点之前,并发访问的用户比较多,我们在写的前面加上了队列,系统后台自动同步。但是读上没有很好的办法解决,所以我们急需一个有较高吞吐量的实时
MaxCompute(原ODPS)开发入门指南——数据上云篇
根据《MaxCompute(原ODPS)开发入门指南——计量计费篇》的了解,大家清楚了MaxCompute可以做什么,计费模式如何,想必大家也开通了MaxCompute想进行一次POC,但是大家遇到第一个问题一定是我的数据如何上云?
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
DataX-On-Hadoop即使用hadoop的任务调度器,将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到ODPS、RDS等,不需要用户提前安装和部署DataX软件包,也不需要另外为DataX准备执行集群。
免费试用