• 探秘采云间:全链路数据处理工具直击传统DW/BI痛点

    重复上述的操作,可以配置多个同步任务,完成每天生产库里将表中的数据同步到离线分析环境ODPS中,为后续的数据清洗转换作准备。如何使用数据工厂执行ODPS SQL 数据工厂是ODPS的集成开发环境(IDE),提供了类似PL...
    文章 2016-03-03 3645浏览量
  • 数据分析平台产品对比之MaxCompute(原ODPS)篇

    阿里云的CDP能够帮助用户完成云产品见的数据同步工作,例如:RDS、OTS、OSS的数据导入导出。Redshift支持将S3、EMR、DynamoDB等产品的数据导入其中。当然最基本的,Redshift也支持Remote Host数据,可惜我从来没成功...
    文章 2017-07-20 6798浏览量
  • 00(专有云):Oracle-ODPS数据类型转换

    ODPS数据类型: 类型 描述 取值范围 Bigint 8字节有符号整型。请不要使用整型的最小值 (-9223372036854775808),这是系统保留值。9223372036854775807 9223372036854775807 String 字符串,支持UTF-8编码。其他编码...
    文章 2017-07-04 7164浏览量
  • 淘宝大数据之路

    这时第一个环节就碰到了问题,数据同步,业务系统有各种各样的数据源,ORACLE、MYSQL、日志系统、爬虫数据,当时有多种同步的方式,有通过SHELL脚本的、也有通过Jdbcdump的、还有别的方式,当时负责数据同步的同学,...
    文章 2016-10-31 11510浏览量
  • ODPS到ODPS数据迁移指南

    本步骤利用DataX工具进行数据迁移,DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据...
    文章 2017-09-18 5636浏览量
  • 【干货索引】阿里云大数据计算服务MaxCompute与生态...

    通过OGG将数据采集至MaxCompute/基于OGG Datahub插件将Oracle数据同步上云 Fluentd:该插件遵守Fluentd输出插件开发规范,安装方便,可以很方便地将采集得到的数据写DataHub。通过Fluentd将数据采集至MaxCompute ...
    文章 2017-11-29 4661浏览量
  • 数据计算服务MaxCompute(原ODPS)的N种方式

    日志数据实时同步到MaxCompute的方案也是要借助于这些成熟的日志收集工具,将日志数据同步到DataHub中后,再通过DataHub将数据归档到MaxCompute,数据链路: 1.通过Logstash采集日志数据到MaxCompute 请参考...
    文章 2016-12-07 14463浏览量
  • DataX使用指南——ODPS to ODPS

    DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架...
    文章 2017-02-27 40554浏览量
  • 阿里云全球首批 MVP 杨绣专访-技术要坚持刨根问底

    一个平台迁移另一个平台,我们经历了两次,第一次是将数据任务RDS迁移采云间,第二次是采云间迁移数加平台。我们的业务系统当时少说也有几百个表,而做这件事只有1或2个人,采云间和数加当时在产品设计...
    文章 2017-06-26 4844浏览量
  • odps是什么?

    同时,大数据开发套件和 MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,您可以参见 大数据开发套件简介 来对其进行深入了解。...
    文章 2017-07-28 40757浏览量
  • MaxCompute(原ODPS)开发入门指南——数据上云篇

    增量数据同步,这个步骤将RDS MySQL产生的增量数据数据实时同步到MaxCompute中。并存储在增量日志表中,每个同步表对应一个增量日志表。增量日志表在MaxCompute中存储的表名的默认格式为:源表名_log。这个存储表名...
    文章 2017-06-07 8797浏览量
  • 阿里云开源离线同步工具DataX3.0介绍

    举例来说,用户提交了一个DataX作业,并且配置了20个并发,目的是将一个100张分表的mysql数据同步到odps里面。DataX的调度决策思路是: DataXJob根据分库分表切分成了100个Task。根据20个并发,DataX计算共需要分配4...
    文章 2016-08-24 77141浏览量
  • 阿里巴巴飞天大数据平台MaxCompute(原名ODPS)全套...

    【大数据开发套件调度配置实践】——不同周期任务依赖配置数据库工程师快速上手MaxCompute进行ETL基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute【大数据新手上路】“零基础”系列课程-MySQL ...
    文章 2017-05-05 116803浏览量
  • 离线数据同步神器:DataX,支持几乎所有异构数据源的...

    DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...
    文章 2018-11-03 5370浏览量
  • 阿里巴巴开源离线同步工具 DataX3.0 介绍

    DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念 为了解决异构数据源同步问题,DataX将...
    文章 2017-06-02 3875浏览量
  • 数据中台构建产品Dataphin到底能支持哪些数据源?

    同时,兼顾客户最终价值需求,即数据能够稳定、高效地完成传输,实现上云,因此数据同步设计的过程中也是非常关注数据同步的性能指标;目前我们已经实现12种来源存储类型以及14种目标存储类型的支持;覆盖了当前客户...
    文章 2019-10-15 2259浏览量
  • 袋鼠云数据中台专栏V2.0|数据中台之数据集成

    丰富的数据源支持数据同步模块可对MySQL、Oracle、SQLServer、PostgreSQL、HDFS、Hive、HBase、FTP、ElasticSearch、ODPS、ElasticSearch、Redis、MongoDB等数据源,支持对这些数据源进行读取或写入数据。...
    文章 2019-06-04 4112浏览量
  • 基于OGG Datahub插件将Oracle数据同步上云

    Extract:负责源端数据库表或者事务日志中捕获数据,有初始加载和增量同步两种模式可以配置,初始加载模式是直接将源表数据同步到目标端,而增量同步就是分析源端数据库的日志,将变动的记录传到目标端,本文介绍...
    文章 2016-12-09 7589浏览量
  • HBase数据导入工具总结

    DataX 是广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架,将不同数据源的...
    文章 2017-08-24 4284浏览量
  • 数据采集和抽取怎么做?这篇文章终于说明白了!

    图中可知mysql同步到hive涉及三个流程节点,以user表增量同步为例,第一步是通过sqoop任务将mysql数据同步到hive的ods_user_tmp表,第二步是将ods_user_tmp的数据merge到ods_user中(覆盖原有分区),第三步是做...
    文章 2020-05-21 1518浏览量
  • 推荐一款数据同步工具:FlinkX

    最高空俯视,一个数据同步的构成很简单,如下: { job":{ setting":{.}, content":[.] } } 数据同步任务包括一个job元素,而这个元素包括setting和content两部分。setting:用于配置限速、错误控制和脏数据管理 ...
    文章 2019-10-05 4359浏览量
  • MaxCompute基础与MaxCompute SQL优化

    同时,大数据开发套件和 MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,您可以参见 大数据开发套件简介 来对其进行深入了解。...
    文章 2017-05-09 6208浏览量
  • 解读数据传输DTS技术架构及最佳实践

    这是因为像是在天猫或者淘宝下单的时候,订单往往会涉及到几百条SQL以及几个库,而且一个事务可能会涉及到几个表的若干个字段,而其本质上是一个事务,而如果将事务拆开并且同步到B城主库上面去的时候就会发现有些...
    文章 2017-09-01 10619浏览量
  • 基于OGG Datahub插件将Oracle数据同步上云

    Extract:负责源端数据库表或者事务日志中捕获数据,有初始加载和增量同步两种模式可以配置,初始加载模式是直接将源表数据同步到目标端,而增量同步就是分析源端数据库的日志,将变动的记录传到目标端,本文介绍...
    文章 2017-06-05 3606浏览量
  • 基于OGG Datahub插件将Oracle数据同步上云

    Extract:负责源端数据库表或者事务日志中捕获数据,有初始加载和增量同步两种模式可以配置,初始加载模式是直接将源表数据同步到目标端,而增量同步就是分析源端数据库的日志,将变动的记录传到目标端,本文介绍...
    文章 2018-05-07 1187浏览量
  • 一张图学会数据库迁云最佳路径

    如果考虑高可用的要求,可以配置一个相同的ECS实例为数据库的备机,主备之间通过Oracle Data Guard做数据同步,当主机宕机后,备机可以接管服务,切换时间通常在分钟级别。自建的数据库系统,计划将数据迁移至阿里...
    文章 2018-01-05 5561浏览量
  • Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南

    DataX https://github.com/alibaba/DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、MaxCompute 等各种异构数据源之间高效的数据同步功能...
    文章 2018-09-11 8594浏览量
  • 深度|解读POLARDB v2.0 Oracle 兼容特性

    提高了业务复杂度,增加了数据同步问题,增加了软件成本,开发成本。整体体验不好,公司大半研发在处理数据一致性校验,数据修复,数据治理等问题。浪费研发资源,制约了企业发展。间接经济损失数千万。9、多模-超越...
    文章 2019-07-28 1348浏览量
  • DataWorks数据集成与开源Sqoop的对比

    数据集成-全程可视化如图,添加数据源创建数据同步的节点,再运维中心的监控,都是可以全程监控的。四、总结 DataWorks数据集成和开源Sqoop都是解决异构环境的数据交换问题,都支持Oracle、Mysql、HDFS、Hive...
    文章 2020-03-04 1416浏览量
  • 朗新科技林海潮:企业应用的云上架构演变

    营销系统将用户档案、电价参数等数据同步到费控数据库集群中,DTS负责数据传输,监听DRDS集群中数据变更的内容,并将变更的内容放到整体的集群里。在ONS集群中为了保证整体应用的协同,应定义出相应的消息包括测算...
    文章 2016-01-25 5100浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化