开发者社区数据库文章正文

RMDB与hadoop的实时整合

2016-05-13 5947

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云数据库 RDS MySQL，集群系列 2核4GB

RDS MySQL Serverless 基础系列，0.5-2RCU 50GB

云数据库 RDS PostgreSQL，集群系列 2核4GB

简介：

一、MySQL的Hadoop Applier

实现原理是：把hadoop作为MYSQL 的slave，实时把数据同步到hadoop,支持apache hadoop

通过分析MYSQL的binlog日志,在hdfs产生一个目录（同表名），所有的表记录都存储在一个文件中，用户的操作如插入，更新，删除都会产生一笔记录追加到文件末尾.

但如何利用hdfs上的这个数据，需要用户自己定义逻辑，把表中的数据插入到hbase表

详见：http://dev.mysql.com/tech-resources/articles/mysql-hadoop-applier.html

二、GoldenGate的HDFS Adapter

Oracle GoldGate's 也有类似的工具，通过分析Trails File把数据实时同步到hadoop

ORACLE官方网站提供了Hdfs Adapter，但不提供服务支持
详见：https://blogs.oracle.com/dataintegration/entry/streaming_relational_transactions_to_hadoop

文章标签：

云数据库 RDS MySQL 版

关系型数据库

分布式计算

Hadoop

MySQL

Oracle

Hbase

Apache

存储

分布式数据库

相关实践学习

如何在云端创建MySQL数据库

开始实验后，系统会自动创建一台自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS。

全面了解阿里云能为你做什么

阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs