开发者社区> hayden822> 正文

一分钟了解阿里云产品:数据集成概述

简介: 阿里云的众多产品中,数据集成肯定是其中重要的一员。今天让我们来一起了解下数据集成吧。   什么是数据集成呢?     数据集成(Data Integration),简称CDP,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS
+关注继续查看

阿里云的众多产品中,数据集成肯定是其中重要的一员。今天让我们来一起了解下数据集成吧。

 

什么是数据集成呢?

 

 

数据集成(Data Integration),简称CDP,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS)提供离线(批量)、实时(流式)的数据进出通道。

 

有别于传统的客户端点对点同步运行工具,数据集成本身以公有云服务为基本设计目标,集群化、服务化、多租户、水平扩展等功能都是其基本实现要求。

 

 

那么数据集成有哪些功能与特点呢?以下是简要说明。

 

 

  • 数据集成支持云上所有主要数据存储产品的传输能力,支持用户按需购买数据传输通道,支持用户全链路流控防护,支持传输自定义加工转换,云道支持传输业务脏数据收集和展示。

 

  • 数据集成支持云上结构化存储数据产品的binlog订阅能力,支持目的端到ODPS、消息队列等数据消费能力,云道支持数据全链路流控防护。

 

 

  • 数据集成将阿里云上各类异构数据流动打通,让数据不再成为孤岛。当然,目前数据集成也存在如下约束和限制条件:

 

 

  • CDP支持传输能够抽象为逻辑二维表的数据同步,其他完全非结构化数据,例如OSS中存放的一段MP3,CDP不支持将其同步到ODPS。

 

  • CDP支持且仅支持单个地域内数据存储相互同步、交换的数据同步需求,不支持多个地域之间数据同步。例如,暂时不支持将青岛RDS数据同步到杭州ODPS集群上来。

 

  • CDP仅完成数据同步(传输),本身不提供数据流的消费方式,即用户不能直接通过数据集成的API消费数据流。所有针对数据的操作, 用户必须在数据传输两端的存储系统中操作。

 

 

目前,采云间、御膳房、聚石塔、孔明灯的后台数据同步均是基于数据集成完成各自的数据传输需求。

 

数据集成典型特性介绍:

https://www.aliyun.com/product/cdp/?spm=5176.383518.201.59.YhsCSC

 

数据集成五大热点技术问题分析:

https://yq.aliyun.com/articles/7144?spm=0.0.0.0.M47Dc7

 

云道CDP产品使用问题:

https://yq.aliyun.com/articles/7145?spm=0.0.0.0.Vhhzif

 

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
9432 0
【2.5TB,磁盘自费】535亿余次HTTP请求,来自IUB的Click数据集
时至今日,对于任何人来说,借助云服务或者开源软件,技术已不能成为研究大数据的门槛,往往困扰大家更进一步的是真实数据的缺乏。而INDIANA UNIVERSITY BLOOMINGTON近日公布的一组数据集或许能帮助一定领域的同事。
3003 0
阿里云大数据开发平台,数据集成平台使用教程
数据集成(Data Integration)是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台,为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台。
5142 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
18380 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
24948 0
一分钟完成访问数据的智能巡检告警
本篇文章主要介绍针对访问日志类型的数据如何使用SLS的智能巡检服务,通过简单的业务梳理和SQL的使用,就可以实现智能化的指标巡检。通过简单的告警配置,就可以让丰富的告警信息整体推送到您的钉钉机器人中,交互式的打标让您的巡检结果更满足您的业务场景。
350 0
+关注
85
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载