DataWorks百问百答20:如何解决数据集成网络问题?
数据源所在场景和对应的网络连通解决方案
数据源所在场景
公共资源组
独享数据集成资源组
自定义资源组
数据源具备访问公网的能力。注意 请注意公网的收费限制,详情请参见数据集成公网流量计费项。
直接连接,公共资源组的详情请参见默认资源组。
直接连接,独享数据集成资源组的详情请参见独享数据集成资源组。
直接连接,自定义资源组的详情请参见自定义资源组。注意 您需要开通DataWork...
查看全文 >>
突破自我—一文看尽DataWorks全新升级以及在城市大脑的广泛应用
在2018年云栖大会·深圳峰会的专有云专场中,来自阿里云的大数据专家张辉(士诚)为现场的听众带来了题为《DataWorks全新升级以及在城市大脑的广泛应用》的技术分享。在本次分享中,士诚重点阐述DataWorks概述、DataWorks核心能力升级和DataWorks在城市大脑中的应用三个方面。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!
直播视频回顾
以下内容...
查看全文 >>
DataWorks百问百答65:如何获取数据源网络环境及独享资源绑定的专有网络信息?
065独享资源访问数据源前提条件
DataWorks上使用独享资源访问数据库需要保证:
购买独享资源时需要选择数据源所在的可用区
需要给独享资源绑定专有网络。独享资源绑定的专有网络和交换机需要和数据源保持一致。
若数据库有白名单限制需要在数据库添加独享资源eip及独享资源绑定专有网络ip网段(或独享资源绑定的交换机网段)添加到数据库访问许可内。
查看数据源网络环境(获取数据源可用区,专有网...
查看全文 >>
看云栖说云栖——大数据企业服务
年兽带领动物们攻入幸福能量管理公司! ——《年兽大作战》
本文内容取自2019杭州云栖大会《大数据企业服务专场》。
分会场开场演讲的题目叫做《阿里云大数据企业服务架构》,阿里云专家研究了国内外企业大数据的需求现状得出了以下结论:
单一引擎或单一存储很难满足客户需要:数据/存储千差万别,计算引擎各种各样,开发生态各不相同,需求百花齐放。
纯线下建数据中心不符合潮流趋势:成本、异地多活、容灾、弹性...
查看全文 >>
Data Lake Analytics: 使用DataWorks来调度DLA任务
DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于Data Lake Analytics的支持,意味着所有Data Lake Analytics的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,今天就给大家介绍一下如何使用DataWorks来调度DLA的脚本任务。
开通DLA
在开始之前我们要有一个 DLA 的账号,目前 DLA 的新用户都...
查看全文 >>
转载《Data Lake Analytics: 使用DataWorks来调度任务》
DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于Data Lake Analytics的支持,意味着所有Data Lake Analytics的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,今天就给大家介绍一下如何使用DataWorks来调度DLA的脚本任务。
开通DLA
在开始之前我们要有一个 DLA 的账号,目前 DLA 的新用户都...
查看全文 >>
使用 Dataworks 实现 AnalyticDB PostgreSQL版上的 ETL 作业调度
DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于AnalyticDB PostgreSQL版(原HybridDB for PostgreSQL,简称ADB PG版)的支持,意味着所有ADB PG版的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,进一步增强ADB PG版的ETL能力,今天就给大家介绍一下如何使用DataWorks来调度AD...
查看全文 >>
DataWorks数据集成与开源Sqoop的对比
摘要:阿里巴巴技术专家张雅静为大家带来DataWorks数据集成与开源Sqoop的对比演讲。主要从介绍Sqoop开始谈起,接着详细介绍了DataWorks数据集成与开源Sqoop对比以及注意事项,然后着重说明了DataWorks数据集成并进行了实操演示,最后对全文进行了总结。
本次分享主要围绕以下四个方面:一、Sqoop简介二、DataWorks数据集成与开源Sqoop的对比及注意事项三、Dat...
查看全文 >>
使用DataWorks来调度AnalyticDB任务
DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于AnalyticDB的支持,意味着所有的AnalyticDB客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,现在就给大家仔细介绍下如何使用DataWorks来调度AnalyticDB任务。
开通AnalyticDB
进入阿里云分析型数据库 MySQL版产品详情页,点击免费试用。最近上线了1...
查看全文 >>
DataWorks上数据集成任务如何解决网络问题
特别声明:本文介绍的场景是各种网络环境下的数据库该如何将数据上云(同步的目标端为MaxCompute),若同步的目标端为其他数据源,本文也可参考,底层执行原理基本一致。
网络背景(全局通用)
在讲网络问题的解决方案之前,先给大家讲讲阿里云上的网络背景。
同一region下,经典网络环境中的机器与经典网络环境中的机器,内网是可以互通的。
同一region下,VPC网络环境中的机器与VPC网络环境...
查看全文 >>