DataWorks数据源问题之配置ssl加密如何解决

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: DataWorks数据源是指DataWorks中配置的用于数据集成的外部数据源;本合集将讲解如何在DataWorks中配置和管理数据源,以及处理数据源连接和集成过程中的问题。

问题一:DataWorks数据集成资源对数据同步影响大么?其他没有的,我看了下,目前提交成功的任务id字段也是和上面这个图一致的,应该不是数据类型问题感觉


DataWorks数据集成资源对数据同步影响大么?其他没有的,我看了下,目前提交成功的任务id字段也是和上面这个图一致的,应该不是数据类型问题感觉


     

输入输出应该都没有关系的,还有比这个长的呢,都可以成功,而且其他地域都可以,这两天发现成都地域有这个任务无法提交的问题,是的,今天早上我修改了个之前正常跑的离线任务,重新提交就还是无法提交,数据源没有改动,之前一直用的这个,而且带参运行都可以的,就是提交提交不了


参考回答:

那使用的是数据集成调试(公共)资源组吗 调试资源组主要是测试使用 且全阿里云租户一起抢占 建议是切换独享资源组, 当前任务如果着急运行的话 只能先把其他占用着调试资源组的离线任务先终止下 释放出资源


 

这个任务和其他提交能成功的任务 除了有一个字段类型不太相同 其他还有特殊的地方么


 

比如调度配置 或者其他地方 有没有配置很长的参数等,输入输出名列表是否很长


   

调度配置部分再看下是只有这个离线任务有问题 其他都没问题对吧 如果新建一个离线任务 按相同的来源和去向表 依旧报错数据源有做啥改动吗 比如某项配置参数比较长


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/505035?spm=5176.8068049.0.0.77566d19PXNmxo


问题二:DataWorks数据集成添加rds,mysql的数据源,怎么配置ssl加密?


DataWorks数据集成添加rds,mysql的数据源,怎么配置ssl加密?


参考回答:

mysql数据源可以配置



关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/503142?spm=5176.8068049.0.0.77566d19PXNmxo


问题三:这个dataworks版本的数据集成不支持可视化调度,只能用josn脚本来进行调度,但是每次只能对一张表进行导入


问题描述


...


这个dataworks版本的数据集成不支持可视化调度,只能用josn脚本来进行调度,但是每次只能对一张表进行导入

期望结果

...有没有方法能多张表同时进行调度

已尝试的方法



这样做数据对不上

...

参考回答:

用DataWorks的数据集成的同步解决方案功能吧,可以参考一下文档:https://help.aliyun.com/document_detail/302449.htm



关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/502221?spm=5176.8068049.0.0.77566d19PXNmxo


问题四:odps开启ip白名单后,dataworks数据集成无法获取表结构,应该添加哪些ip


odps开启ip白名单后,dataworks数据集成无法获取表结构,应该添加哪些ip


参考回答:

1.调度部分 1.1在公共调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务器无防火墙且有公网能力 ==》在工作空间配置中添加沙箱白名单。



1.2 在公共调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务地址非公网==》不支持 1.3 在独享调度资源组上运行shell、pyodps等任务访问外部服务(本地库、阿里云服务器等等),服务器有防火墙但有公网能力的==》 将独享调度资源组eip加到防火墙名单内。



1.4 在独享调度资源组上运行shell、pyodps等任务访问(阿里云数据库、服务等),服务器是内网地址的==》 独享调度资源组需通过vpn、云企业网(跨域、跨账号适用)等与对应服务器进行vpc绑定。 指导链接:https://developer.aliyun.com/article/766753 1.5 在独享调度资源组上运行shell、pyodps等任务访问线下服务器、数据库等,服务器是内网地址的==》 服务需连上阿里云(可使用云企业网等工具)之后独享调度资源组需要与线下库云企业网的vpc做绑定。 独享调度资源组==》vpc==》云企业网==》线下库

2.数据集成部分,原理同上

数据服务白名单。

如果您需要使用公共资源组数据服务创建api,请在数据库添加数据服务公共资源组白名单。

数据服务公共资源组白名单配置

4.元数据采集名单:

如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加需要使用的DataWorks所在地域的IP网段,详情请参考文档:数据地图配置元数据采集白名单

如果您maxcompute项目设置白名单后数据地图界面访问报错ip不在白名单列表中,请参考配置数据地图白名单

5.maxcompute访问外网或VPC网络,请参见:https://help.aliyun.com/document_detail/187866.html?spm=a2c4g.11186623.6.905.786877cbkDYtbT#title-tcw-nuz-kxt


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/501307?spm=5176.8068049.0.0.77566d19PXNmxo


问题五:DataWorks数据集成任务长时间等待为什么?


DataWorks数据集成任务长时间等待为什么?


参考回答:

【数据集成任务执行状态】

SUBMIT: 同步任务已经渲染完成提交状态 WAIT: 等待数据集成运行资源 RUN: 同步任务运行中 SUCCESS: 同步任务运行成功 FAIL: 同步任务运行失败

【长时间wait状态排查】 当前数据集成资源组上执行的任务超过了机器支持的并发上限。请检查正在运行的任务并发数总和是否超过了机器支持的最大并发数。

是否存在任务并发设置是否过大,检查日志(任务配置)中concurrent参数值。 如果单个任务并发设置超过了机器支持的最大并发数,请将这些大并发任务全都停掉,修改任务并发数后再去执行。【查看运行中的数据集成任务】

控制台-资源组列表-使用率点击进去



运维大屏-数据集成-下拉查看“同步任务执行详情”



【注意】

任务并发配置需要结合机器支持的最大并发数,以及需要同时运行的任务数及并发和,来分配单个任务并发数配置。 若重保任务较多,可选择扩容独享数据集成资源组。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/500667?spm=5176.8068049.0.0.77566d19PXNmxo

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
30天前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之dataworks数据同步时无法显示独享资源组如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
30天前
|
SQL 运维 DataWorks
DataWorks常见问题之DataWorks调用数据源服务失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
30天前
|
SQL 分布式计算 DataWorks
DataWorks报错问题之集成hive数据源报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
26天前
|
API 数据库 流计算
有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
【2月更文挑战第27天】有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
42 3
|
22天前
|
SQL 分布式计算 DataWorks
DataWorks提供的数据同步类型不仅包括整库离线同步
【2月更文挑战第31天】DataWorks提供的数据同步类型不仅包括整库离线同步
20 8
|
19天前
|
DataWorks 调度 数据库
DataWorks中的任务期望最大并发数配置**不是ClickHouse的默认并发数**
【2月更文挑战第34天】DataWorks中的任务期望最大并发数配置**不是ClickHouse的默认并发数**
10 1
|
22天前
|
SQL 分布式计算 DataWorks
DataWorks不仅提供单表离线模式,还支持多种数据同步任务类型。
【2月更文挑战第31天】DataWorks不仅提供单表离线模式,还支持多种数据同步任务类型。这些类型包括整库离线同步(一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步)以及一键实时同步(一次性全量同步,实时增量同步)。此外,DataWorks还提供了数据类型转换的功能,您可以选择在源端和目标端使用相同的数据类型以避免数据类型转换,或者在源端和目标端使用不同的数据类型,然后在同步时手动转换数据类型。
17 6
|
24天前
|
网络安全 数据安全/隐私保护
JavaMail给QQ邮箱发邮件报错,没有SSL加密
JavaMail给QQ邮箱发邮件报错,没有SSL加密
8 0
|
30天前
|
运维 DataWorks 数据建模
DataWorks常见问题之Dataworks数据同步任务执行失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
DataWorks常见问题之Dataworks数据同步任务执行失败如何解决
|
30天前
|
SQL 存储 DataWorks
DataWorks常见问题之dataworks数据源配置跨项目克隆失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

相关产品

  • 大数据开发治理平台 DataWorks