解析DataWorks数据集成中测试连通性失败问题

简介: 大家好,这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多,本文按照多个因素逐步排查,最终解决问题,希望大家以后再遇到此类问题,请参考此文,相信能够顺利解决您的问题。

一、问题现象

此案例中,DataWorks项目位于华东2,RDS Mysql数据源位于华东1(VPC网络),使用DataWorks进行数据同步之前,首先需要建立数据源,但在建立数据源RDS Mysql的配置页面,“测试连通性”失败,即数据源并没有连通。

1

二、问题处理过程

(1)首先,应该判断该数据源是否支持“测试连通性”
遇到测试连通性问题,首先应该判断该数据源是否支持“测试连通性”,请大家参考[《各数据源测试连通性支持情况》]。请注意,通过经典网络或VPC网络的跨区域访问,是不保证连通性的,但RDS产品除外,也就是说本案例中的数据源是支持测试连通性的。(本案例中项目和数据源的基本情况,已经在开篇位置介绍了)。

(2)数据源是否配置了完整的白名单
接下来,我们看下是否在Mysql数据库配置了白名单。关于白名单,请参考[《数据集成添加白名单》]。该文档详细介绍了每个region对应的白名单内容(请注意添加您的项目所在region的白名单,而非您的数据源所在region的白名单)。经过核实,这个RDS Mysql数据源的白名单如下:
2

这正是项目所在region华东2的白名单,所以白名单错误或不完整的原因也排除了。而且开篇第一张图报错中出现的100.104.205.10这个ip也在上述白名单中。

(3)数据源配置页面的信息是否正确
接下来需要核实该数据源配置页面的信息是否正确了。
经过核实,RDS实例ID、RDS实例购买者ID、数据库名、用户名、密码,均没有任何问题。而且,用此处填写的数据库名、用户名、密码可以成功登陆Mysql数据库。如下图:
3
说明基本信息填写正确。

(4)通过公网连接,“测试连通性”是否能成功
上述数据源配置页面,在“数据源类型”选择的是“阿里云数据库(RDS)”,即通过内网连接。接下来尝试下在“数据源类型”选择“有公网IP”,即尝试下通过公网连接,“测试连通性”是否能成功,但测试结果依然失败,并且报错依然是“Access denied”,并且121.43.110.160这个ip也在配置的白名单中。如下图:
4

(5)核查数据库账号的权限
既然上述配置、白名单等都没问题,那接下来看下该数据库账号(这里假设是zhangsan)的权限问题。
DataWorks的数据集成功能,底层是通过开源工具DataX来进行同步的,DataX是通过select操作去数据源中读取数据的,下图是一个同步任务的日志,从日志中可以看到,同步任务是通过执行select语句去读取数据的,如下图所示:
5
也就是说,用户必须能够登录数据库,并有select权限,才能进行数据同步。那我们首先看下用户’zhangsan’的权限和属性。
登录Mysql数据库后,执行:
```show grants for zhangsan;
//查询账号zhangsan的权限

select user, host from mysql.user where user = 'zhangsan';
//查询mysql的user表中,用户为'zhangsan'的账号和允许登录的ip

select * from information_schema.processlist where user = 'zhangsan';
//查看user等于'zhangsan'的连接情况。
```
执行结果如下:

6
经过上图分析,该用户'zhangsan'没有show grants for zhangsan; 的权限,同样也没有权限查询mysql数据库user表中,用户为'zhangsan'的账号和允许登录的ip。而且,当前用户'zhangsan'的连接情况是正常的。
通过有root权限的相关人员查询得到,该用户'zhangsan'绑定了登录ip,即只有在指定ip下才能用此账号登录,即:

Host: 116.228.89.206
User: zhangsan

也就是说,用户zhangsan是无法通过用于同步的阿里云服务器登录其数据库的,测试连通性当然就失败了!由此,我们终于找到了测试连通性失败的原因!
接下来,用root账户新建用户lisi,然后给lisi赋select权限,命令如下:

grant select on 数据库.* to lisi@'%' identified by 'user_password';
// 给lisi赋select权限,并允许在任意ip登录

flush privileges;
//刷新MySQL的系统权限相关表

由此,再进行RDS Mysql数据源的测试连通性就成功了。

三、结论&建议
当使用DataWorks数据集成功能,遇到数据源测试连通性失败的时候,可以依照上述排查思路,一步步排查,并请注意数据源中配置账号的权限问题。

本文转自偕作《解析DataWorks数据集成中测试连通性失败问题》

欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号:11782920)进行咨询。

66

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
8月前
|
Web App开发 人工智能 JavaScript
主流自动化测试框架的技术解析与实战指南
本内容深入解析主流测试框架Playwright、Selenium与Cypress的核心架构与适用场景,对比其在SPA测试、CI/CD、跨浏览器兼容性等方面的表现。同时探讨Playwright在AI增强测试、录制回放、企业部署等领域的实战优势,以及Selenium在老旧系统和IE兼容性中的坚守场景。结合六大典型场景,提供技术选型决策指南,并展望AI赋能下的未来测试体系。
|
8月前
|
存储 人工智能 算法
AI测试平台实战:深入解析自动化评分和多模型对比评测
在AI技术迅猛发展的今天,测试工程师面临着如何高效评估大模型性能的全新挑战。本文将深入探讨AI测试平台中自动化评分与多模型对比评测的关键技术与实践方法,为测试工程师提供可落地的解决方案。
|
6月前
|
监控 Java 关系型数据库
面试性能测试总被刷?学员真实遇到的高频问题全解析!
面试常被性能测试题难住?其实考的不是工具,而是分析思维。从脚本编写到瓶颈定位,企业更看重系统理解与实战能力。本文拆解高频面试题,揭示背后考察逻辑,并通过真实项目训练,帮你构建性能测试完整知识体系,实现从“会操作”到“能解决问题”的跨越。
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
如何让AI更“聪明”?VLM模型的优化策略与测试方法全解析​
本文系统解析视觉语言模型(VLM)的核心机制、推理优化、评测方法与挑战。涵盖多模态对齐、KV Cache优化、性能测试及主流基准,助你全面掌握VLM技术前沿。建议点赞收藏,深入学习。
2294 8
|
7月前
|
人工智能 自然语言处理 前端开发
深度解析Playwright MCP:功能、优势与挑战,AI如何提升测试效率与覆盖率
Playwright MCP通过AI与浏览器交互,实现自然语言驱动的自动化测试。它降低门槛、提升效率,助力测试工程师聚焦高价值工作,是探索性测试与快速验证的新利器。
|
7月前
|
人工智能 边缘计算 搜索推荐
AI产品测试学习路径全解析:从业务场景到代码实践
本文深入解析AI测试的核心技能与学习路径,涵盖业务理解、模型指标计算与性能测试三大阶段,助力掌握分类、推荐系统、计算机视觉等多场景测试方法,提升AI产品质量保障能力。
|
8月前
|
人工智能 资源调度 jenkins
精准化回归测试:大厂实践与技术落地解析
在高频迭代时代,全量回归测试成本高、效率低,常导致关键 bug 漏测。精准化测试通过代码变更影响分析,智能筛选高价值用例,显著提升测试效率与缺陷捕获率,实现降本增效。已被阿里、京东、腾讯等大厂成功落地,成为质量保障的新趋势。
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评
|
分布式计算 DataWorks 搜索推荐
DataWorks 产品评测与最佳实践探索!
DataWorks 是阿里巴巴推出的一站式智能大数据开发治理平台,内置15年实践经验,集成多种大数据与AI服务。本文通过实际使用角度,探讨其优势、潜力及改进建议。评测涵盖用户画像分析、数据治理、功能表现等方面,适合数字化转型企业参考。
355 1

热门文章

最新文章

下一篇
开通oss服务