开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据源连通性测试通过, 数据集成也可以选择到ck里的表,但是datax执行时报错?

DataWorks数据源连通性测试通过, 数据集成也可以选择到ck里的表,但是datax执行时报错:
2024-08-12 16:44:57.973 [job-1612720449] ERROR RetryUtil - Exception when calling callable. Exception Msg: DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/database/jdbc错误,无法连接。2) 配置的username/password错误,鉴权失败。请和DBA确认该数据库的连接信息是否正确。
java.lang.Exception: DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/database/jdbc错误,无法连接。2) 配置的username/password错误,鉴权失败。请和DBA确认该数据库的连接信息是否正确。

数据预览也报错。

展开
收起
真的很搞笑 2024-08-21 12:37:04 31 0
2 条回答
写回答
取消 提交回答
  • DataWorks 中出现数据源连通性测试通过,数据集成能选到 CK(ClickHouse)里的表,然而 DataX 执行报错的情况,可能有以下几种原因:
    1. 配置问题

    - DataX 任务的配置参数可能存在错误或不完整。比如数据类型映射不准确、字段匹配不一致等。例如,源表中的某个字段是字符串类型,但在 DataX 配置中被错误地映射为整数类型。
    - 数据量或并发设置不合理。如果数据量过大,而 DataX 的并发度设置较低,可能导致执行超时或报错。
    

    2. 网络问题

    - 网络不稳定或存在延迟,导致数据传输中断或异常。比如在数据传输过程中出现网络抖动,部分数据包丢失。
    

    3. 权限问题

    - 虽然数据源连通性测试通过,但在执行 DataX 任务时,可能缺少某些特定的操作权限。例如,没有对目标表的写入权限。
    

    4. 资源问题

    - 执行 DataX 任务的服务器资源不足,如内存、CPU 等。这可能导致任务无法正常运行。比如说服务器的内存已满,无法容纳正在处理的数据。
    

    为了解决这个问题,您可以采取以下步骤:
    仔细检查 DataX 任务的配置参数,确保其准确无误。
    排查网络状况,尝试通过其他网络环境或优化网络设置。
    确认权限设置,确保拥有足够的权限来执行相关操作。
    监控服务器资源使用情况,必要时增加资源或优化任务以减少资源消耗。
    您还可以查看 DataX 的报错日志,以获取更详细的错误信息,从而更精准地定位和解决问题。

    2024-08-24 10:36:34
    赞同 3 展开评论 打赏
  • Tunnel端问题导致写入MaxCompute报错
    查看实时任务日志,若报错信息为InternalServerError、Exception when calling callable. Exception Msg: Read timed out错误提示(例如图中报错),表示Tunnel服务端出现了问题,请联系MaxCompute值班同学排查,问题解决后,重启实时任务。
    image.png

    参考文档https://help.aliyun.com/zh/dataworks/user-guide/troubleshoot-errors-that-occur-on-a-real-time-synchronization-to-maxcompute-solution?spm=a2c4g.11186623.0.i49

    2024-08-24 09:57:19
    赞同 3 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载