开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks只有PolarDB这一个库会报这个错数据源连通性是正常的怎么办?

DataWorks只有PolarDB这一个库会报这个错数据源连通性是正常的?image.png

展开
收起
真的很搞笑 2024-06-23 11:20:07 35 0
2 条回答
写回答
取消 提交回答
  • 1)辛苦右上角 小扳手 polardb“开发”数据源 再测试一下连通性
    2)如果连通性通过 再确认看下数据源配置的账号是否有指定表的查看表结构的权限
    3)您任务转脚本模式后 参考文档 配置column映射 执行一次看下是否会报错
    看报错事获取表结构慢 导致超时,原因可能是网络、查看表结构执行耗时久、无权限等 所以建议先脚本模式试一下 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-06-24 18:10:32
    赞同 展开评论 打赏
  • 可以尝试以下几个步骤来定位和解决问题:

    1. 检查网络配置

      • 确认PolarDB实例所在的VPC与DataWorks项目的执行环境(例如MaxCompute、E-MapReduce集群)之间是否有正确的网络打通配置,比如VPC互通、NAT网关或高速通道等。
      • 检查安全组规则,确保DataWorks服务端IP范围被允许访问PolarDB数据库。
    2. 分析数据库负载

      • 查看PolarDB数据库在报错时间段的性能指标,如CPU、IOPS、连接数等,高负载可能导致响应超时。
      • 使用PolarDB管理控制台检查是否有慢查询或锁等待问题。
    3. 优化连接参数

      • 调整DataWorks中数据同步或SQL任务的超时时间设置,适当延长超时阈值。
      • 如果适用,优化数据库连接池的配置,如增大最大连接数、调整空闲连接回收策略。
    4. 测试特定时间段

      • 观察问题是否在特定时间段内频繁出现,比如高峰期,这可能与资源争抢有关。
      • 尝试在低峰时段重新测试,看是否依然存在超时问题。
    5. 审查SQL语句

      • 分析执行的SQL语句,确保没有复杂的查询或缺失索引导致的执行效率低下。
      • 对于复杂的查询,考虑优化SQL逻辑或分批处理数据。
    6. 日志分析

      • 查看DataWorks任务执行的日志详情,可能会有更具体的错误信息提示。
      • 同时,检查PolarDB的慢查询日志和数据库审计日志,以获取更多线索。
    2024-06-24 17:14:30
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    云栖大会:开源 PolarDB 架构演进、关键技术与社区建设 立即下载
    2023云栖大会:和客户一起玩转PolarDB新特性 立即下载
    2023云栖大会:PolarDB for AI 立即下载