开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

配置PG数据源,数据集成资源和任务调度资源都可以连通,配置离线同步任务时数据预览也没问题,执行离线同

配置PG数据源,数据集成资源和任务调度资源都可以连通,配置离线同步任务时数据预览也没问题,执行离线同步时会报数据源配置出错 81c944e69de7ea799c5fc8f821425a68.png 6d6c7ec264bc0e9cb44cb24417b76f90.png

展开
收起
十一0204 2023-04-11 23:43:18 445 0
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    在DataWorks中配置PG数据源时,需要注意以下几点:

    确认PG数据库的网络可达性:在DataWorks中配置PG数据源时,需要确保PG数据库的网络可达性。可以通过ping命令或telnet命令测试PG数据库的IP地址和端口是否可达。
    
    确认PG数据库的权限和配置:在DataWorks中配置PG数据源时,需要确保PG数据库的用户拥有足够的权限,并且PG数据库的配置符合DataWorks的要求。例如,需要确保PG数据库的字符集和排序规则与DataWorks要求的一致。
    
    确认DataWorks的数据源配置是否正确:在DataWorks中配置PG数据源时,需要确保数据源配置的参数正确。例如,需要确保PG数据库的IP地址、端口、数据库名称、用户名和密码等参数正确。
    

    如果确认以上几点都没有问题,但是在执行离线同步任务时仍然报数据源配置出错,建议检查离线同步任务的配置是否正确。例如,需要确保离线同步任务的数据源、数据表、同步方式、同步周期等配置正确。

    如果问题仍然存在,建议联系DataWorks技术支持人员进行咨询和解决。

    2023-04-15 12:05:00
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    数据源配置正常,但在执行离线同步任务时出错,根据截图其实也已经说明了有哪些原因,对应去排查就知道了:

    1. 数据库账号权限不足:离线同步任务在执行时需要读取和写入数据库的数据,如果所使用的数据库账号权限不足,可能会导致出错。

    2. 数据库连接数限制:数据库服务通常都会有连接数限制,如果离线同步任务在执行的时候连接数已经达到最大值,再次连接时就会出现错误。

    3. 数据库表结构变化:如果在离线同步任务执行时数据库的表结构发生了变化(比如新增或删除了字段),可能会导致数据无法同步。

    4. 数据库对象重命名:如果在离线同步任务执行时数据库中的某些对象(比如表或列)被重命名,可能会导致数据无法同步。

    解决方法:

    1. 增加数据库账号的权限或使用有权限的账号进行离线同步任务。

    2. 调整数据库的连接数限制或增加数据库连接池中的连接数。

    3. 检查数据库表结构是否与离线同步任务中的配置一致。

    4. 检查数据库中的对象是否被重命名了,并及时更新相关配置。

    2023-04-12 10:31:12
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Flink CDC:新一代数据集成框架 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
《DataWorks 数据集成实时同步》 立即下载