开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks PostgreSQL Reader背景信息是什么?

DataWorks PostgreSQL Reader背景信息是什么?

展开
收起
真的很搞笑 2023-09-27 07:55:30 73 0
1 条回答
写回答
取消 提交回答
  • PostgreSQL Reader插件从PostgreSQL读取数据。在底层实现上,PostgreSQL Reader通过JDBC连接远程PostgreSQL数据库,并执行相应的SQL语句,从PostgreSQL库中选取数据。RDS提供PostgreSQL存储引擎。PostgreSQL Reader通过JDBC连接器连接至远程的PostgreSQL数据库,根据您配置的信息生成查询SQL语句,发送至远程PostgreSQL数据库,执行该SQL并返回结果。再使用数据同步自定义的数据类型拼装为抽象的数据集,传递给下游Writer处理:对于您配置的table、column和where等信息,PostgreSQL Reader将其拼接为SQL语句发送至PostgreSQL数据库。对于您配置的querySql信息,PostgreSQL直接将其发送至PostgreSQL数据库。请注意PostgreSQL中字段的大小写问题。如果字段有大小写的差异,读取数据时会被识别,导致读取PostgreSQL数据失败。向导模式无法处理此类情况,您需要将其转换为脚本模式并添加转义符。"parameter": {"datasource": "abc","column": ["id",""pgCreateTime"", //添加转义符""pgCreateTimeDay""],"where": "","splitPk": "id","table": "public.wpw_test"},
    https://help.aliyun.com/document_detail/138979.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-27 14:42:38
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载