开发者社区> dataworks@李珍珍> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

PostGreSql里的列为JSON类型同步到ODPS

简介:
+关注继续查看

场景

将PostGreSql的JSON类型同步到ODPS里的String类型,目前的数据集成是不支持,但是可以在字段映射界面用相应的函数做类型转换。

Q: 用户的request列是json类型,将其同步到odps的string类型报下面的问题。

1

A: 在映射字段进行类型转换json_col::json#>>'{}'里的json_col是PostGreSql相应的列名:

{
  "configuration": {
    "reader": {
      "plugin": "postgresql",
      "parameter": {
        "datasource": "l_PostGreSql",
        "column": [
          "json_col::json#>>'{}'"
        ],
        "where": "",
        "splitPk": "",
        "table": "public.json_table"
      }
    },
    "writer": {
      "plugin": "stream",
      "parameter": {
        "print": "true"
      }
    },
    "setting": {
      "speed": {
        "concurrent": "1",
        "mbps": "1"
      }
    }
  },
  "type": "job",
  "version": "1.0"
}

对应的向导模式界面:

2

关于PostGreSql里的类型转换可以参考文档:函数转换官方文档

注意:其他的数据库本身支持相应的函数转换类型也可以根据上面的方法运用在数据集成里。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
PostgreSQL 流复制搭建主从环境,同步和异步的解释,压力测试,主从角色切换|学习笔记
快速学习PostgreSQL 流复制搭建主从环境,同步和异步的解释,压力测试,主从角色切换
0 0
Flink同步RDS数据到Elasticsearch实践
Flink同步RDS数据到Elasticsearch实践
0 0
PostgreSQL 如何让心跳永远不死,支持半同步自动同步、异步升降级 - udf 心跳
PostgreSQL 如何让心跳永远不死,支持半同步自动同步、异步升降级 - udf 心跳
0 0
PostgreSQL 双节点流复制如何同时保证可用性、可靠性(rpo,rto) - (半同步,自动降级方法实践)
PostgreSQL 双节点流复制如何同时保证可用性、可靠性(rpo,rto) - (半同步,自动降级方法实践)
0 0
PostgreSQL 逻辑同步
本文探讨 概念、用法、发布者、订阅者、复制槽管理、冲突、限制、架构、首次同步、监控、安全性、配置设置、实操(有主键表、无主键表、分区表的同步;列顺序不同、表结构不同等情况下的复制)
0 0
PostgreSQL物理同步 12.2
本文探讨: 流复制,复制槽,wal日志传送,同步复制,异步复制,级联复制,多同步备用,多异步备用,规划高可用,待机中的连续归档,故障切换、切换后如何重建备库(pg_rewind)
0 0
如何将数据从SQLServer同步至AnalyticDB for PostgreSQL
使用DTS,进行Sqlserver -> AnalyticDB for PostgreSQL 数据链路同步,可以很方便的将SQLServer中的分散的业务数据批量/实时导入至AnalyticDB for PostgreSQL, 进行复杂的OLAP查询与分析
1888 0
PostgreSQL 双节点流复制如何同时保证可用性、可靠性(rpo,rto) - (半同步,自动降级方法实践)
标签 PostgreSQL , 同步 , 半同步 , 流复制 背景 两节点HA架构,如何做到跨机房RPO=0(可靠性维度)?同时RTO可控(可用性维度)? 半同步是一个不错的选择。 1、当只挂掉一个节点时,可以保证RPO=0。如下: 主 -> 从(挂) 主(挂) -> 从 2、当一个节点挂掉后,在另一个节点恢复并开启同步模式前,如果在此期间(
0 0
PostgreSQL 如何让心跳永远不死,支持半同步自动同步、异步升降级 - udf 心跳
标签 PostgreSQL , 同步 , 半同步 , 流复制 , 心跳 , 自动降级 , 自动升级 , dblink , 异步调用 背景 在心跳时,通过自定义UDF,实现心跳永远不被堵塞,并且支持更加当前的配置自动的进行同步、异步模式的升降级。实现半同步的功能。 UDF输入 1、优先模式(同步、异步) 2、同步等待超时时间 当优先为同步模式时,假设当前为同步配置,如果备库异常导致
0 0
+关注
dataworks@李珍珍
dataworks问题可以找我
文章
问答
文章排行榜
最热
最新
相关电子书
更多
2019大数据技术公开课第五季—MySQL/RDS数据如何同步到MaxCompute
立即下载
PolarDB for PostgreSQL 源码与应用实战
立即下载
PolarDB for PostgreSQL 开源必读手册
立即下载