开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

在flinksql format debezium-json中解析失败,格式不同,要怎么办?

JsonDebeziumDeserializationSchema生成的json,mysql的timestamp类型,在flinksql format debezium-json中解析失败,格式不一致,这个要怎么改?有配置吗?ae8c15c2af68321221cf2384d7eed9b4.png file:///C:/Users/Admin/AppData/Roaming/DingTalk/227792554_v2/resource_cache/d7/d7e8c705124bb938958a4e0afcda77fc.png

展开
收起
滴滴滴~ 2023-03-21 15:22:59 266 0
2 条回答
写回答
取消 提交回答
  • {
      "version": "1.0",
      "connector": "mysql",
      "name": "inventory-connector",
      "config": {
        "hostname": "localhost",
        "port": "3306",
        "username": "root",
        "password": "password",
        "database": "inventory",
        "table.whitelist": "products",
        "timestamp.format.standard": "ISO-8601",
        "include.schema.changes": "false",
        "deserialization.format": "debezium-json"
      }
    }
    
    2024-02-29 17:44:17
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    可以通过配置JSON Schema来解决这个问题。

    {"name": "create_time", "type": "string",
            "logicalType": "timestamp-millis",
            "doc": "MySQL timestamp converted to FlinkSQL timestamp-millis type",
            "transform": {"expr": "from_unixtime(to_unix_timestamp(substring($,1,19), 'yyyy-MM-dd HH:mm:ss'))*1000"}},
    
    2023-03-23 12:17:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
神龙云服务器产品及技术深度解析 立即下载
弹性创造价值:基于ECS的最佳性价比实践解析 立即下载
又快又稳:阿里云下一代虚拟交换机解析 立即下载

相关镜像