开发者社区 > 数据库 > 数据仓库 > 正文

adb是否支持通过Logstash插件使用INSERT ON DUPLICATE KEY UPDAT

adb是否支持通过Logstash插件使用INSERT ON DUPLICATE KEY UPDATE语句批量插入数据?

展开
收起
真的很搞笑 2023-04-27 08:23:42 174 0
2 条回答
写回答
取消 提交回答
  • 支持,参考文档:https://help.aliyun.com/document_detail/194539.html?spm=a2c4g.123585.0.i3,此回答整理自钉群“云数据仓库ADB-开发者群”

    2023-04-27 17:38:45
    赞同 展开评论 打赏
  • 是的,阿里云ADB支持使用Logstash的jdbc插件进行批量数据插入,同时也支持使用INSERT ON DUPLICATE KEY UPDATE语句来更新重复的记录。

    关于使用Logstash插件进行数据操作,具体可以参考阿里云文档中的以下教程:

    另外,在jdbc插件的输出配置中,可以使用jdbc_streaming filter来应用SQL语句进行数据操作。例如,使用以下配置可以将数据批量写入到adb表中,并在存在重复记录时最新的记录覆盖旧记录:

    output {
      jdbc {
        # 数据库连接参数
        jdbc_connection_string => "jdbc:xxx"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_user => "xxx"
        jdbc_password => "xxx"
        # 执行INSERT ON DUPLICATE KEY UPDATE语句
        statement => "INSERT INTO table_name (id, name, age) VALUES (?, ?, ?) ON DUPLICATE KEY UPDATE name=VALUES(name), age=VALUES(age)"
        # 设置上传数据的批次大小
        batch_size => 1000
      }
    }
    
    2023-04-27 10:27:20
    赞同 展开评论 打赏

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

相关产品

  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 相关电子书

    更多
    消电行业数据中台解决方案白皮书 立即下载
    (终极版)2020阿里云金融数据中台报告 立即下载
    2020年中国乳制品行业数据中台研究报告 立即下载