adb是否支持通过Logstash插件使用INSERT ON DUPLICATE KEY UPDATE语句批量插入数据?
支持,参考文档:https://help.aliyun.com/document_detail/194539.html?spm=a2c4g.123585.0.i3,此回答整理自钉群“云数据仓库ADB-开发者群”
是的,阿里云ADB支持使用Logstash的jdbc插件进行批量数据插入,同时也支持使用INSERT ON DUPLICATE KEY UPDATE语句来更新重复的记录。
关于使用Logstash插件进行数据操作,具体可以参考阿里云文档中的以下教程:
另外,在jdbc插件的输出配置中,可以使用jdbc_streaming filter来应用SQL语句进行数据操作。例如,使用以下配置可以将数据批量写入到adb表中,并在存在重复记录时最新的记录覆盖旧记录:
output {
jdbc {
# 数据库连接参数
jdbc_connection_string => "jdbc:xxx"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_user => "xxx"
jdbc_password => "xxx"
# 执行INSERT ON DUPLICATE KEY UPDATE语句
statement => "INSERT INTO table_name (id, name, age) VALUES (?, ?, ?) ON DUPLICATE KEY UPDATE name=VALUES(name), age=VALUES(age)"
# 设置上传数据的批次大小
batch_size => 1000
}
}
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。