DataWorks中Elasticsearch Writer参数说明是什么?
参数 描述 是否必选 默认值
endpoint Elasticsearch的连接地址,通常格式为http://xxxx.com:9999。 否 无
accessId Elasticsearch的username,用于与Elasticsearch建立连接时的鉴权。 否 无
accessKey Elasticsearch的password。 否 无
index Elasticsearch中的index名。 否 无
indexType Elasticsearch中index的type名。 否 Elasticsearch
cleanup 是否删除所配索引中已有数据,清理数据的方法为删除并重建对应索引,默认值为false,表示保留已有索引中的数据。 否 false
batchSize 每次批量数据的条数。 否 1,000
trySize 失败后重试的次数。 否 30
timeout 客户端超时时间。 否 600,000
discovery 启用节点发现将轮询并定期更新客户机中的服务器列表。 否 false
compression HTTP请求,开启压缩。 否 true
multiThread HTTP请求,是否有多线程。 否 true
ignoreWriteError 忽略写入错误,不重试,继续写入。 否 false
ignoreParseError 忽略解析数据格式错误,继续写入。 否 true
alias Elasticsearch的别名类似于数据库的视图机制,为索引my_index创建一个别名my_index_alias,对my_index_alias的操作与my_index的操作一致。 配置alias表示在数据导入完成后,为指定的索引创建别名。 否 无
aliasMode 数据导入完成后增加别名的模式,包括append(增加模式)和exclusive(只留这一个): 否 append
splitter 如果待插入目标端数据列类型是array数组类型,则使用指定分隔符(-,-),将源头数据进行拆分写出。 例如,源头列是字符串类型数据a-,-b-,-c-,-d,使用分隔符(-,-)拆分后是数组["a", "b", "c", "d"],最终写出至Elasticsearch对应Filed列中。 否 -,-
settings 创建index时
https://help.aliyun.com/document_detail/137770.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。