开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中Elasticsearch Writer参数说明是什么?

DataWorks中Elasticsearch Writer参数说明是什么?

展开
收起
真的很搞笑 2023-08-16 10:14:44 84 0
1 条回答
写回答
取消 提交回答
  • 参数 描述 是否必选 默认值
    endpoint Elasticsearch的连接地址,通常格式为http://xxxx.com:9999。 否 无
    accessId Elasticsearch的username,用于与Elasticsearch建立连接时的鉴权。 否 无
    accessKey Elasticsearch的password。 否 无
    index Elasticsearch中的index名。 否 无
    indexType Elasticsearch中index的type名。 否 Elasticsearch
    cleanup 是否删除所配索引中已有数据,清理数据的方法为删除并重建对应索引,默认值为false,表示保留已有索引中的数据。 否 false
    batchSize 每次批量数据的条数。 否 1,000
    trySize 失败后重试的次数。 否 30
    timeout 客户端超时时间。 否 600,000
    discovery 启用节点发现将轮询并定期更新客户机中的服务器列表。 否 false
    compression HTTP请求,开启压缩。 否 true
    multiThread HTTP请求,是否有多线程。 否 true
    ignoreWriteError 忽略写入错误,不重试,继续写入。 否 false
    ignoreParseError 忽略解析数据格式错误,继续写入。 否 true
    alias Elasticsearch的别名类似于数据库的视图机制,为索引my_index创建一个别名my_index_alias,对my_index_alias的操作与my_index的操作一致。 配置alias表示在数据导入完成后,为指定的索引创建别名。 否 无
    aliasMode 数据导入完成后增加别名的模式,包括append(增加模式)和exclusive(只留这一个): 否 append
    splitter 如果待插入目标端数据列类型是array数组类型,则使用指定分隔符(-,-),将源头数据进行拆分写出。 例如,源头列是字符串类型数据a-,-b-,-c-,-d,使用分隔符(-,-)拆分后是数组["a", "b", "c", "d"],最终写出至Elasticsearch对应Filed列中。 否 -,-
    settings 创建index时
    https://help.aliyun.com/document_detail/137770.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-16 13:44:58
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载