开发者社区 > 大数据与机器学习 > 检索分析服务 Elasticsearch版 > 正文

阿里云Elasticsearch数据写入性能优化

已解决

阿里云Elasticsearch数据写入性能优化

展开
收起
阿里云服务支持 2022-12-12 14:22:44 278 0
1 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    常见的Elasticsearch写入配置优化如下:

    1、调大bulk条数,控制每个请求在10MB到30MB之间,增加每次shard分到的doc条数,间接降低fsync的频率。

    2、适当增加写入队列大小,避免集群偶尔抖动导致队列快速塞满而报错。

    3、可通过开启translog async落盘,结合负载情况,进行适当调整。

    PUT my_index {

     "settings": {
    
          "index": {
    
               "refresh_interval": "60s",
    
               "translog": {
    
                    "flush_threshold_size": "2gb",
    
                    "sync_interval": "100s",
    
                    "durability": "async"
    
               },
    
               "merge": {
    
                    "policy": {
    
                         "segments_per_tier": "30",
    
                         "max_merged_segment": "256m"
    
                    }
    
               }
    
          }
    
     }
    

    }

    4、主分片数设置为数据节点个数,不建议设置为1, 详情可参考Shard评估

    5、增加refresh_interval,如下:

    PUT /your_index/_settings

    {

    "refresh_interval": 30s

    }

    提示:refresh_interval默认为1s。

    2022-12-12 14:27:06
    赞同 展开评论 打赏

阿里云检索分析服务Elasticsearch版兼容开源ELK功能,免运维全托管,提升企业数据检索与运维分析能力。

相关产品

  • 检索分析服务 Elasticsearch版
  • 热门讨论

    热门文章

    相关电子书

    更多
    阿里云Elasticsearch体系架构与特性解析 立即下载
    开源与云:Elasticsearch应用剖析 立即下载
    《Elasticsearch全观测解决方案》 立即下载