阿里云Elasticsearch数据写入性能优化

已解决

阿里云Elasticsearch数据写入性能优化

展开
收起
阿里云服务支持 2022-12-12 14:22:44 319 分享 版权
1 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    常见的Elasticsearch写入配置优化如下:

    1、调大bulk条数,控制每个请求在10MB到30MB之间,增加每次shard分到的doc条数,间接降低fsync的频率。

    2、适当增加写入队列大小,避免集群偶尔抖动导致队列快速塞满而报错。

    3、可通过开启translog async落盘,结合负载情况,进行适当调整。

    PUT my_index {

     "settings": {
    
          "index": {
    
               "refresh_interval": "60s",
    
               "translog": {
    
                    "flush_threshold_size": "2gb",
    
                    "sync_interval": "100s",
    
                    "durability": "async"
    
               },
    
               "merge": {
    
                    "policy": {
    
                         "segments_per_tier": "30",
    
                         "max_merged_segment": "256m"
    
                    }
    
               }
    
          }
    
     }
    

    }

    4、主分片数设置为数据节点个数,不建议设置为1, 详情可参考Shard评估

    5、增加refresh_interval,如下:

    PUT /your_index/_settings

    {

    "refresh_interval": 30s

    }

    提示:refresh_interval默认为1s。

    2022-12-12 14:27:06
    赞同 展开评论

阿里云检索分析服务Elasticsearch版兼容开源ELK功能,免运维全托管,提升企业数据检索与运维分析能力。

收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。

热门讨论

热门文章

还有其他疑问?
咨询AI助理