Attempted to send a bulk
我现在集群每天的日志量大概3T，59个节点，60个data node，3个client节点，4个master节点，用kafka做了缓冲，但是logstash从kafka取数写入到es的时候，总是有报错："Attempted to send a bulk request to Elasticsearch configured at 、but an error occurred and it failed! Are you sure you can reach elasticsearch from this machine using the configuration provided?",、error_message=>"[503] {"error":{"root_cause":[{"type":"cluster_block_exception","reason":"blocked by: [SERVICE_UNAVAILABLE/2/no master];"}],"type":"cluster_block_exception","reason":"blocked by: [SERVICE_UNAVAILABLE/2/no master];"},"status":503}" 不知道什么原因
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
遇到这个错误信息，表明Elasticsearch集群在处理Logstash发送的批量请求时遇到了问题，具体原因是没有可用的主节点（no master）。这通常意味着Elasticsearch集群的健康状态不是绿色或黄色，而是红色，表示集群配置存在问题或者主节点选举出现问题。
针对你的情况，可以尝试以下几个步骤来诊断和解决问题：
-
检查集群健康状态：首先，使用
curl -X GET "localhost:9200/_cluster/health?pretty"命令检查Elasticsearch集群的健康状况。注意替换localhost:9200为你的Elasticsearch集群的实际地址。查看status、number_of_nodes、master_node等字段，确认是否有主节点以及集群的状态。 -
查看Master节点日志：登录到Elasticsearch主节点机器上，检查Elasticsearch的日志文件（通常位于
/var/log/elasticsearch/目录下），寻找任何可能指示主节点问题的错误信息，比如网络问题、磁盘空间不足、节点间通信故障等。 -
确保网络连通性：确认Logstash服务器能够顺利访问到Elasticsearch的所有节点，特别是主节点。检查防火墙设置、网络路由规则是否正确配置。
-
检查Elasticsearch配置：确认Elasticsearch集群的配置文件（如
elasticsearch.yml）中关于发现（discovery）、网络绑定（network.host）、集群名称（cluster.name）等设置是否正确，并且所有节点都配置一致。 -
主节点选举问题：如果频繁出现无主节点情况，可能是主节点选举机制有问题。检查
minimum_master_nodes设置是否正确。根据公式(total_number_of_nodes / 2) + 1计算出最小主节点数并设置在每个节点的配置文件中，以避免脑裂现象。 -
资源与性能监控：检查集群内各节点的CPU、内存、磁盘使用情况，确保没有资源耗尽的问题。高负载或资源不足也可能导致节点不稳定或无法正常参与主节点选举。
-
Kafka与Logstash配置：虽然直接问题在于Elasticsearch，但也不排除是由于Kafka到Logstash的数据流速过快，导致Elasticsearch处理不过来。检查Kafka生产者和Logstash消费者的缓冲区大小、批处理大小等配置，适当调整以减轻压力。
如果以上步骤不能解决问题，建议进一步查阅Elasticsearch官方文档或社区论坛寻求帮助，可能需要更详细的日志分析或专业的技术支持介入。
