【深入浅出】阿里自研开源搜索引擎Havenask日志查询

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
推荐全链路深度定制开发平台,高级版 1个月
简介: 本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。

一、概述

有时,havenask集群可能处于异常的状态,此时,我们需要借助havenask的日志判断异常的原因。

image.png


二、过程演示

1、引擎日志排查方法

  • 引擎admin、worker的报错都需要查看对应的引擎日志,查看方法如下
    1. 使用hape gs命令查看对应进程所在机器
    2. havenask集群默认在/home/下创建所有进程的工作目录。可以在某一台机器下使用 ls ~ | grep havenask | grep (serviceName代表集群配置里面global.conf设定的服务名)。其中appmaster也即admin
    3. 日志:
    • 所有进程有基本日志:
    • 启动日志:/stdout.log 与/stdin.log
    • havenask admin的主要日志:
    • 集群进程调度日志 /hippo.log
    • 集群目标日志 /suez.log
    • havenask worker的主要日志:
    • sql引擎工作日志 /ha_sql/logs/sql.log
    • swift admin的主要日志:
    • 集群进程调度日志 /logs/hippo.log
    • 集群目标日志 /logs/swift/swift.log
    • swift broker的主要日志:
    • broker工作日志 /logs/swift/swift.log


    2、举例

    • 假设havenask集群的Swift出现问题。此时,可以使用hape gs swift命令,查看当前集群中所有的节点,发现出现错误的节点,并得到其对青机器的IP。登录这台机器,目前havenask的工作目录都在home下,因此我们可以使用它的服务名,找到对应的工作目录。


    • 该工作目录是一个经典的swift worker的工作目录,我们可以在log/swift/swift.log中看到对应日志,再根据ERRORWARN过滤错误。


    • 假设havenask集群的在线节点出现问题。此时,可以使用hape gs haveask命令。


    • 假设该节点是database节点容器问题,可以登录对应的机器,使用服务名找到home下的工作目录,进入该database节点,查看对应的日志。假设该在线节点主要的日志在sql.log,我们可以同样使用ERRORWARN过滤错误。


    三、结尾

    具体Havenask日志查询的演示视频可以通过链接查看,欢迎各位开发者使用。


    视频链接:https://developer.aliyun.com/live/253854?spm=a2c6h.13262185.profile.6.563bee42LdD7By


    关注我们:

    Havenask 开源官网:https://havenask.net/

    Havenask-Github 开源项目地址:https://github.com/alibaba/havenask

    阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch

    钉钉扫码加入 Havenask 开源官方技术交流群:

    1715594790746.png

    相关实践学习
    日志服务之使用Nginx模式采集日志
    本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
    目录
    相关文章
    |
    20天前
    |
    Java 中间件
    SpringBoot入门(6)- 添加Logback日志
    SpringBoot入门(6)- 添加Logback日志
    64 5
    |
    26天前
    |
    存储 运维 监控
    开源日志Graylog
    【10月更文挑战第21天】
    94 8
    |
    2月前
    |
    Web App开发 存储 监控
    iLogtail 开源两周年:UC 工程师分享日志查询服务建设实践案例
    本文为 iLogtail 开源两周年的实践案例分享,讨论了 iLogtail 作为日志采集工具的优势,包括它在性能上超越 Filebeat 的能力,并通过一系列优化解决了在生产环境中替换 Filebeat 和 Logstash 时遇到的挑战。
    103 15
    |
    26天前
    |
    存储 数据采集 监控
    开源日志Fluentd
    【10月更文挑战第21天】
    36 7
    |
    26天前
    |
    存储 监控 安全
    |
    25天前
    |
    存储 数据采集 监控
    开源日志分析Elasticsearch
    【10月更文挑战第22天】
    46 5
    |
    25天前
    |
    机器学习/深度学习 运维 监控
    开源日志分析Kibana
    【10月更文挑战第22天】
    32 3
    |
    25天前
    |
    存储 JSON 监控
    开源日志分析Logstash
    【10月更文挑战第22天】
    45 1
    |
    27天前
    |
    存储 运维 监控
    开源日志分析工具
    【10月更文挑战第20天】
    55 3
    |
    2月前
    |
    监控 网络协议 CDN
    阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
    阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?