【深入浅出】阿里自研开源搜索引擎Havenask日志查询

本文涉及的产品
推荐全链路深度定制开发平台,高级版 1个月
简介: 本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。

一、概述

有时,havenask集群可能处于异常的状态,此时,我们需要借助havenask的日志判断异常的原因。

image.png


二、过程演示

1、引擎日志排查方法

  • 引擎admin、worker的报错都需要查看对应的引擎日志,查看方法如下
    1. 使用hape gs命令查看对应进程所在机器
    2. havenask集群默认在/home/下创建所有进程的工作目录。可以在某一台机器下使用 ls ~ | grep havenask | grep (serviceName代表集群配置里面global.conf设定的服务名)。其中appmaster也即admin
    3. 日志:
    • 所有进程有基本日志:
    • 启动日志:/stdout.log 与/stdin.log
    • havenask admin的主要日志:
    • 集群进程调度日志 /hippo.log
    • 集群目标日志 /suez.log
    • havenask worker的主要日志:
    • sql引擎工作日志 /ha_sql/logs/sql.log
    • swift admin的主要日志:
    • 集群进程调度日志 /logs/hippo.log
    • 集群目标日志 /logs/swift/swift.log
    • swift broker的主要日志:
    • broker工作日志 /logs/swift/swift.log


    2、举例

    • 假设havenask集群的Swift出现问题。此时,可以使用hape gs swift命令,查看当前集群中所有的节点,发现出现错误的节点,并得到其对青机器的IP。登录这台机器,目前havenask的工作目录都在home下,因此我们可以使用它的服务名,找到对应的工作目录。


    • 该工作目录是一个经典的swift worker的工作目录,我们可以在log/swift/swift.log中看到对应日志,再根据ERRORWARN过滤错误。


    • 假设havenask集群的在线节点出现问题。此时,可以使用hape gs haveask命令。


    • 假设该节点是database节点容器问题,可以登录对应的机器,使用服务名找到home下的工作目录,进入该database节点,查看对应的日志。假设该在线节点主要的日志在sql.log,我们可以同样使用ERRORWARN过滤错误。


    三、结尾

    具体Havenask日志查询的演示视频可以通过链接查看,欢迎各位开发者使用。


    视频链接:https://developer.aliyun.com/live/253854?spm=a2c6h.13262185.profile.6.563bee42LdD7By


    关注我们:

    Havenask 开源官网:https://havenask.net/

    Havenask-Github 开源项目地址:https://github.com/alibaba/havenask

    阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch

    钉钉扫码加入 Havenask 开源官方技术交流群:

    1715594790746.png

    相关实践学习
    日志服务之使用Nginx模式采集日志
    本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
    目录
    相关文章
    |
    5天前
    |
    SQL 监控 关系型数据库
    深入理解MySQL日志:通用查询、慢查询和错误日志详解
    深入理解MySQL日志:通用查询、慢查询和错误日志详解
    362 0
    |
    5天前
    |
    SQL 存储 关系型数据库
    轻松入门MySQL:深入理解MySQL日志,二进制日志、中继日志、回滚日志和重做日志(19)
    轻松入门MySQL:深入理解MySQL日志,二进制日志、中继日志、回滚日志和重做日志(19)
    |
    5天前
    |
    存储 监控 数据可视化
    无需重新学习,使用 Kibana 查询/可视化 SLS 数据
    本文演示了使用 Kibana 连接 SLS ES 兼容接口进行查询和分析的方法。
    65119 9
    |
    5天前
    |
    存储 运维 大数据
    聊聊日志硬扫描,阿里 Log Scan 的设计与实践
    泛日志(Log/Trace/Metric)是大数据的重要组成,伴随着每一年业务峰值的新脉冲,日志数据量在快速增长。同时,业务数字化运营、软件可观测性等浪潮又在对日志的存储、计算提出更高的要求。
    |
    5天前
    |
    存储 监控 Apache
    查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
    网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
    查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
    |
    5天前
    |
    监控 Docker 容器
    Docker从入门到精通:Docker log 命令学习
    了解 Docker 日志管理对容器监控至关重要。`docker logs` 命令用于查看和管理容器日志,例如,`docker logs <container_name>` 显示容器日志,`-f` 或 `--follow` 实时跟踪日志,`--tail` 显示指定行数,`--timestamps` 添加时间戳,`--since` 按日期筛选。Docker 支持多种日志驱动,如 `syslog`,可通过 `--log-driver` 配置。有效管理日志能提升应用程序的稳定性和可维护性。
    21 0
    |
    5天前
    |
    SQL 存储 监控
    SLS 查询新范式:使用 SPL 对日志进行交互式探索
    像 Unix 命令一样支持多级管道级联,像加工预览一样实时处理查询结果,更便捷的交互,更丰富的算子,更灵活的探索半结构化日志,快来试试使用 SPL 语言查询日志数据吧~
    46573 6
    |
    5天前
    |
    API 开发工具 C语言
    【嵌入式开源库】EasyLogger的使用, 一款轻量级且高性能的日志库
    【嵌入式开源库】EasyLogger的使用, 一款轻量级且高性能的日志库
    |
    5天前
    |
    芯片
    【嵌入式开源库】使用J-Link打印日志,让你节省一个打印串口
    【嵌入式开源库】使用J-Link打印日志,让你节省一个打印串口
    |
    5天前
    |
    存储 移动开发 安全
    【Linux技术专题】「必备基础知识」带你仔细梳理一下平时排查问题查询日志的基本操作和指令
    【Linux技术专题】「必备基础知识」带你仔细梳理一下平时排查问题查询日志的基本操作和指令
    25 0