【深入浅出】阿里自研开源搜索引擎Havenask日志查询

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。

一、概述

有时,havenask集群可能处于异常的状态,此时,我们需要借助havenask的日志判断异常的原因。

image.png


二、过程演示

1、引擎日志排查方法

  • 引擎admin、worker的报错都需要查看对应的引擎日志,查看方法如下
    1. 使用hape gs命令查看对应进程所在机器
    2. havenask集群默认在/home/下创建所有进程的工作目录。可以在某一台机器下使用 ls ~ | grep havenask | grep (serviceName代表集群配置里面global.conf设定的服务名)。其中appmaster也即admin
    3. 日志:
    • 所有进程有基本日志:
    • 启动日志:/stdout.log 与/stdin.log
    • havenask admin的主要日志:
    • 集群进程调度日志 /hippo.log
    • 集群目标日志 /suez.log
    • havenask worker的主要日志:
    • sql引擎工作日志 /ha_sql/logs/sql.log
    • swift admin的主要日志:
    • 集群进程调度日志 /logs/hippo.log
    • 集群目标日志 /logs/swift/swift.log
    • swift broker的主要日志:
    • broker工作日志 /logs/swift/swift.log


    2、举例

    • 假设havenask集群的Swift出现问题。此时,可以使用hape gs swift命令,查看当前集群中所有的节点,发现出现错误的节点,并得到其对青机器的IP。登录这台机器,目前havenask的工作目录都在home下,因此我们可以使用它的服务名,找到对应的工作目录。


    • 该工作目录是一个经典的swift worker的工作目录,我们可以在log/swift/swift.log中看到对应日志,再根据ERRORWARN过滤错误。


    • 假设havenask集群的在线节点出现问题。此时,可以使用hape gs haveask命令。


    • 假设该节点是database节点容器问题,可以登录对应的机器,使用服务名找到home下的工作目录,进入该database节点,查看对应的日志。假设该在线节点主要的日志在sql.log,我们可以同样使用ERRORWARN过滤错误。


    三、结尾

    具体Havenask日志查询的演示视频可以通过链接查看,欢迎各位开发者使用。


    视频链接:https://developer.aliyun.com/live/253854?spm=a2c6h.13262185.profile.6.563bee42LdD7By


    关注我们:

    Havenask 开源官网:https://havenask.net/

    Havenask-Github 开源项目地址:https://github.com/alibaba/havenask

    阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch

    钉钉扫码加入 Havenask 开源官方技术交流群:

    1715594790746.png

    相关实践学习
    日志服务之使用Nginx模式采集日志
    本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
    目录
    相关文章
    |
    26天前
    |
    存储 NoSQL Redis
    阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
    阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
    阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
    |
    5月前
    |
    Java 中间件
    SpringBoot入门(6)- 添加Logback日志
    SpringBoot入门(6)- 添加Logback日志
    175 5
    |
    1月前
    |
    SQL 存储 自然语言处理
    让跨 project 联查更轻松,SLS StoreView 查询和分析实践
    让跨 project 联查更轻松,SLS StoreView 查询和分析实践
    |
    4月前
    |
    人工智能 监控 算法
    3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
    3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
    847 18
    3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
    |
    3月前
    |
    存储 人工智能 JSON
    RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
    RAG Logger 是一款专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、检索结果记录、LLM 交互记录和性能监控等功能。
    145 7
    RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
    |
    4月前
    |
    人工智能 算法 数据挖掘
    开源更新|通义3D-Speaker多说话人日志功能
    开源更新|通义3D-Speaker多说话人日志功能
    |
    5月前
    |
    Java 中间件
    SpringBoot入门(6)- 添加Logback日志
    SpringBoot入门(6)- 添加Logback日志
    103 1
    |
    5月前
    |
    机器学习/深度学习 运维 监控
    开源日志分析Kibana
    【10月更文挑战第22天】
    104 3
    |
    5月前
    |
    XML 安全 Java
    【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
    本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
    1725 31
    【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
    |
    4月前
    |
    监控 安全 Apache
    什么是Apache日志?为什么Apache日志分析很重要?
    Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
    131 9
    下一篇
    oss创建bucket