【深入浅出】阿里自研开源搜索引擎Havenask日志查询

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
智能开放搜索 OpenSearch向量检索版,4核32GB 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。

一、概述

有时,havenask集群可能处于异常的状态,此时,我们需要借助havenask的日志判断异常的原因。

image.png


二、过程演示

1、引擎日志排查方法

  • 引擎admin、worker的报错都需要查看对应的引擎日志,查看方法如下
    1. 使用hape gs命令查看对应进程所在机器
    2. havenask集群默认在/home/下创建所有进程的工作目录。可以在某一台机器下使用 ls ~ | grep havenask | grep (serviceName代表集群配置里面global.conf设定的服务名)。其中appmaster也即admin
    3. 日志:
    • 所有进程有基本日志:
    • 启动日志:/stdout.log 与/stdin.log
    • havenask admin的主要日志:
    • 集群进程调度日志 /hippo.log
    • 集群目标日志 /suez.log
    • havenask worker的主要日志:
    • sql引擎工作日志 /ha_sql/logs/sql.log
    • swift admin的主要日志:
    • 集群进程调度日志 /logs/hippo.log
    • 集群目标日志 /logs/swift/swift.log
    • swift broker的主要日志:
    • broker工作日志 /logs/swift/swift.log


    2、举例

    • 假设havenask集群的Swift出现问题。此时,可以使用hape gs swift命令,查看当前集群中所有的节点,发现出现错误的节点,并得到其对青机器的IP。登录这台机器,目前havenask的工作目录都在home下,因此我们可以使用它的服务名,找到对应的工作目录。


    • 该工作目录是一个经典的swift worker的工作目录,我们可以在log/swift/swift.log中看到对应日志,再根据ERRORWARN过滤错误。


    • 假设havenask集群的在线节点出现问题。此时,可以使用hape gs haveask命令。


    • 假设该节点是database节点容器问题,可以登录对应的机器,使用服务名找到home下的工作目录,进入该database节点,查看对应的日志。假设该在线节点主要的日志在sql.log,我们可以同样使用ERRORWARN过滤错误。


    三、结尾

    具体Havenask日志查询的演示视频可以通过链接查看,欢迎各位开发者使用。


    视频链接:https://developer.aliyun.com/live/253854?spm=a2c6h.13262185.profile.6.563bee42LdD7By


    关注我们:

    Havenask 开源官网:https://havenask.net/

    Havenask-Github 开源项目地址:https://github.com/alibaba/havenask

    阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch

    钉钉扫码加入 Havenask 开源官方技术交流群:

    1715594790746.png

    相关实践学习
    日志服务之数据清洗与入湖
    本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
    目录
    相关文章
    |
    1月前
    |
    SQL 监控 关系型数据库
    |
    1月前
    |
    数据库 监控 关系型数据库
    |
    1月前
    |
    数据库 关系型数据库 MySQL
    关系性数据库查询日志的类型
    【6月更文挑战第1天】
    34 6
    |
    1月前
    |
    数据库 运维 数据库管理
    关系性数据库查询日志的作用
    【6月更文挑战第1天】
    34 6
    |
    1月前
    |
    存储 缓存 安全
    【实战指南】轻松自研嵌入式日志框架,6大功能亮点一文读懂
    本文介绍了如何自研一个嵌入式日志框架,涵盖了6大功能亮点:日志分级管理、异步处理与并发安全性、详尽上下文信息记录、滚动日志归档策略、高效资源利用和便捷API接口。设计上,通过日志过滤器、共享环形缓冲区和独立的日志管理进程实现日志管理。在并发环境下,使用信号量保证线程安全。日志文件按大小滚动并有序归档,同时考虑了资源效率。对外提供简洁的API接口,便于开发人员使用。文章还简述了实现细节,包括实时存储、日志滚动和共享内存管理。测试部分验证了日志回滚和实时打印功能的正确性。
    |
    1月前
    |
    监控 关系型数据库 运维
    |
    1月前
    |
    Java 数据库连接 数据库
    Spring日志完结篇,MyBatis操作数据库(入门)
    Spring日志完结篇,MyBatis操作数据库(入门)
    |
    2月前
    |
    SQL 运维 监控
    关系型数据库查询日志分析
    【5月更文挑战第21天】
    27 2
    |
    2月前
    |
    存储 监控 Apache
    查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
    网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
    查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
    |
    2月前
    |
    域名解析 缓存 监控
    【域名解析 DNS 专栏】DNS 查询日志分析:洞察网络行为与优化建议
    【5月更文挑战第28天】DNS查询日志分析对于理解和优化网络行为至关重要。通过日志,可洞察用户访问偏好、流量分布,进而进行缓存优化、负载均衡和安全检测。简单Python代码示例展示了如何读取和分析日志。根据分析结果,可针对性设置优化策略,提升网络性能、稳定性和安全性。不断探索新的分析方法,充分挖掘DNS查询日志的价值,以驱动网络持续优化。