Kibana+云上ES访问SLS的操作文档

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 本文介绍了如何用Kibana+云上ES访问SLS的方案

背景

SLS通过上面的方案来支持Kibana访问logstore数据,由于kibana的元数据还依赖es存储。

这个es存储量比较小,为了维护方便,也是可以使用阿里云云上的小规格es来做kibana元数据存储。

下面是介绍具体的操作方案。

资源申请

创建一个vpc

进入阿里云vpc 在对应region创建一个vpc

https://vpc.console.aliyun.com/ 

申请es

https://elasticsearch.console.aliyun.com/ 

进入es的控制台,在对应region申请es,选择内核增强版

具体规格如下

注意点:

  • vpc要选择前面创建好的

申请ecs

https://ecs.console.aliyun.com/

进入ecs控制台申请ecs

注意点:

  • vpc要选择前面创建好的
  • 镜像可以使用Aliyun Cloud Linux
  • 如果需要通过公网+访问控制的方式访问Kibaba的话,建议勾选“分配公网 IPv4 地址”

部署安装

依赖安装

使用docker

sudo yum install -y docker
sudo yum install -y docker-compose

如果没有docker,也可以使用podman

sudo yum -y install podman podman-docker
sudo yum -y install podman-compose

部署流程

创建一个目录sls,进入到sls下,创建一个文件docker-compose.yml,内容如下

version: '3'
services:
  kproxy:
    image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.0.6
    environment:
      - ES_ENDPOINT=云上es的vpc链接地址:9200 # 根据实际情况修改
      - SLS_ENDPOINT=https://etl-hangzhou-c.cn-hangzhou.log.aliyuncs.com/es/ # 根据实际情况修改,SLS_ENDPOINT为 https://${project}.${endpoint}/es/ 
      - SLS_PROJECT=etl-hangzhou-c # 根据实际情况修改写sls的project 
      - SLS_ACCESS_KEY_ID=ALIYUN_ACCESS_KEY_ID # 根据实际情况修改
      - SLS_ACCESS_KEY_SECRET=ALIYUN_ACCESS_KEY_SECRET # 根据实际情况修改
    networks:
      - esnet
  kibana:
    image: kibana:7.16.2
    depends_on:
      - kproxy
    environment:
      - ELASTICSEARCH_HOSTS=http://kproxy:9201
      - ELASTICSEARCH_USERNAME=elastic
      - ELASTICSEARCH_PASSWORD=ES_PASSWORD #根据实际情况修改
      - XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true
      - KIBANA_INDEX=.sls_kibana2
      - TASK_MANAGER_INDEX=.sls_kibana_task_manager2
      - EVENT_LOG_INDEX=.sls_kibana-eventlog2
      - ALERTING_PLUGIN_INDEX=.sls_kibana_alert_index2
    ports:
      - "5601:5601"
    networks:
      - esnet
networks:
  esnet:
    ipam:
      driver: default


启动

docker-compose up -d

或者

podman-compose up -d


用docker命令检查容器是否正常启动

docker ps


设置访问ACL

为了访问的安全性,设置访问来源地址,通过ecs的实例页面,找到ecs对应的安全组配置入口

进入安全组配置页面后,点击手工添加一个端口访问规则, 在授权对象选择对应的网络地址(可以跟网络工程师确认一下公司的出口ip段)


访问ecs公网地址

http://ecs的公网地址:5601

输入es的账号密码即可访问

通过Kibana访问SLS

在Kibana上配置sls的logstore

首页进入Stack Management

点左侧Index  Pattern, 然后点 “create an index pattern against hidden or system indices.”


Name填写为 project名字.logstore名字


点击创建Index Pattern即可,创建完成后,即可在Kibana上访问sls的logstore了


访问SLS Logstore

点击左侧Discover后,选择sls的index即可访问



参考


相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
10月前
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
1581 245
云上数据安全保护:敏感日志扫描与脱敏实践详解
|
7月前
|
域名解析 应用服务中间件 网络安全
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
253 2
|
SQL Java Serverless
实时计算 Flink版操作报错合集之在写入SLS(Serverless Log Service)时出现报错,该如何排查
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
10月前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
896 4
|
11月前
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
|
11月前
|
存储 监控 安全
|
11月前
|
机器学习/深度学习 运维 监控
开源日志分析Kibana
【10月更文挑战第22天】
299 3
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
182 2
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?