Kibana+云上ES访问SLS的操作文档

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 本文介绍了如何用Kibana+云上ES访问SLS的方案

背景

SLS通过上面的方案来支持Kibana访问logstore数据,由于kibana的元数据还依赖es存储。

这个es存储量比较小,为了维护方便,也是可以使用阿里云云上的小规格es来做kibana元数据存储。

下面是介绍具体的操作方案。

资源申请

创建一个vpc

进入阿里云vpc 在对应region创建一个vpc

https://vpc.console.aliyun.com/ 

申请es

https://elasticsearch.console.aliyun.com/ 

进入es的控制台,在对应region申请es,选择内核增强版

具体规格如下

注意点:

  • vpc要选择前面创建好的

申请ecs

https://ecs.console.aliyun.com/

进入ecs控制台申请ecs

注意点:

  • vpc要选择前面创建好的
  • 镜像可以使用Aliyun Cloud Linux
  • 如果需要通过公网+访问控制的方式访问Kibaba的话,建议勾选“分配公网 IPv4 地址”

部署安装

依赖安装

使用docker

sudo yum install -y docker
sudo yum install -y docker-compose

如果没有docker,也可以使用podman

sudo yum -y install podman podman-docker
sudo yum -y install podman-compose

部署流程

创建一个目录sls,进入到sls下,创建一个文件docker-compose.yml,内容如下

version: '3'
services:
  kproxy:
    image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:1.9d
    environment:
      - ES_ENDPOINT=云上es的vpc链接地址:9200 # 根据实际情况修改
      - SLS_ENDPOINT=https://etl-hangzhou-c.cn-hangzhou.log.aliyuncs.com/es/ # 根据实际情况修改,SLS_ENDPOINT为 https://${project}.${endpoint}/es/ 
      - SLS_PROJECT=etl-hangzhou-c # 根据实际情况修改写sls的project 
      - SLS_ACCESS_KEY_ID=ALIYUN_ACCESS_KEY_ID # 根据实际情况修改
      - SLS_ACCESS_KEY_SECRET=ALIYUN_ACCESS_KEY_SECRET # 根据实际情况修改
    networks:
      - esnet
  kibana:
    image: kibana:7.16.2
    depends_on:
      - kproxy
    environment:
      - ELASTICSEARCH_HOSTS=http://kproxy:9201
      - ELASTICSEARCH_USERNAME=elastic
      - ELASTICSEARCH_PASSWORD=ES_PASSWORD #根据实际情况修改
      - XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true
      - KIBANA_INDEX=.sls_kibana2
      - TASK_MANAGER_INDEX=.sls_kibana_task_manager2
      - EVENT_LOG_INDEX=.sls_kibana-eventlog2
      - ALERTING_PLUGIN_INDEX=.sls_kibana_alert_index2
    ports:
      - "5601:5601"
    networks:
      - esnet
networks:
  esnet:
    ipam:
      driver: default

启动

docker-compose up -d

或者

podman-compose up -d

用docker命令检查容器是否正常启动

docker ps

设置访问ACL

为了访问的安全性,设置访问来源地址,通过ecs的实例页面,找到ecs对应的安全组配置入口

进入安全组配置页面后,点击手工添加一个端口访问规则, 在授权对象选择对应的网络地址(可以跟网络工程师确认一下公司的出口ip段)

访问ecs公网地址

http://ecs的公网地址:5601

输入es的账号密码即可访问

通过Kibana访问SLS

在Kibana上配置sls的logstore

首页进入Stack Management

点左侧Index  Pattern, 然后点 “create an index pattern against hidden or system indices.”

Name填写为 project名字.logstore名字

点击创建Index Pattern即可,创建完成后,即可在Kibana上访问sls的logstore了

访问SLS Logstore

点击左侧Discover后,选择sls的index即可访问

参考

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
Docker 索引 容器
Elasticsearch跨集群检索配置
Elasticsearch跨集群检索配置
45 1
|
7月前
|
JSON 自然语言处理 数据挖掘
ElasticSearch高级操作1
ElasticSearch高级操作1
91 0
|
7月前
|
自然语言处理 Java 索引
ElasticSearch高级操作2
ElasticSearch高级操作2
75 0
|
存储 Prometheus Kubernetes
轻量级日志可视化平台Grafana Loki接入nginx访问日志
轻量级日志可视化平台Grafana Loki接入nginx访问日志
1389 0
轻量级日志可视化平台Grafana Loki接入nginx访问日志
|
3月前
|
SQL 数据可视化 应用服务中间件
[SLS开源兼容系列] 使用Grafana ES插件访问SLS
场景如果您厌倦了使用SQL来做Grafana图表,现在SLS刚好实现了ES接口兼容,可以使用GrafanaES来连。可以获得以下特性不需要安装GrafanaSLS的插件,使用Grafana自带的ES插件即可使用ES插件配置图表,不需要写SQL就可以快速配置漂亮的图表
106 2
|
3月前
|
存储 监控 数据可视化
【SLS开源兼容系列】使用Kibana访问SLS
现在通过SLS的ES兼容能力,可以很方便地实现用Kibana来查询和可视化SLS的数据。对于从ES迁移到SLS的用户可以继续保留原来的Kibana使用习惯。下面来演示如何通过Kibana来访问SLS
99 0
|
存储 JSON 监控
filebeat收集多个域名网站日志并存储到不同的es索引库(五)
filebeat收集多个域名日志并创建不同索引 1.为什么要针对不同的应用系统创建不同的索引 公司生产环境中一台机器上一定会运行着多个域名的应用,web应用也是集群的方式,如果filebeat收集来的日志都是分散存储,且在es上建立的索引也都是分散的,这样不利于日志的聚合汇总,因此就需要把同一种应用的不同机器上的日志全部采集过来存储到一个索引库中,在kibana根据各种条件去匹配
656 0
filebeat收集多个域名网站日志并存储到不同的es索引库(五)
|
存储 运维 监控
Elasticsearch 常见的 8 种错误及最佳实践
Elasticsearch 社区有大量关于 Elasticsearch 错误和异常的问题。 深挖这些错误背后的原因,把常见的错误积累为自己的实战经验甚至是工具,不仅可以节省我们的开发和运维时间,而且可以帮助确保 Elasticsearch 集群的长期健康运行。 常见的异常、原因和常规最佳实践拆解如下,这些最佳实践可以帮助我们更有效地识别、最小化定位和处理异常问题。
941 0
Elasticsearch 常见的 8 种错误及最佳实践
|
监控 安全 网络协议
【最佳实践】3分钟学会使用Elasticsearch跨集群复制功能(CCR)
当您需要将本地Elasticsearch集群中的索引数据迁移到一个远程集群中,或者将一个远程集群中的索引数据迁移到本地集群,可通过跨集群复制CCR(Cross Cluster Replication)功能实现。本文介绍具体的实现方法。
2363 0
【最佳实践】3分钟学会使用Elasticsearch跨集群复制功能(CCR)
|
存储 监控 固态存储
【最佳实践】阿里云 Elasticsearch 索引数据生命周期管理
索引生命周期管理(ILM)是指:ES数据索引从设置,创建,打开,关闭,删除的全生命周期过程的管理;为了降低索引存储成本,提升集群性能和执行效率,我们可以通过对存储在阿里云 Elasticsearch 的数据做生命周期管理。
9846 0
【最佳实践】阿里云 Elasticsearch 索引数据生命周期管理

热门文章

最新文章