elasticsearch数据长期保存的方案

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介:

Elasticsearch的数据就存储在硬盘中。当我们的访问日志非常大时,kabana绘制图形的时候会非常缓慢。而且硬盘空间有限,不可能保存所有的日志文件。如果我们想获取站点每天的重要数据信息,比如每天的访问量并希望能图像化的形式显示该如何做呢?

一、具体操作方法

获取数据之前你要知道你想要什么样的数据。比如我想获取每小时网站访问的PV,在kibana中肯定能获取到

wKioL1fSe-iQWogiAACcnWJEBvA511.png

这是在kibana中查询的每小时的pv,然后我们把他的查询json复制出来

wKiom1fSfDnCZV1yAABIVyb9BPc723.png

把上述json粘贴到test文件中 然后使用如下语句即可查询上图显示的查询结果

curl -POST 'http://192.168.10.49:9200/_search' -d '@test'

{"took":940,"timed_out":false,"_shards":{"total":211,"successful":211,"failed":0},"hits"......

然后把返回的结果中的数据获取存入data数组中,这是你可以存入数据库也可以转换成json直接插入es

这种方法主要是通过elasticsearch的查询语句把数据查询出来在传参给其他地方。你输入固定的查询json它返回的json数据也是固定格式的,这样很方面就能从中挖掘出我们想要的数据!


二、php代码实现上述操作

class.php

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
<?php
#从ES中导出数据
#两个参数:
#url为从ES导出数据的访问路径,不同的数据路径不一样
#post_data为json格式,是request body。
  function  export( $url , $post_data ){
         $ch  = curl_init ();
         curl_setopt (  $ch , CURLOPT_URL,  $url  );
         curl_setopt (  $ch , CURLOPT_CUSTOMREQUEST, "POST" );
         curl_setopt (  $ch , CURLOPT_HEADER, 0 );
         curl_setopt (  $ch , CURLOPT_RETURNTRANSFER, 1 );
         curl_setopt (  $ch , CURLOPT_POSTFIELDS,  $post_data );
         $arr =curl_exec( $ch );
         curl_close( $ch );
         return  json_decode( $arr , 'assoc' );;
}
#把数组数据导入ES
#两个参数:
# $url 为导入数据的具体位置 如:http: //IP:9200/索引/类型/ID(ID最好根据时间确定,需要唯一ID) 
#post_data 导入ES的数据数组
function  import( $url , $post_data )
  {
   $json =json_encode( $post_data );
     $ci  = curl_init();
     curl_setopt( $ci , CURLOPT_PORT, 9200);
     curl_setopt( $ci , CURLOPT_TIMEOUT, 2000);
     curl_setopt( $ci , CURLOPT_RETURNTRANSFER, 1);
     curl_setopt( $ci , CURLOPT_FORBID_REUSE, 0);
     curl_setopt( $ci , CURLOPT_CUSTOMREQUEST,  'PUT' );
     curl_setopt( $ci , CURLOPT_URL,  $url );
     curl_setopt( $ci , CURLOPT_POSTFIELDS,  $json );
     $response  = curl_exec( $ci );
     unset( $post_data ); //销毁数组    
     unset( $json ); //销毁数据    
     curl_close( $ci );
  }
  ?>

vim access_info.php (index_name和type_name自己根据实际情况命名)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<?php
include ( "class.php" );
#导出数据的ES路径
$url = "http://192.168.10.49:9200/_search" ;
#查询数据的开始时间
$begin = date ( "Y-m-d" , strtotime ( "-16 day" ));
#开始时间的格式转换
$start_time = strtotime ( $begin . " 00:00:00" );
#查询数据的结束时间及当时时间,并转换时间格式
$end_time = strtotime ( date ( "Y-m-d H:i:s" ,time()));
#替换查询json中开始及结束时间的,文件是./lib/下的同名txt文件
$post_data = str_replace ( 'end_time' , $end_time , str_replace ( 'start_time' , $start_time , file_get_contents ( 'lib/' . str_replace ( '.php' , '.txt' , basename ( $_SERVER [ 'PHP_SELF' ])). '' )));
#查询ES中的数据,返回数组数据
$arr =export( $url , $post_data );
#从数组中获取你想要的数据,然后在组合成一个新的数组
$array = $arr [ 'aggregations' ][ '2' ][ 'buckets' ];
foreach ( $array  as  $key  =>  $value ){
     $data [ '@timestamp' ]= $value [ 'key_as_string' ];
     $data [ 'request_PV' ]= $value [ 'doc_count' ];
     $data [ 'request_IP' ]= $value [ '3' ][ 'value' ];
     #Time为导入ES中的ID,具有唯一性。(不同tpye的可以相同)
     $Time = strtotime ( $data [ '@timestamp' ]);
     $urls = "http://192.168.2.243:9200/index_name/tpye_name/$Time"
       #调用函数import导入数据 
     import( $urls , $data );
}
?>


下面这个文件是存放./lib文件下的,和执行的php文件必须同名。

vim lib/access_info.txt

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
{
   "size" 0 ,
   "aggs" : {
     "2" : {
       "date_histogram" : {
         "field" "@timestamp" ,
         "interval" "1h" ,  
         "time_zone" "Asia/Shanghai" 
         #保留时区获取的信息会准确但是在kibana或ganafa显示的时候会加8个小时
         "min_doc_count" 1 ,
         "extended_bounds" : {
           "min" : start_time,  #start_time会被换成具体的时间
           "max" : end_time
         }
       },
       "aggs" : {
         "3" : {
           "cardinality" : {
             "field" "geoip.ip"
           }
         }
       }
     }
   },
     
   "highlight" : {
     "pre_tags" : [
       "@kibana-highlighted-field@"
     ],
     "post_tags" : [
       "@/kibana-highlighted-field@"
     ],
     "fields" : {
       "*" : {}
     },
     "require_field_match" false ,
     "fragment_size" 2147483647
   },
     "query" : {
     "filtered" : {
       "query" : {
         "query_string" : {
           "query" "*" ,
           "analyze_wildcard" true
         }
       },
       "filter" : {
         "bool" : {
           "must" : [
             {
               "range" : {
                 "@timestamp" : {
                   "gte" : start_time,
                   "lte" : end_time,
                   "format" "epoch_second"   #由毫秒换成秒
                 }
               }
             }
           ],
           "must_not" : []
         }
       }
     }
   }
}

根据上面的代码,我们可以定期获取ES中的重要数据。这样获取的数据只是结果数据,不是很精确,但能反应网站的趋势,而且查询非常快速!如果想要长时间保存重要的数据,可以使用这个方法。而且数据也可以存入数据库。

以上是个人对能长期保存ES结果数据的做法,如果有更好的方法,希望能一起讨论!

wKiom1hQ9qyiLj4nAAFz_9LKxzw112.png



本文转自 irow10 51CTO博客,原文链接:http://blog.51cto.com/irow10/1853507,如需转载请自行联系原作者

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。 &nbsp;
相关文章
|
5月前
|
存储 监控 数据可视化
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
基于 SelectDB 的高性能倒排索引、高吞吐量写入和高压缩存储,用户可以构建出性能高于Elasticsearch 10 倍的可观测性平台,并支持国内外多个云上便捷使用 SelectDB Cloud 的开箱即用服务。
272 8
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
|
7月前
|
存储 SQL Apache
为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案?
本文将从技术选型的视角,从开放性、系统架构、实时写入、实时存储、实时查询等多方面,深入分析 Apache Doris 与 Elasticsearch 的能力差异及性能表现
588 17
为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案?
|
10月前
|
弹性计算 运维 Serverless
超值选择:阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性
本文介绍了阿里云Elasticsearch Serverless服务的高性价比与高度弹性灵活性。
418 8
|
12月前
|
Web App开发 JavaScript Java
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
这篇文章是关于如何使用Spring Boot整合Elasticsearch,并通过REST客户端操作Elasticsearch,实现一个简单的搜索前后端,以及如何爬取京东数据到Elasticsearch的案例教程。
733 0
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
|
存储 缓存 监控
|
消息中间件 监控 关系型数据库
MySQL数据实时同步到Elasticsearch:技术深度解析与实践分享
在当今的数据驱动时代,实时数据同步成为许多应用系统的核心需求之一。MySQL作为关系型数据库的代表,以其强大的事务处理能力和数据完整性保障,广泛应用于各种业务场景中。然而,随着数据量的增长和查询复杂度的提升,单一依赖MySQL进行高效的数据检索和分析变得日益困难。这时,Elasticsearch(简称ES)以其卓越的搜索性能、灵活的数据模式以及强大的可扩展性,成为处理复杂查询需求的理想选择。本文将深入探讨MySQL数据实时同步到Elasticsearch的技术实现与最佳实践。
573 0
|
自然语言处理 索引
ElasticSearch 实现分词全文检索 - 测试数据准备
ElasticSearch 实现分词全文检索 - 测试数据准备
128 1
|
数据采集 人工智能 自然语言处理
阿里云Elasticsearch AI语义搜索:解锁未来搜索新纪元,精准洞察数据背后的故事!
【8月更文挑战第2天】阿里云Elasticsearch AI场景语义搜索最佳实践
506 5
|
5月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack(原 ELK Stack)中的核心数据可视化工具,主要与 Elasticsearch 配合使用,提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件,解压到对应目录。文件,elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件,解压到对应目录。elasticsearch的默认端口是9200,访问。默认用户是elastic,密码需要重置。
2272 0
|
6月前
|
安全 Java Linux
Linux安装Elasticsearch详细教程
Linux安装Elasticsearch详细教程
928 1