Superset对接ElasticSearch服务展示

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Superset对接ElasticSearch服务展示

官方文档

https://superset.apache.org/docs/databases/elasticsearch/

ElasticSearch(SQL API)

点击添加DATABASE

image-20231208132444605

选择ElasticSearch(SQL API)

image-20231208132508786

输入连接信息,并点击测试连接,右下角提示Connection looks good!则说明ElasticSearch连接成功

填写内容:elasticsearch+http://elastic:XXXXXXXXXX@10.0.0.107:9200/

image-20231208132902725

设置时区

注意,如果设置时区统计结果不对,把设置时区这个动作取消!数据查询就恢复正常了

image-20231208141513820

添加成功后再列表中可以看到ElasticSearch

image-20231208133117846

创建ElasticSearch测试索引

PUT superset_test
{
  "settings":{
    "number_of_shards":6,
    "number_of_replicas":0
  },
  "mappings":{
      "properties":{
        "name":{
          "type":"keyword"
        },
        "uid":{
          "type":"keyword"
        },
        "age":{
          "type":"integer"
        }
      }
  }
}

添加三条测试数据

POST /superset_test/_doc
{
   
   
  "name": "John",
  "age": 30,
  "uid":"123123123"
}

POST /superset_test/_doc
{
   
   
  "name": "Jast",
  "age": 30,
  "uid":"123456"
}


POST /superset_test/_doc
{
   
   
  "name": "Jack",
  "age": 14,
  "uid":"8"
}

创建DataSet

image-20231208133949237

选择需要查询的索引,并创建DataSet

image-20231208134038103

选择表格展示

image-20231208134122839

选择字段,就可以基础查询了

image-20231208134343091

到此检查查询可以直接展示了

统计数字显示为k转为数字

默认统计可能会显示数据是多少k

image-20231208144058003

解决方法:

将Y轴设置为Original value

image-20231208144153205

表格展示:根据指定字段GroupBy后并按照日期统计每天总量

最终显示数据效果

统计各数据来源每天的数据新增量

image-20231211094238058

字段说明

release_time : 数据时间

souce_type : 数据类型

配置方法

创建时选择图表Pivot Table

image-20231211094659519

设置Time

选择需要统计的时间字段,设置为按天统计

image-20231211094815885

设置Query

设置统计列COLUMNS

因为我们source_type字段是字典值,所以在CUSTOM SQL中做了转换,输入内容如下

 CASE CAST(source_type as string )
        WHEN '1' THEN '数据来源1' 
    WHEN '2' THEN '数据来源2' 
    WHEN '3' THEN '数据来源3' 
    WHEN '4' THEN '数据来源4' 
    WHEN '5' THEN '数据来源5' 
    WHEN '6' THEN '数据来源6' 
    WHEN '7' THEN '数据来源7' 
    WHEN '8' THEN '数据来源8' 
    WHEN '9' THEN '数据来源8' 
    WHEN '10' THEN '数据来源9' 
    WHEN '11' THEN '数据来源10' 
    WHEN '12' THEN '数据来源11' 
    WHEN '13' THEN '数据来源12' 
       ELSE CAST(source_type as string ) END

image-20231211095119329

设置行按天显示ROWS

选择我们统计的字段,按照这个时间字段统计,按行显示

image-20231211095311682

设置统计值METRICS

这里统计数量,使用COUNT即可

image-20231211095444247

设置显示格式

APPLY METRICS ON是设置显示形式,这里选择COLUMNS

image-20231211095530593

设置过滤条件

这里设置release_time为近30天的数据,now-30d/d表示近30天数据,这个是ElasticSearch语法。

这里做下简单介绍

  1. 相对时间查询:

now:表示当前时间点。
now-1h:表示从当前时间向前推算的1小时。
now-2d:表示从当前时间向前推算的2天。
now-1w:表示从当前时间向前推算的1周。
now-1M:表示从当前时间向前推算的1个月。
now-1y:表示从当前时间向前推算的1年。

  1. 绝对时间查询:

2021-09-01:表示指定的日期,不包括具体的时间。
2021-09-01T10:00:00:表示指定的日期和时间。

  1. 查询方法

{"range": {"timestamp": {"gte": "now-1d", "lt": "now"}}}:表示查询从过去一天内的数据,包括当前时间之前的数据。
{"range": {"timestamp": {"gte": "2021-09-01", "lt": "2021-09-02"}}}:表示查询指定日期范围内的数据,不包括结束日期的数据。

{"range": {"timestamp": {"time_zone": "+08:00", "gte": "now-1h", "lte": "now"}}}:表示在指定的时间区间内进行查询,并指定时区。

{"bool": {"filter": {"range": {"timestamp": {"gte": "now-1h/h", "lte": "now/h"}}}}}:表示查询过去一小时内每个完整小时的数据。

image-20231211095632125

设置显示行数

这个数值计算方式是作用在每一个METRICS的指标下,CELL LIMIT如果想要显示完整,CELL LIMIT=source_type所有枚举*天数,

这里为了方便我直接设置成1000

image-20231211101147781

设置显示为正常数字

CUSTOMIZEVALUE FORMAT设置为Original valule

image-20231211104807443

保存,最终展示结果如下

image-20231211101833146

折线图展示:根据指定字段GroupBy后并按照日期统计每天总量

最终展示数据效果

image-20231211105135026

配置方法

设置为Time-series Area Chart

image-20231211110053619

设置TIME

选择需要统计的时间字段,设置为按天统计

image-20231211110212246

设置统计值METRICS

这里统计数量,使用COUNT即可

image-20231211111605724

设置DIMENSIONS

这个字段就是需要GroupBy的字段,通过CASE WHEN,将字典值转换为中文说明

 CASE CAST(source_type as string )
        WHEN '1' THEN '数据来源1' 
    WHEN '2' THEN '数据来源2' 
    WHEN '3' THEN '数据来源3' 
    WHEN '4' THEN '数据来源4' 
    WHEN '5' THEN '数据来源5' 
    WHEN '6' THEN '数据来源6' 
    WHEN '7' THEN '数据来源7' 
    WHEN '8' THEN '数据来源8' 
    WHEN '9' THEN '数据来源8' 
    WHEN '10' THEN '数据来源9' 
    WHEN '11' THEN '数据来源10' 
    WHEN '12' THEN '数据来源11' 
    WHEN '13' THEN '数据来源12' 
       ELSE CAST(source_type as string ) END

image-20231211111706802

设置过滤条件

这里设置release_time为近30天的数据,now-30d/d表示近30天数据,这个是ElasticSearch语法。

image-20231211113022820

设置显示为正常数字

CUSTOMIZEVALUE FORMAT设置为Original valule

image-20231211113055477

设置查询数据量ROW LIMIT

设置一共查询出来的数据量

image-20231211114002692

保存,最终展示结果如下

image-20231211105135026

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
JSON Linux 数据格式
百度搜索:蓝易云【Centos 7 通过 targz 文件安装 Elastic Search 服务教程!】
请注意,本教程提供了基本的安装步骤,并且可以根据实际需求进行定制和配置。如果需要更深入的了解和配置,请参考Elasticsearch官方文档或其他权威资源。
320 0
|
6月前
|
Java 关系型数据库 MySQL
Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
【4月更文挑战第12天】Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
657 3
|
1月前
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
61 5
|
3月前
|
存储 API 数据库
检索服务elasticsearch索引(Index)
【8月更文挑战第23天】
66 6
|
3月前
|
存储 负载均衡 监控
检索服务elasticsearch节点(Node)
【8月更文挑战第23天】
58 5
|
3月前
|
存储 监控 负载均衡
检索服务elasticsearch集群(Cluster)
【8月更文挑战第23天】
63 3
|
1月前
|
JSON Java 网络架构
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务
这篇文章介绍了如何使用Spring Boot整合REST方式来搭建和操作Elasticsearch服务。
122 4
elasticsearch学习四:使用springboot整合 rest 进行搭建elasticsearch服务
|
1月前
|
自然语言处理 Java Maven
elasticsearch学习二:使用springboot整合TransportClient 进行搭建elasticsearch服务
这篇博客介绍了如何使用Spring Boot整合TransportClient搭建Elasticsearch服务,包括项目创建、Maven依赖、业务代码和测试示例。
95 0
elasticsearch学习二:使用springboot整合TransportClient 进行搭建elasticsearch服务
|
3月前
|
SQL 存储 自然语言处理
检索服务elasticsearch全文搜索
【8月更文挑战第22天】
55 3
|
3月前
|
SQL 存储 监控
检索服务elasticsearch
【8月更文挑战第21天】
37 0

相关产品

  • 检索分析服务 Elasticsearch版