Superset对接ElasticSearch服务展示

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: Superset对接ElasticSearch服务展示

官方文档

https://superset.apache.org/docs/databases/elasticsearch/

ElasticSearch(SQL API)

点击添加DATABASE

image-20231208132444605

选择ElasticSearch(SQL API)

image-20231208132508786

输入连接信息,并点击测试连接,右下角提示Connection looks good!则说明ElasticSearch连接成功

填写内容:elasticsearch+http://elastic:XXXXXXXXXX@10.0.0.107:9200/

image-20231208132902725

设置时区

注意,如果设置时区统计结果不对,把设置时区这个动作取消!数据查询就恢复正常了

image-20231208141513820

添加成功后再列表中可以看到ElasticSearch

image-20231208133117846

创建ElasticSearch测试索引

PUT superset_test
{
  "settings":{
    "number_of_shards":6,
    "number_of_replicas":0
  },
  "mappings":{
      "properties":{
        "name":{
          "type":"keyword"
        },
        "uid":{
          "type":"keyword"
        },
        "age":{
          "type":"integer"
        }
      }
  }
}

添加三条测试数据

POST /superset_test/_doc
{
   
   
  "name": "John",
  "age": 30,
  "uid":"123123123"
}

POST /superset_test/_doc
{
   
   
  "name": "Jast",
  "age": 30,
  "uid":"123456"
}


POST /superset_test/_doc
{
   
   
  "name": "Jack",
  "age": 14,
  "uid":"8"
}

创建DataSet

image-20231208133949237

选择需要查询的索引,并创建DataSet

image-20231208134038103

选择表格展示

image-20231208134122839

选择字段,就可以基础查询了

image-20231208134343091

到此检查查询可以直接展示了

统计数字显示为k转为数字

默认统计可能会显示数据是多少k

image-20231208144058003

解决方法:

将Y轴设置为Original value

image-20231208144153205

表格展示:根据指定字段GroupBy后并按照日期统计每天总量

最终显示数据效果

统计各数据来源每天的数据新增量

image-20231211094238058

字段说明

release_time : 数据时间

souce_type : 数据类型

配置方法

创建时选择图表Pivot Table

image-20231211094659519

设置Time

选择需要统计的时间字段,设置为按天统计

image-20231211094815885

设置Query

设置统计列COLUMNS

因为我们source_type字段是字典值,所以在CUSTOM SQL中做了转换,输入内容如下

 CASE CAST(source_type as string )
        WHEN '1' THEN '数据来源1' 
    WHEN '2' THEN '数据来源2' 
    WHEN '3' THEN '数据来源3' 
    WHEN '4' THEN '数据来源4' 
    WHEN '5' THEN '数据来源5' 
    WHEN '6' THEN '数据来源6' 
    WHEN '7' THEN '数据来源7' 
    WHEN '8' THEN '数据来源8' 
    WHEN '9' THEN '数据来源8' 
    WHEN '10' THEN '数据来源9' 
    WHEN '11' THEN '数据来源10' 
    WHEN '12' THEN '数据来源11' 
    WHEN '13' THEN '数据来源12' 
       ELSE CAST(source_type as string ) END

image-20231211095119329

设置行按天显示ROWS

选择我们统计的字段,按照这个时间字段统计,按行显示

image-20231211095311682

设置统计值METRICS

这里统计数量,使用COUNT即可

image-20231211095444247

设置显示格式

APPLY METRICS ON是设置显示形式,这里选择COLUMNS

image-20231211095530593

设置过滤条件

这里设置release_time为近30天的数据,now-30d/d表示近30天数据,这个是ElasticSearch语法。

这里做下简单介绍

  1. 相对时间查询:

now:表示当前时间点。
now-1h:表示从当前时间向前推算的1小时。
now-2d:表示从当前时间向前推算的2天。
now-1w:表示从当前时间向前推算的1周。
now-1M:表示从当前时间向前推算的1个月。
now-1y:表示从当前时间向前推算的1年。

  1. 绝对时间查询:

2021-09-01:表示指定的日期,不包括具体的时间。
2021-09-01T10:00:00:表示指定的日期和时间。

  1. 查询方法

{"range": {"timestamp": {"gte": "now-1d", "lt": "now"}}}:表示查询从过去一天内的数据,包括当前时间之前的数据。
{"range": {"timestamp": {"gte": "2021-09-01", "lt": "2021-09-02"}}}:表示查询指定日期范围内的数据,不包括结束日期的数据。

{"range": {"timestamp": {"time_zone": "+08:00", "gte": "now-1h", "lte": "now"}}}:表示在指定的时间区间内进行查询,并指定时区。

{"bool": {"filter": {"range": {"timestamp": {"gte": "now-1h/h", "lte": "now/h"}}}}}:表示查询过去一小时内每个完整小时的数据。

image-20231211095632125

设置显示行数

这个数值计算方式是作用在每一个METRICS的指标下,CELL LIMIT如果想要显示完整,CELL LIMIT=source_type所有枚举*天数,

这里为了方便我直接设置成1000

image-20231211101147781

设置显示为正常数字

CUSTOMIZEVALUE FORMAT设置为Original valule

image-20231211104807443

保存,最终展示结果如下

image-20231211101833146

折线图展示:根据指定字段GroupBy后并按照日期统计每天总量

最终展示数据效果

image-20231211105135026

配置方法

设置为Time-series Area Chart

image-20231211110053619

设置TIME

选择需要统计的时间字段,设置为按天统计

image-20231211110212246

设置统计值METRICS

这里统计数量,使用COUNT即可

image-20231211111605724

设置DIMENSIONS

这个字段就是需要GroupBy的字段,通过CASE WHEN,将字典值转换为中文说明

 CASE CAST(source_type as string )
        WHEN '1' THEN '数据来源1' 
    WHEN '2' THEN '数据来源2' 
    WHEN '3' THEN '数据来源3' 
    WHEN '4' THEN '数据来源4' 
    WHEN '5' THEN '数据来源5' 
    WHEN '6' THEN '数据来源6' 
    WHEN '7' THEN '数据来源7' 
    WHEN '8' THEN '数据来源8' 
    WHEN '9' THEN '数据来源8' 
    WHEN '10' THEN '数据来源9' 
    WHEN '11' THEN '数据来源10' 
    WHEN '12' THEN '数据来源11' 
    WHEN '13' THEN '数据来源12' 
       ELSE CAST(source_type as string ) END

image-20231211111706802

设置过滤条件

这里设置release_time为近30天的数据,now-30d/d表示近30天数据,这个是ElasticSearch语法。

image-20231211113022820

设置显示为正常数字

CUSTOMIZEVALUE FORMAT设置为Original valule

image-20231211113055477

设置查询数据量ROW LIMIT

设置一共查询出来的数据量

image-20231211114002692

保存,最终展示结果如下

image-20231211105135026

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
7月前
|
JSON Linux 数据格式
百度搜索:蓝易云【Centos 7 通过 targz 文件安装 Elastic Search 服务教程!】
请注意,本教程提供了基本的安装步骤,并且可以根据实际需求进行定制和配置。如果需要更深入的了解和配置,请参考Elasticsearch官方文档或其他权威资源。
283 0
|
10天前
|
Java 关系型数据库 MySQL
Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
【4月更文挑战第12天】Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
46 3
|
5月前
|
关系型数据库 MySQL Java
Elasticsearch【问题记录 01】启动&停止服务的2类方法及 java.nio.file.AccessDeniedException: xx/pid 问题解决(含启停shell脚本)
Elasticsearch【问题记录 01】启动&停止服务的2类方法及 java.nio.file.AccessDeniedException: xx/pid 问题解决(含启停shell脚本)
73 0
|
6月前
|
Serverless 开发者
《开发者评测》之Elasticsearch Serverless服务获奖名单
Elasticsearch Serverless服务评测最优奖、潜力奖、争优奖获奖名单正式公布!
574 0
《开发者评测》之Elasticsearch Serverless服务获奖名单
|
7月前
|
自然语言处理 搜索推荐 Java
服务搭建篇(七) Elasticsearch单节点部署以及多节点集群部署
Elasticsearch(简称ES) 是一个分布式 , RESTful风格的搜索和数据分析引擎 , 使用java开发并且是当前最流行的开源的企业级搜索引擎,能够达到近实时搜索,稳定,可靠,快速,安装使用方便。
542 0
|
8月前
|
机器学习/深度学习 运维 数据可视化
|
8月前
|
监控 数据可视化 数据挖掘
Elasticsearch Serverless服务测评
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。Serverless版本是基于云原生Serverless技术,为用户打造的更低成本、弹性灵活、开放兼容、开箱即用的云上Elasticsearch服务。
|
8月前
|
存储 运维 监控
深度解读阿里云 Elasticsearch Serverless 服务如何实现超高性价比
阿里云 Elasticsearch Serverless 商业化版本正式上线,在帮助用户快速构建数据检索与分析应用的同时,提供按实际资源用量付费的付费体验,与自建相比大幅降低成本,助力用户快速上云!
2402 0
深度解读阿里云 Elasticsearch Serverless 服务如何实现超高性价比
|
12月前
《阿里云产品手册2022-2023 版》——检索分析服务 Elasticsearch 版
《阿里云产品手册2022-2023 版》——检索分析服务 Elasticsearch 版
157 0
|
12月前
|
弹性计算 运维 自然语言处理
带你读《Elastic Stack 实战手册》之14:——3.4.1.7.阿里云Elasticsearch服务(1)
带你读《Elastic Stack 实战手册》之14:——3.4.1.7.阿里云Elasticsearch服务(1)
150 0

相关产品

  • 检索分析服务 Elasticsearch版