带你读《Elastic Stack 实战手册》之61:——3.5.17.Elasticsearch SQL (4)

简介: 带你读《Elastic Stack 实战手册》之61:——3.5.17.Elasticsearch SQL (4)


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.17.Elasticsearch SQL (3) https://developer.aliyun.com/article/1227075



4. SQL 与 DSL

 

4.1 SQL 转换 为DSL

 

Elasticsearch SQL 提供了 translate 接口,可以将 SQL 语法转换为对应的 DSL 语法。

 

通过查看 DSL 语法,可以更好的学习 Elasticsearch DSL;也可以通过转化结果,反过来判断SQL 查询的正确性或者优化 SQL 查询。

POST _sql/translate
{
  "query":"""
    SELECT clientip, url, response 
    FROM test_logs 
    WHERE MATCH(url, 'metricbeat') 
    ORDER BY timestamp 
    DESC LIMIT 10
  """
}
{
  "size" : 10,
  "query" : {
    "match" : {
      "url" : {
        "query" : "metricbeat",
        "operator" : "OR",
        "prefix_length" : 0,
        "max_expansions" : 50,
        "fuzzy_transpositions" : true,
        "lenient" : false,
        "zero_terms_query" : "NONE",
         "auto_generate_synonyms_phrase_query" : true,
        "boost" : 1.0
      }
    }
  },
  "_source" : false,
  "fields" : [
    {
      "field" : "clientip"
    },
    {
     "field" : "url"
    },
    {
      "field" : "response"
    }
  ],
  "sort" : [
    {
      "timestamp" : {
        "order" : "desc",
        "missing" : "_first",
        "unmapped_type" : "date"
      }
    }
  ]
}

4.2 SQL 混合 DSL 语句

 

如果遇到过滤条件逻辑关系非常复杂,我们可以在 SQL 中 添加 Elasticsearch DSL 过滤条件。

 

POST /_sql?format=txt
{
  "query": """
    SELECT clientip, host, response 
    FROM test_logs 
    WHERE MATCH(url, 'metricbeat') 
    ORDER BY timestamp 
    DESC LIMIT 3
  """,
  "filter": {
    "range": {
      "response": {
        "gte": 200,
        "lt": 300
      }
    }
  }
}
   clientip    |        host        |   response    
---------------+--------------------+---------------
74.184.0.64    |artifacts.elastic.co|200            
232.20.97.5    |artifacts.elastic.co|200            
148.192.209.125|www.elastic.co      |200       


注意此时 filter 中的过滤条件,与 query 中的 WHERE 是逻辑 AND 关系。

 

POST /_sql/translate
{
  "query": """
    SELECT clientip, host, response 
    FROM test_logs 
WHERE MATCH(url, 'metricbeat') 
 ORDER BY timestamp DESC LIMIT 10
  """,
  "filter": {
    "range": {
      "response": {
        "gte": 200,
        "lt": 300
      }
    }
  }
}
{
  "size" : 10,
  "query" : {
    "bool" : {
      "must" : [
        {
          "match" : {
            "url" : {
              "query" : "metricbeat",
              "operator" : "OR",
              "prefix_length" : 0,
              "max_expansions" : 50,
              "fuzzy_transpositions" : true,
              "lenient" : false,
              "zero_terms_query" : "NONE",
              "auto_generate_synonyms_phrase_query" : true,
              "boost" : 1.0
            }
          }
        }
          ],
      "filter" : [
        {
          "range" : {
            "response" : {
              "from" : 200,
              "to" : 300,
              "include_lower" : true,
              "include_upper" : false,
              "boost" : 1.0
            }
          }
        }
      ],
      "adjust_pure_negative" : true,
      "boost" : 1.0
    }
  },
  "_source" : false,
  "fields" : [
    {
      "field" : "clientip"
    },
    {
      "field" : "host"
    },
    {
      "field" : "response"
    }
  ],
  "sort" : [
    {
      "timestamp" : {
        "order" : "desc",
        "missing" : "_first",
        "unmapped_type" : "date"
      }
    }
  ]
}

4.3 SQL 与 DSL 的区别

 

最直观的感觉,Elasticsearch SQL 查询语法更加简洁,适用于一般场景,而 ElasticsearchElasticsearch DSL 相比较 Elasticsearch SQL ,有下面的优点:

 

1)Elasticsearch DSL 查询功能更加强大:

1、通过上面的 translate 接口,我们知道,Elasticsearch SQL 会被解析为 Elasticsearch

DSL 然后再去执行。所以理论上,Elasticsearch DSL 可以实现所有的 Elasticsearch SQL 查询语句;

2、Elasticsearch DSL 对复杂字段类型的支持更加完善,例如:array,object,nested,join 类型的各种查询;

3、Elasticsearch DSL 中通过添加 script ,实现各种灵活的计算功能。

 

2)Elasticsearch DSL 查询接口,可以携带更多的参数,实现更多的查询优化,例如:

DSL 更加强大,可以实现更加复杂的查询条件。


# 参数 track_total_hits 可以返回查询的 hit 文档数量
# 参数 timeout 可以自定义查询的超时时间
GET test_logs/_search
{
  "timeout": "60s",
  "track_total_hits": true,
  "query": {
   "match_all": {}
  }
}

3)Elasticsearch DSL 可以满足更多的查询需求,例如:高亮查询结果、自定义相关性评分等等;

4)Elasticsearch DSL 查询结果携带更多的信息,例如:查询耗时、分片信息、每个文档的

_id 等等。

 

Elasticsearch SQL 相比较 Elasticsearch DSL ,有下面的优点:

 

1)查询语句更加简洁,返回结果更加结构化,更容易处理;

2)更容易上手,满足数据分析人员的大部分日常查询;

3)通过进一步抽象,可以更好的兼容其他引擎。例如:很多公司会实现统一的 SQL 查询语言,通过判断查询的数据,连接到不同的数据库引擎( MySQL/ Elasticsearch/ Apache Druid/

Apache Druid 等),显然,自己实现的语言更容易解析为 Elasticsearch SQL。


《Elastic Stack 实战手册》——三、产品能力——3.5 进阶篇——3.5.17.Elasticsearch SQL (5) https://developer.aliyun.com/article/1227073

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何在SQL语句里使用CASE WHEN语句
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
762 2
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之相同的SQL语句在不同时间执行EXPLAIN计划显示出不同的索引类型,是什么原因
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
PolarDB产品使用问题之相同的SQL语句在不同时间执行EXPLAIN计划显示出不同的索引类型,是什么原因
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之遇到慢SQL问题,该如何解决
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之未保存的ODPS SQL语句该如何找回
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
411 2
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之sql运行报错是神么原因
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
SQL 关系型数据库 Serverless
PolarDB产品使用问题之如何控制队列中排队的SQL的等待时间
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之将RDS切换到PolarDB-X 2.0时,代码层的SQL该如何改动
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
SQL 关系型数据库 分布式数据库
PolarDB产品使用问题之出现部分SQL抛出7543错误,该如何解决
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
SQL 缓存 关系型数据库
PolarDB产品使用问题之SQL语句是否可以参数化
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。

热门文章

最新文章

相关产品

  • 检索分析服务 Elasticsearch版