Elasticsearch全文搜索技术之二kibana的简介和使用

简介: Elasticsearch全文搜索技术之二kibana的简介和使用

1,课程回顾
2,本章重点
3,具体内容

3.1 kibana的简介和使用

简介:

Kibana 是通向 Elastic 产品集的窗口。 它可以在 Elasticsearch 中对数据进行视觉探索和实时分析。 Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索,查看,用来交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。

解压配置:

下载上传文件到虚拟机

解压:

tar -xzvf kibana-6.4.0-linux-x86_64.tar.gz -C /usr/

改名:

mv /usr/kibana-6.4.0-linux-x86_64/ /usr/kibana

配置环境变量:

vim /etc/profile

source /etc/profile

修改配置:

cd /usr/kibana

vim config/kibana.yml

:2 端口号 :7 主机IP :28 es url地址

启动访问(不兼容360浏览器):  
             kibana  (配置过环境变量,非守护运行)   ctrl+c 直接关闭
             kibana  &  (守护方式运行)  关闭麻烦点
             ps -ef |grep kibana    查找进程  
             kill -9   xxxx  杀死进程

启动完毕,显示:

server running at http://192.168.23.211:5601

3.2 创建,修改和删除索引及数据的增删改查:

数据类型

核心类型(Core datatype)

字符串:string,string类型包含 text 和 keyword。

text:该类型被用来索引长文本,在创建索引前会将这些文本进行分词,转化为词的组合,建立 索引;允许es来检索这些词,text类型不能用来排序和聚合。例如电子邮件主体部分或者一款产品的介绍

keyword:该类型不需要进行分词,可以被用来检索过滤、排序和聚合, 可以满足电子邮箱地址、主机名、状态码、邮政编码和标签等数据的要求。

数值型:long、integer、short、byte、double、float

日期型:date

布尔型:boolean

二进制型:binary

https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

索引的管理:

创建索引的语法

PUT /my_index
{
  “settings”: { … any settings … },
  “mappings”: {
    “type_one”: { … any mappings … },
    “type_two”: { … any mappings … },//6.0之前的版本可以
    …
  }
}

mappings: 映射(Mapping) 相当于数据表的表结构

number_of_shards:每个索引的主分片数,这个配置在索引创建后不能修改。默认值为5
number_of_replicas:每个主分片的副本数,默认值是 1 。对于活动的索引库,这个配置可以随时修改。
创建索引的示例
PUT /index_hr
{    
    "settings":{
     "number_of_shards":3,
     "number_of_replicas":1
    },
    "mappings":{
     "emp_type":{
     "properties":{
     "empno":{
     "type":"integer"
     },
     "ename":{
     "type":"keyword"
     },
     "job":{
     "type":"keyword"
     },
     "salary":{
     "type":"double"
     },
     "deptno":{
     "type":"integer"
     },
     "hiredate":{
     "type":"date"
     }
     }
     }
    }
}
成功返回:
{"acknowledged":true,"shards_acknowledged":true,"index":"my_index"}
 GET _all/   查看所有索引
 GET _all/_settings   查看索引配置
创建索引时如果503(master_not_discovered_exception)
删除集群各节点下的data下的数据
rm -rf  /usr/elasticsearch/data/*
重启集群
2、修改索引
PUT /my_index/_settings
{
  "number_of_replicas": 1
}
{"acknowledged":true}
3、删除索引
DELETE /my_index    //删除单个索引
DELETE /index_one,index_two  //删除多个索引
DELETE /index_*   //删除以index_开头的索引
DELETE /_all    //删除所有索引
    {"acknowledged":true}
可以设置下面的属性,使DELETE /_all 失效,必须指定索引名称,才可以删除。
elasticsearch.yml
action.destructive_requires_name: true

数据管理:

1,插入数据

指定ID插入:

post 192.168.23.30:9200/my_index/my_doc/1
{
“my_field”:“aaa”
}
返回:
{"_index":"my_index","_type":"my_type","_id":"1","_version":1,"result":"created","_shards":{"total":1,"successful":1,"failed":0},"_seq_no":0,"_primary_term":1}
     不指定ID插入:
返回:
{"_index":"my_index","_type":"my_type","_id":"s40HiGwBg5JLnGO8RVwg","_version":1,"result":"created","_shards":{"total":1,"successful":1,"failed":0},"_seq_no":1,"_primary_term":1}
2,查询数据:
   查询所有
     /index_hr/_search   注意传递的参数{}  
带参数查询:
  get  192.168.23.30:9200/index_hr/_search?q=ename:lisi
  指定id查询:
     get  192.168.23.30:9200/index_hr/emp_type/2

3,更新数据

根据ID更新

post 192.168.182.66:9200/index_hr/emp_type/1

自动生成ID更新
post   192.168.23.30:9200/my_index/my_type/s40HiGwBg5JLnGO8RVwg

4 ,删除数据

根据id删除

delete 192.168.182.66:9200/index_hr/emp_type/1

再次查询

{“_index”:“my_index”,“_type”:“my_type”,“_id”:“s40HiGwBg5JLnGO8RVwg”,“found”:false}

3.7 springboot整合es

pom.xml(springboot版本不使用最新的 建议:2.1.6.RELEASE)



org.springframework.boot

spring-boot-starter-data-elasticsearch

application.properties 配置:

spring.data.elasticsearch.cluster-name=my-application

#9200 http请求端口

#9300 java 链接es的端口

spring.data.elasticsearch.cluster-nodes=192.168.23.81:9300

entity:
package com.aaa.sbm.entity;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import java.util.Date;
/**
• fileName:Order
• description:
• author:zz
• createTime:2019/8/16 9:39
• version:1.0.0
*/
@Document(indexName =“index_order”,type = “order_type”,shards = 3,replicas = 1)
public class Order {
@Id
private long id;
private String orderNo;
private String orderName;
private String orderTime;
private Integer customId;
public long getId() {
return id;
}
public void setId(long id) {
this.id = id;
}
public String getOrderNo() {
return orderNo;
}
public void setOrderNo(String orderNo) {
this.orderNo = orderNo;
}
public String getOrderName() {
return orderName;
}
public void setOrderName(String orderName) {
this.orderName = orderName;
}
public String getOrderTime() {
return orderTime;
}
public void setOrderTime(String orderTime) {
this.orderTime = orderTime;
}
public Integer getCustomId() {
return customId;
}
public void setCustomId(Integer customId) {
this.customId = customId;
}
@Override
public String toString() {
return “Order{” +
“id=” + id +
“, orderNo='” + orderNo + ‘’’ +
“, orderName='” + orderName + ‘’’ +
“, orderTime=” + orderTime +
“, customId=” + customId +
‘}’;
}
}
dao:
package com.aaa.sbm.esdao;
import com.aaa.sbm.entity.Order;
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;
/**
• fileName:OrderEsDao
• description:
• author:zz
• createTime:2019/8/16 9:53
• version:1.0.0
*/
public interface OrderEsDao extends ElasticsearchRepository {
}
service:
package com.aaa.sbm.service;
import com.aaa.sbm.entity.Order;
import java.util.List;
/**
• fileName:OrderService
• description:
• author:zz
• createTime:2019/8/16 9:59
• version:1.0.0*/public interface OrderService {/**
• 带参查询order列表
• @param param
• @return
*/
List getList(String param,int type);
• /**
• 向索引中添加数据
• @param order
• @return
/
int save(Order order);
/*
• 向索引中修改数据
• @param order
• @return
/
int update(Order order);
/*
• 向索引中删除数据
• @id
• @return
*/
int delete(long id);
}
package com.aaa.sbm.service;
import com.aaa.sbm.entity.Order;
import com.aaa.sbm.esdao.OrderEsDao;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.util.StringUtils;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
/**
• fileName:OrderServiceImpl
• description:
• author:zz
• createTime:2019/8/16 10:29
• version:1.0.0
*/
@Service
public class OrderServiceImpl implements OrderService {
@Autowired
private OrderEsDao orderEsDao;
@Override
public List getList(String param,int type) {
QueryBuilder queryBuilder = null;
 if(type==0){
     //查询所有
     queryBuilder = QueryBuilders.matchAllQuery();
 }else if(type==1&&!StringUtils.isEmpty(param)){ //查询匹配的单个列的值
     //类似于mybatis中   orderName =#{param}
     queryBuilder = QueryBuilders.matchQuery("orderName",param);
 }else if(type==2&&!StringUtils.isEmpty(param)){//查询order中所有为字符串的匹配值
     // 类似于mybatis中   (orderNo =#{param}  or orderName =#{param})
     queryBuilder = QueryBuilders.multiMatchQuery(param,"orderNo","orderName",);
 }else if(type==3&&!StringUtils.isEmpty(param)){//单列模糊查询
     //类似于mybatis中   orderName like '%${param}%'
     queryBuilder = QueryBuilders.wildcardQuery("orderName","*"+param+"*");
 }
 //获取order对象迭代集合
 Iterable<Order> search = orderEsDao.search(queryBuilder);
 //返回迭代器
 Iterator<Order> iterator =   search.iterator();
 //定义返回对象
 List<Order>  orders = new ArrayList<>();
 //迭代对象
 while(iterator.hasNext()){
     orders.add(iterator.next());
 }
 return orders;
• }
@Override
public int save(Order order) {
//向es中存储对象
Order rorder = orderEsDao.save(order);
if(rorder!=null)
return 1;
return 0;
}
@Override
public int update(Order order) {
//向es中存储对象
Order rorder = orderEsDao.save(order);
if(rorder!=null)
return 1;
return 0;
}
@Override
public int delete(long id) {
try {
orderEsDao.deleteById(id);
return 1;
}catch (Exception e){
e.printStackTrace();
}
return 0;
}
}
controller:
package com.aaa.sbm.controller;
import com.aaa.sbm.entity.Order;
import com.aaa.sbm.service.OrderService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
/**
• fileName:OrderController
• description:
• author:zz
• createTime:2019/8/16 10:59
• version:1.0.0*/@RestControllerpublic class OrderController {@Autowiredprivate OrderService orderService;/**
• es的order 索引查询
• @param name
• @param type
• @return
*/
@RequestMapping(“orderList”)
public Object list(@RequestParam(required = true,defaultValue =“”) String name,@RequestParam(required = true,defaultValue =“0”) Integer type){
return orderService.getList(name,type);
}
• /**
• order索引添加
• @param order
• @return
*/
@RequestMapping(“orderAdd”)
public Object add(Order order){
return orderService.save(order);
}
• /**
• order索引更新
• @param order
• @return
*/
@RequestMapping(“orderUpdate”)
public Object update(Order order){
return orderService.save(order);
}
• /**
• order索引值的删除
• @param id
• @return
*/
@RequestMapping(“orderDelete”)
public Object delete(Long id){
return orderService.delete(id);
}
}
启动类:
package com.aaa.sbm;
import org.mybatis.spring.annotation.MapperScan;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.data.elasticsearch.repository.config.EnableElasticsearchRepositories;
@SpringBootApplication
@MapperScan(“com.aaa.sbm.dao”)
@EnableElasticsearchRepositories(“com.aaa.sbm.esdao”)
public class SpringbootMabatisApplication {
public static void main(String[] args) {
    SpringApplication.run(SpringbootMabatisApplication.class, args);
}

}

测试

http://localhost:8888/orderList

//查询时,参数为小写

http://localhost:8888/orderList?name=orderb&type=1

http://localhost:8888/orderList?name=ord10002&type=2

http://localhost:8888/orderList?name=orderb&type=3

http://localhost:8888/orderAdd?id=4&orderNo=ord100022&orderName=orderaa&orderTime=2019-08-16&customId=2

http://localhost:8888/orderUpdate?id=4&orderNo=ord100022&orderName=orderaa&orderTime=2019-08-16&customId=2

http://localhost:8888/orderDelete?id=4

4,知识点总结

5,本章面试题

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。 &nbsp;
目录
相关文章
|
人工智能 数据可视化 Java
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
|
监控 数据可视化 前端开发
【Elastic Engineering】Kibana:Kibana 入门 (一)
在我之前的文章 “如何开始使用 Kibana”,我对 Kibana 做了一个简单的介绍。从那篇文章中,我们可以对 Kibana 有一个初步的了解
2211 0
【Elastic Engineering】Kibana:Kibana 入门 (一)
|
存储 传感器 JSON
【Elastic Engineering】 Kibana:如何开始使用
Kibana 是用于在 Elasticsearch 中可视化数据的强大工具。 这是开始探索你的 Elasticsearch 数据的方法。Kibana 是一种开源分析和可视化工具,可通过基于浏览器的界面轻松搜索,可视化和探索大量数据。 除了 Elasticsearch,Logstash 和 Beats 之外,Kibana 是 Elastic Stack(以前称为 ELK Stack)的核心部分。
1028 0
【Elastic Engineering】 Kibana:如何开始使用
|
自然语言处理 搜索推荐 关系型数据库
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
这篇文章是关于Elasticsearch全文搜索引擎的学习指南,涵盖了基本概念、命令风格、索引操作、分词器使用,以及数据的增加、修改、删除和查询等操作。
1202 0
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
|
存储 应用服务中间件 nginx
使用filebeat简单收集多个nginx应用服务器日志(一)
使用filebeat简单收集日志 1.filebeat原理与介绍 filebeat收集日志的原理类似于tail -f命令,等待应用日志产生后,每隔30s将日志进行收集,收集完成后存放在es的索引库中,最后展示在kibana上
2150 0
使用filebeat简单收集多个nginx应用服务器日志(一)
|
存储 数据可视化 定位技术
【ES数据可视化】kibana实现数据大屏
【ES数据可视化】kibana实现数据大屏
972 3
|
监控 安全 Java
ElasticSearch在Windows上的下载与安装
ElasticSearch在Windows上的下载与安装
|
数据可视化 数据挖掘 大数据
【Kibana】kibana详细介绍与说明
【Kibana】kibana详细介绍与说明
1082 0
|
JavaScript Java 开发工具
ElasticSearch实战 之 es的安装和使用
ElasticSearch实战 之 es的安装和使用
763 0
|
编解码 运维 监控
Logstash基础入门
Logstash基础入门
468 1

热门文章

最新文章