Go项目优化——使用Elasticsearch搜索引擎

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: Go项目优化——使用Elasticsearch搜索引擎

案例:

http准备

util/http.go

用于向es服务器发送json格式的Put和Post请求

package util
import (
  "errors"
  "github.com/astaxie/beego/httplib"
  "github.com/bitly/go-simplejson"
  "io"
  "time"
)
// HttpPutJson
// @Title HttpPutJson
// @Description 用于向es服务器发送put请求(新建索引or添加文档)
func HttpPutJson(url, body string) error {
  resp, err := httplib.Put(url).
    Header("Content-Type", "application/json").
    SetTimeout(10*time.Second, 10*time.Second).
    Body(body).
    Response()
  if err == nil {
    defer resp.Body.Close()
    // 不正常的响应状态码
    if resp.StatusCode >= 300 || resp.StatusCode < 200 {
      // es会将错误信息写在body里 打印错误信息
      bodyErr, _ := io.ReadAll(resp.Body)
      body = string(bodyErr)
      err = errors.New(resp.Status + ";" + body)
    }
  }
  return err
}
// HttpPostJson
// @Title HttpPostJson
// @Description 用于向es服务器请求数据,查询数据
// @Param url string
// @Param body string 条件
// @Return *simplejson.Json es服务器返回的信息
func HttpPostJson(url, body string) (*simplejson.Json, error) {
  resp, err := httplib.Post(url).
    Header("Content-Type", "application/json").
    SetTimeout(10*time.Second, 10*time.Second).
    Body(body).
    Response()
  var sj *simplejson.Json
  if err == nil {
    defer resp.Body.Close()
    // 不正常的响应状态码
    if resp.StatusCode >= 300 || resp.StatusCode < 200 {
      bodyErr, _ := io.ReadAll(resp.Body)
      body = string(bodyErr)
      err = errors.New(resp.Status + ";" + body)
    } else {
      bodyBytes, _ := io.ReadAll(resp.Body)
      sj, err = simplejson.NewJson(bodyBytes)
    }
  }
  return sj, err
}

案例(新增):

建立索引+添加文档

发布图书的时候为图书和章节文档内容建立索引。

models/elasticSearch.go

package models
import (
  "es.study/util"
  "fmt"
  "github.com/PuerkitoBio/goquery"
  "github.com/astaxie/beego/logs"
  "strconv"
  "strings"
)
var (
  // (应写在配置文件里)搜索引擎配置,后面要加'/'
  elasticHost = "http://localhost:9200/"
)
// ElasticBuildIndex
// localhost:9200/index/_doc/doc_id
// index: 索引 对应sql里的表
// _doc: 文档类型,ES 7.0 以后的版本 已经废弃文档类型了,一个 index 中只有一个默认的 type,即 _doc。
// @Title ElasticBuildIndex
// @Description  指定id的图书增加索引
// @Author hyy 2022-10-14 21:06:27
// @Param bookId int 图书 id
func ElasticBuildIndex(bookId int) {
  // func(m *Book) Select(filed string, value interface{}, cols ...string)
  // SELECT [cols...] FROM books WHERE filed=value;
  book, _ := NewBook().Select("book_id", bookId, "book_id", "book_name", "description")
  addBookToIndex(book.BookId, book.BookName, book.Description)
  // index document
  var documents []Document
  fields := []string{"document_id", "book_id", "document_name", "release"}
  GetOrm("r").QueryTable(TNDoucments()).Filter("book_id", bookId).All(documents, fields...)
  if len(documents) > 0 {
    for _, document := range documents {
      // release: 已发布的章节
      addDocumentToIndex(document.DocumentId, document.BookId, flatHtml(document.Release))
    }
  }
}
// addBookToIndex
// @Title addBookToIndex
// @Description 向图书索引(相当于图书表)中,添加图书
// @Author hyy 2022-10-14 21:07:38
// @Param bookId int 图书id
// @Param bookName string 图书名
// @Param description string 图书描述
func addBookToIndex(bookId int, bookName, description string) {
  queryJson := `
    {
      "book_id":%v,
      "book_name":"%v",
      "description":"%v"
    }
  `
  // ElasticSearch API
  host := elasticHost
  api := host + "mbooks/_doc/" + strconv.Itoa(bookId)
  // 发起请求:
  queryJson = fmt.Sprintf(queryJson, bookId, bookName, description)
  err := util.HttpPutJson(api, queryJson)
  if err != nil {
    logs.Debug(err)
  }
}
// addDocumentToIndex
// @Title addDocumentToIndex
// @Description  向章节文档索引(相当于章节文档表)中,添加章节文档
// @Author hyy 2022-10-14 21:09:09
// @Param documentId int 文档id
// @Param bookId int 所属图书id
// @Param release string 文档发布内容
func addDocumentToIndex(documentId, bookId int, release string) {
  queryJson := `
    {
      "document:_id":%v,
      "book_id":%v,
      "release":"%v"
    }
  `
  // ElasticSearch API
  host := elasticHost
  api := host + "mdocument/_doc/" + strconv.Itoa(documentId)
  // 发起请求:
  queryJson = fmt.Sprintf(queryJson, documentId, bookId, release)
  err := util.HttpPutJson(api, queryJson)
  if err != nil {
    logs.Debug(err)
  }
}
// flatHtml
// 剔除章节里的html标签,取出文本
func flatHtml(htmlStr string) string {
  htmlStr = strings.Replace(htmlStr, "\n", " ", -1)
  htmlStr = strings.Replace(htmlStr, "\"", "", -1)
  gq, err := goquery.NewDocumentFromReader(strings.NewReader(htmlStr))
  // 如果不为空,说明没有
  if err != nil {
    return htmlStr
  }
  return gq.Text()
}

在发布图书的时候,调用ElasticBuildIndex(bookId)接口,将图书信息以及章节内容添加到es中。

案例(查询):

搜索图书:

package models
import (
  "es.study/util"
  "fmt"
  "github.com/PuerkitoBio/goquery"
  "github.com/astaxie/beego/logs"
  "strconv"
  "strings"
)
var (
  // (应写在配置文件里)搜索引擎配置,后面要加'/'
  elasticHost = "http://localhost:9200/"
)
// ... 新增索引or添加文档
// ElasticSearchBook
// localhost:9200/index/_doc/_search
// index: 索引 对应sql里的表
// _doc: 文档类型,ES 7.0 以后的版本 已经废弃文档类型了,一个 index 中只有一个默认的 type,即 _doc。
// @Title ElasticSearchBook
// @Description 根据关键字搜索图书,获取图书的id
// @Author hyy 2022-10-14 20:49:37
// @Param kw string 关键字
// @Param pageSize int 页大小
// @Param page int 页码(可选)
// @Return []int bookId的数组
// @Return int 书的总数
// @Return error 错误
func ElasticSearchBook(kw string, pageSize, page int) ([]int, int, error) {
  var bookIds []int
  count := 0
  if page > 0 {
    // 第一页对应搜索引擎里的第0页
    page = page - 1
  } else {
    page = 0
  }
  queryJson := `
    {
      "query":{
        "multi_match":{
          "query":"%v",
          "fields":["bookName","description"]
        }
      },
      "_source":["book_id"],
      "size":%v,
      "from":%v
    }
  `
  // elasticSearch api
  host := elasticHost
  api := host + "mbook/_doc/_search"
  queryJson = fmt.Sprintf(queryJson, kw, pageSize, page)
  sj, err := util.HttpPostJson(api, queryJson)
  if err == nil {
    count = sj.GetPath("hits", "total").MustInt()
    resultArray := sj.GetPath("hits", "hits").MustArray()
    for _, result := range resultArray {
      if eachMap, ok := result.(map[string]interface{}); ok {
        id, _ := strconv.Atoi(eachMap["_id"].(string))
        bookIds = append(bookIds, id)
      }
    }
  }
  return bookIds, count, err
}
// ElasticSearchDocument
// @Title ElasticSearchDocument
// @Description 根据关键字搜索章节文档,返回章节文档的id,
// 该函数提供两种搜索:
//  1. 搜所有图书的章节文档
//  2. 搜某一本图书的章节文档,所以有个可选参数bookId
//
// @Author hyy 2022-10-14 20:56:54
// @Param kw string 关键字
// @Param pageSize int 页大小
// @Param page int 页码
// @Param bookId ...int 图书id(可选)
// @Return []int 章节文档的id数组
// @Return int 总数
// @Return error 错误
func ElasticSearchDocument(kw string, pageSize, page int, bookId ...int) ([]int, int, error) {
  var documentIds []int
  count := 0
  if page > 0 {
    // 第一页对应搜索引擎里的第0页
    page = page - 1
  } else {
    page = 0
  }
  queryJson := `
    {
      "query":{
        "match":{
          "release":"%v",
        } 
      },
      "_source":["document_id"],
      "size":%v,
      "from":%v
    }
  `
  queryJson = fmt.Sprintf(queryJson, kw, pageSize, page)
  if len(bookId) > 0 && bookId[0] > 0 {
    queryJson = `
      {
        "query":{
          "bool":{
            "filter":[{
              "term":{
                "book_id":%v
              }
            }],
            "must":{
              "multi_match":{
                "query":"%v",
                "fields":["release"]
              }
            }
          } 
        },
        "_source":["document_id"],
        "size":%v,
        "from":%v
      }
    `
    queryJson = fmt.Sprintf(queryJson, kw, pageSize, page)
  }
  // elasticSearch api
  host := elasticHost
  api := host + "mdocument/_doc/_search"
  sj, err := util.HttpPostJson(api, queryJson)
  if err==nil{
    count =  sj.GetPath("hits","total").MustInt()
    resultArray := sj.GetPath("hits", "hits").MustArray()
    for _, result := range resultArray {
      if eachMap, ok := result.(map[string]interface{}); ok {
        id, _ := strconv.Atoi(eachMap["_id"].(string))
        documentIds = append(documentIds, id)
      }
    }
  }
  return documentIds, count, err
}

关于sj.GetPath("hits","hits")原因如下:

es查询到多个结果的时候,返回结果如下:

{
    "took": 4,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
———>"hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": 1.0,
———————>"hits": [ // 原始数据
            {
                "_index": "shopping",
                "_type": "_doc",
                "_id": "TYu9pn8BfWqG58AR7Mzw",
                "_score": 1.0,
                "_source": {
                    "title": "小米手机",
                    "category": "小米",
                    "images": "http://xxx.com/xm.jpg",
                    "price": 3999.00
                }
            },
            ...
        ]
    }
}

结果:

优化前:

优化后:

性能的具体提升使用ab自行进行压力测试

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
5天前
|
缓存 监控 安全
Elasticsearch扩展和优化
【11月更文挑战第4天】
20 6
|
1月前
|
存储 自然语言处理 Java
Elasticsearch写入优化
【10月更文挑战第3天】Elasticsearch:从写入原理谈写入优化
75 2
|
30天前
|
Go
使用go语言将A助手加入项目中
使用go语言将A助手加入项目中
22 2
|
1月前
|
SQL 关系型数据库 MySQL
Go语言项目高效对接SQL数据库:实践技巧与方法
在Go语言项目中,与SQL数据库进行对接是一项基础且重要的任务
54 11
|
1月前
|
自然语言处理 搜索推荐 关系型数据库
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
这篇文章是关于Elasticsearch全文搜索引擎的学习指南,涵盖了基本概念、命令风格、索引操作、分词器使用,以及数据的增加、修改、删除和查询等操作。
20 0
elasticsearch学习六:学习 全文搜索引擎 elasticsearch的语法,使用kibana进行模拟测试(持续更新学习)
|
2月前
|
自然语言处理 搜索推荐 数据库
高性能分布式搜索引擎Elasticsearch详解
高性能分布式搜索引擎Elasticsearch详解
84 4
高性能分布式搜索引擎Elasticsearch详解
|
2月前
|
网络协议 Java Maven
多模块项目使用ElasticSearch报错
多模块项目使用ElasticSearch报错
39 6
|
2月前
|
关系型数据库 Go 数据处理
高效数据迁移:使用Go语言优化ETL流程
在本文中,我们将探索Go语言在处理大规模数据迁移任务中的独特优势,以及如何通过Go语言的并发特性来优化数据提取、转换和加载(ETL)流程。不同于其他摘要,本文不仅展示了Go语言在ETL过程中的应用,还提供了实用的代码示例和性能对比分析。
|
1月前
|
开发框架 监控 搜索推荐
GoFly快速开发框架集成ZincSearch全文搜索引擎 - Elasticsearch轻量级替代为ZincSearch全文搜索引擎
本文介绍了在项目开发中使用ZincSearch作为全文搜索引擎的优势,包括其轻量级、易于安装和使用、资源占用低等特点,以及如何在GoFly快速开发框架中集成和使用ZincSearch,提供了详细的开发文档和实例代码,帮助开发者高效地实现搜索功能。
118 0
|
1月前
|
存储 Kubernetes Go
Go语言项目组织架构
Go语言项目组织架构