startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=615,endOffset=617,lastStartOffset=616 for field 'convContent.content'

简介: 【7月更文挑战第4天】startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=615,endOffset=617,lastStartOffset=616 for field 'convContent.content'

最近在操作 es 迁移数据的过程中出现了这个问题,迁移数据的原因是为了给 convContent.content 加上 分词插件 hanlp ,具体的 mapping 如图所示

image.png

更改完索引之后,重新生成索引,并把原始索引中的数据导入到新建索引中,执行命令

POST _reindex
{  
  "source": {  
    "index": "crm_meiqia_conversation",
    "size":500
  },  
  "dest": {  
    "index": "crm_meiqia_conversation_tmp"  
  }
}

看到如下报错信息

image.png

基于此报错信息,也查阅了相关资料,更改索引content 分词器之前没有问题,更改之后就出问题了,那么应该是 hanlp分词器引起的问题。

为了解决这个问题,将对应 id "6305338060" 中的数据查询出来,然后逐个对 convContent.content 进行分析

GET crm_meiqia_conversation/_search
{  
  "query": {  
    "bool": {  
      "must": [  
        {
          "term" : {
              "_id" : "6305338060"
            }
        } 
      ]
    }  
  }  
}

image.png

分词器分析执行语句

POST /_analyze
{
  "analyzer": "hanlp", 
  "text": """<p>您好,欢迎您咨询,网课全新升级,,<span style="color:#d35400"><strong>主打极速高效,小班精细化管理,现在购买可享补基础服务哦......</strong></span><br/></p><p><strong><span style="color:#8e44ad">限时福利:老学员可享最高优惠购买</span></strong></p><p></p><p>具体规则可直接联系客服发送 <strong><span style="color:#003ba5">【手机号+套餐名称】</span></strong> 查看哦,同时我们也会给您分配专属的学习规划师带领您操作哦!!!</p>"""
}

执行分析结果

image.png

依次将当前索引指定id 6305338060 下的 字段内容 convContent.content 逐一取出分析,也都没有任何报错信息,但是给字段 content 加了 分词器 hanlp 之后迁移数据就报错。最后找不到具体原因,只能去掉分词器 hanlp 采用 es 默认分词器了。

相关文章
../../..xxx.go:46:18: aa.Bbb undefined (type *"xx/xxx/xx".Ccc has no field or method Bbb)
../../..xxx.go:46:18: aa.Bbb undefined (type *"xx/xxx/xx".Ccc has no field or method Bbb)
|
Go PHP
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
437 0
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
|
14天前
|
安全 测试技术 Go
Go语言在高并发场景下的应用
在当今互联网高速发展的时代,高并发已成为众多应用系统面临的核心问题。本文探讨了Go语言在高并发场景下的优势,并通过具体实例展示了其在实际应用中的效果和性能表现。
|
11天前
|
Go
go语言map、实现set
go语言map、实现set
14 0
|
11天前
|
Go
go语言数组与切片
go语言数组与切片
17 0
|
4天前
|
存储 Go API
一个go语言编码的例子
【7月更文挑战第2天】本文介绍Go语言使用Unicode字符集和UTF-8编码。Go中,`unicode/utf8`包处理编码转换,如`EncodeRune`和`DecodeRune`。`golang.org/x/text`库支持更多编码转换,如GBK到UTF-8。编码规则覆盖7位至21位的不同长度码点。
70 1
一个go语言编码的例子
|
7天前
|
JSON 算法 测试技术
在go语言中调试程序
【6月更文挑战第29天】Go语言内置`testing`包支持单元测试、基准测试和模糊测试。`go test`命令可执行测试,如`-run`选择特定测试,`-bench`运行基准测试,`-fuzz`进行模糊测试。
17 2
在go语言中调试程序
|
13天前
|
存储 中间件 Go
在go语言服务中封装路由和示例
【6月更文挑战第23天】本文介绍golang后端按协议处理、中间件(一次性与每次请求执行)划分、以及服务架构Controller、Logic/Service、DAO/Repository和Routers划分。代码仓库在GitHub上提供。使用框架简化了交互和处理。后续章节深入探讨服务构建。
107 5
在go语言服务中封装路由和示例
|
5天前
|
安全 Go
Go语言的iota关键字有什么用途?
**Go语言中的`iota`是常量生成器,用于在`const`声明中创建递增的常量。`iota`在每个新的`const`块重置为0,然后逐行递增,简化了枚举类型或常量序列的定义。例如,定义星期枚举:** ```markdown ```go type Weekday int const ( Sunday Weekday = iota // 0 Monday // 1 Tuesday // 2 ... ) ``` 同样,`iota`可用于定义不同组的常量,如状态码和标志位,保持各自组内的递增,提高代码可读性。
|
10天前
|
Devops Go 云计算
Go语言发展现状:历史、应用、优势与挑战
Go语言发展现状:历史、应用、优势与挑战