startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=615,endOffset=617,lastStartOffset=616 for field 'convContent.content'

简介: 【7月更文挑战第4天】startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=615,endOffset=617,lastStartOffset=616 for field 'convContent.content'

最近在操作 es 迁移数据的过程中出现了这个问题,迁移数据的原因是为了给 convContent.content 加上 分词插件 hanlp ,具体的 mapping 如图所示

image.png

更改完索引之后,重新生成索引,并把原始索引中的数据导入到新建索引中,执行命令

POST _reindex
{  
  "source": {  
    "index": "crm_meiqia_conversation",
    "size":500
  },  
  "dest": {  
    "index": "crm_meiqia_conversation_tmp"  
  }
}

看到如下报错信息

image.png

基于此报错信息,也查阅了相关资料,更改索引content 分词器之前没有问题,更改之后就出问题了,那么应该是 hanlp分词器引起的问题。

为了解决这个问题,将对应 id "6305338060" 中的数据查询出来,然后逐个对 convContent.content 进行分析

GET crm_meiqia_conversation/_search
{  
  "query": {  
    "bool": {  
      "must": [  
        {
          "term" : {
              "_id" : "6305338060"
            }
        } 
      ]
    }  
  }  
}

image.png

分词器分析执行语句

POST /_analyze
{
  "analyzer": "hanlp", 
  "text": """<p>您好,欢迎您咨询,网课全新升级,,<span style="color:#d35400"><strong>主打极速高效,小班精细化管理,现在购买可享补基础服务哦......</strong></span><br/></p><p><strong><span style="color:#8e44ad">限时福利:老学员可享最高优惠购买</span></strong></p><p></p><p>具体规则可直接联系客服发送 <strong><span style="color:#003ba5">【手机号+套餐名称】</span></strong> 查看哦,同时我们也会给您分配专属的学习规划师带领您操作哦!!!</p>"""
}

执行分析结果

image.png

依次将当前索引指定id 6305338060 下的 字段内容 convContent.content 逐一取出分析,也都没有任何报错信息,但是给字段 content 加了 分词器 hanlp 之后迁移数据就报错。最后找不到具体原因,只能去掉分词器 hanlp 采用 es 默认分词器了。

相关文章
../../..xxx.go:46:18: aa.Bbb undefined (type *"xx/xxx/xx".Ccc has no field or method Bbb)
../../..xxx.go:46:18: aa.Bbb undefined (type *"xx/xxx/xx".Ccc has no field or method Bbb)
|
Go PHP
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
604 0
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
|
1月前
|
存储 安全 Java
【Golang】(4)Go里面的指针如何?函数与方法怎么不一样?带你了解Go不同于其他高级语言的语法
结构体可以存储一组不同类型的数据,是一种符合类型。Go抛弃了类与继承,同时也抛弃了构造方法,刻意弱化了面向对象的功能,Go并非是一个传统OOP的语言,但是Go依旧有着OOP的影子,通过结构体和方法也可以模拟出一个类。
161 1
|
3月前
|
Cloud Native 安全 Java
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
287 1
|
9月前
|
编译器 Go
揭秘 Go 语言中空结构体的强大用法
Go 语言中的空结构体 `struct{}` 不包含任何字段,不占用内存空间。它在实际编程中有多种典型用法:1) 结合 map 实现集合(set)类型;2) 与 channel 搭配用于信号通知;3) 申请超大容量的 Slice 和 Array 以节省内存;4) 作为接口实现时明确表示不关注值。此外,需要注意的是,空结构体作为字段时可能会因内存对齐原因占用额外空间。建议将空结构体放在外层结构体的第一个字段以优化内存使用。
|
9月前
|
运维 监控 算法
监控局域网其他电脑:Go 语言迪杰斯特拉算法的高效应用
在信息化时代,监控局域网成为网络管理与安全防护的关键需求。本文探讨了迪杰斯特拉(Dijkstra)算法在监控局域网中的应用,通过计算最短路径优化数据传输和故障检测。文中提供了使用Go语言实现的代码例程,展示了如何高效地进行网络监控,确保局域网的稳定运行和数据安全。迪杰斯特拉算法能减少传输延迟和带宽消耗,及时发现并处理网络故障,适用于复杂网络环境下的管理和维护。
|
3月前
|
Cloud Native Go API
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
364 0
|
3月前
|
Cloud Native Java Go
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
236 0
|
3月前
|
Cloud Native Java 中间件
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
213 0
|
3月前
|
Cloud Native Java Go
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
307 0