startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=615,endOffset=617,lastStartOffset=616 for field 'convContent.content'

简介: 【7月更文挑战第4天】startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=615,endOffset=617,lastStartOffset=616 for field 'convContent.content'

最近在操作 es 迁移数据的过程中出现了这个问题,迁移数据的原因是为了给 convContent.content 加上 分词插件 hanlp ,具体的 mapping 如图所示

image.png

更改完索引之后,重新生成索引,并把原始索引中的数据导入到新建索引中,执行命令

POST _reindex
{  
  "source": {  
    "index": "crm_meiqia_conversation",
    "size":500
  },  
  "dest": {  
    "index": "crm_meiqia_conversation_tmp"  
  }
}

看到如下报错信息

image.png

基于此报错信息,也查阅了相关资料,更改索引content 分词器之前没有问题,更改之后就出问题了,那么应该是 hanlp分词器引起的问题。

为了解决这个问题,将对应 id "6305338060" 中的数据查询出来,然后逐个对 convContent.content 进行分析

GET crm_meiqia_conversation/_search
{  
  "query": {  
    "bool": {  
      "must": [  
        {
          "term" : {
              "_id" : "6305338060"
            }
        } 
      ]
    }  
  }  
}

image.png

分词器分析执行语句

POST /_analyze
{
  "analyzer": "hanlp", 
  "text": """<p>您好,欢迎您咨询,网课全新升级,,<span style="color:#d35400"><strong>主打极速高效,小班精细化管理,现在购买可享补基础服务哦......</strong></span><br/></p><p><strong><span style="color:#8e44ad">限时福利:老学员可享最高优惠购买</span></strong></p><p></p><p>具体规则可直接联系客服发送 <strong><span style="color:#003ba5">【手机号+套餐名称】</span></strong> 查看哦,同时我们也会给您分配专属的学习规划师带领您操作哦!!!</p>"""
}

执行分析结果

image.png

依次将当前索引指定id 6305338060 下的 字段内容 convContent.content 逐一取出分析,也都没有任何报错信息,但是给字段 content 加了 分词器 hanlp 之后迁移数据就报错。最后找不到具体原因,只能去掉分词器 hanlp 采用 es 默认分词器了。

相关文章
../../..xxx.go:46:18: aa.Bbb undefined (type *"xx/xxx/xx".Ccc has no field or method Bbb)
../../..xxx.go:46:18: aa.Bbb undefined (type *"xx/xxx/xx".Ccc has no field or method Bbb)
|
Go PHP
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
507 0
【GO】panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
|
9天前
|
存储 监控 算法
员工上网行为监控中的Go语言算法:布隆过滤器的应用
在信息化高速发展的时代,企业上网行为监管至关重要。布隆过滤器作为一种高效、节省空间的概率性数据结构,适用于大规模URL查询与匹配,是实现精准上网行为管理的理想选择。本文探讨了布隆过滤器的原理及其优缺点,并展示了如何使用Go语言实现该算法,以提升企业网络管理效率和安全性。尽管存在误报等局限性,但合理配置下,布隆过滤器为企业提供了经济有效的解决方案。
45 8
员工上网行为监控中的Go语言算法:布隆过滤器的应用
|
29天前
|
存储 Go 索引
go语言中数组和切片
go语言中数组和切片
39 7
|
28天前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
29天前
|
程序员 Go
go语言中结构体(Struct)
go语言中结构体(Struct)
101 71
|
28天前
|
存储 Go 索引
go语言中的数组(Array)
go语言中的数组(Array)
105 67
|
1月前
|
Go 索引
go语言for遍历数组或切片
go语言for遍历数组或切片
99 62
|
3天前
|
算法 安全 Go
Go 语言中实现 RSA 加解密、签名验证算法
随着互联网的发展,安全需求日益增长。非对称加密算法RSA成为密码学中的重要代表。本文介绍如何使用Go语言和[forgoer/openssl](https://github.com/forgoer/openssl)库简化RSA加解密操作,包括秘钥生成、加解密及签名验证。该库还支持AES、DES等常用算法,安装简便,代码示例清晰易懂。
29 16
|
29天前
|
存储 Go
go语言中映射
go语言中映射
36 11