开发者社区> 问答> 正文

用SyncES(canal-adapter-elasticsearch-1.1.3)做mysql同步

用SyncES(canal-adapter-elasticsearch-1.1.3)做mysql同步到ES,报json解析错误,原因如下: ESSyncUtil类的convertToEsObj方法中做的json解析,源代码如下:

else if (fieldInfo.startsWith("object")) { return JSON.parse(val); }

这里,参数val是Object的,令人尴尬的是如果mysql里通过group_concat sql拼接出一个json字符串的时候,这个val返回的是byte[],这个是没法直接toJson的,后来查看源代码发现canal是用getObject获取这列的值的,可能不同mysql驱动getObject返回的类型不一样,出问题的是返回json字符串的byte[]类型,应该考虑到这种兼容情况,要不这种object类型的就用getString方式返回json字符串啥的。

出问题的sql如下,order_merchandises列是配置成object的(objFields: order_merchandises: object),具体如下: select o.id as _id, o.order_status, concat('[', oms.group_oms, ']') as order_merchandises from orders o left join ( select om.order_id, group_concat(json_object('id', om.id, 'merchandise_id', om.merchandise_id, 'merchant_code', om.merchant_code, 'refund_status', om.refund_status, 'live_refund', om.live_refund)) as group_oms from order_merchandise om group by order_id ) as oms on o.id = oms.order_id

原提问者GitHub用户confuse0

展开
收起
数据大拿 2023-05-04 11:48:13 103 0
1 条回答
写回答
取消 提交回答
  • 暂不支持json类型的字段,如需要用object可以先在sql中拼接json串

    原回答者GitHub用户rewerma

    2023-05-05 10:20:31
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
阿里云Elasticsearch体系架构与特性解析 立即下载
开源与云:Elasticsearch应用剖析 立即下载
《Elasticsearch全观测解决方案》 立即下载

相关镜像