开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

用flink1.13版本写入ES8.5.3版本,数据只能写入一部分,之后报错,为什么?

用flink1.13版本写入ES8.5.3版本,数据只能写入一部分,之后报错Failed Elasticsearch item request: Unable to parse response body for Response{requestLine=POST /_bulk?timeout=1m HTTP/1.1, host=http://10.206.67.212:9200, response=HTTP/1.1 200 OK}; 这是什么原因

展开
收起
wenti 2023-03-15 10:53:01 1150 0
2 条回答
写回答
取消 提交回答
  • 老哥,解决了吗?我也遇到同样的问题

    2023-04-03 23:54:21
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    这个问题可能是由于ES的限制引起的。ES有一个默认的请求体大小限制,如果一次请求体大小超过该限制,则会抛出类似的异常。根据你提供的信息,问题的原因可能是请求体过大,导致ES无法正确解析请求体,从而导致写入错误。

    为了解决这个问题,可以尝试以下几种方法:

    增加ES的请求体大小限制。可以在ES的配置文件中调整该值。具体操作可以参考ES的官方文档。

    减小flink写入ES时的批处理大小。可以将写入ES的批处理大小调小一些,这样可以减小请求体大小,从而避免ES的限制。

    对数据进行分批处理。可以将数据分成多个批次处理,每个批次的数据量比较小,这样可以避免一次请求体过大的问题。

    需要注意的是,如果数据量较大,可能需要同时采用多种方法来解决该问题。

    2023-03-16 17:05:09
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载