开发者社区> 问答> 正文

写HBase慢造成消息堆积,有没有异步IO可以用于sink或者outputFormat的方法?

业务场景中,需要将处理后的消息写入到HBase中,由于写入HBase慢,引起消息堆积。 通过Stream API 有没有方法可以异步批量发送? 谢谢!*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-07 14:09:57 584 0
1 条回答
写回答
取消 提交回答
  • 我们之前的处理方式是批量写入HBase,或者通过其他手段加速写入HBase。 如果HBase现在确因种种原因无法写入或者写入过慢,那么这个时候应该造成反压,逐渐减缓直到停止对上游消息队列的消费。 一般入库的服务(或者说实时性要求不高)和实时性要求强的服务尽可能不要放在同一个Job里面比较好。

    仅供参考。*来自志愿者整理的flink

    2021-12-07 15:23:10
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
HBase在阿里搜索推荐中的应用 立即下载
大数据时代的存储 ——HBase的实践与探索 立即下载
多IO线程优化版 立即下载