开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我的richmap有600个并发度,如果同时访问hive,hive能撑住吗?

在richfunction中的open方法中定义一个线程,这个线程主要是去hive中获取相关数据,这个线程我自己不手动结束,会一直存在吗?我的richmap有600个并发度,如果同时访问hive,hive能撑住吗?

展开
收起
solitude. 2023-03-07 13:38:10 719 0
3 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    如果在open方法中定义了一个线程去获取数据并没有手动结束,那么这个线程会一直存在直到close方法被调用。这可能会导致线程资源的浪费,因此建议在获取完数据后手动结束线程,在close方法中释放相关资源。

    关于Hive能否承受600个并发访问的问题,需要考虑以下几个方面:

    1、Hive集群的规模和硬件性能:Hive集群的规模和硬件性能将直接影响其处理并发请求的能力。如果集群规模太小或硬件性能较弱,则可能无法承受大量并发的请求。

    2、并发访问的数据规模和复杂度:如果每个并发请求需要处理的数据量较大或数据复杂度较高,那么会占用更多的集群资源,进而影响集群的处理能力。

    3、Hive的优化配置:对于Hive集群,可以通过一些优化配置来提升其并发处理能力,例如增加任务调度器的数量、调整YARN的资源配额等。

    因此,在实际应用中,需要根据具体情况进行测试和优化,以确保Hive集群能够承受并发请求并保持稳定运行。

    2023-03-28 15:29:27
    赞同 展开评论 打赏
  • 今天也要加油吖~

    richmap如果有600个并发度,并且同时访问hive,hive还是能撑住的。

    2023-03-25 20:28:41
    赞同 展开评论 打赏
  • 这要看你配置,但是总觉得 hive的并发支持应该不是很好 毕竟是做批处理的。此回答整理自钉钉群”【③群】Apache Flink China社区“

    2023-03-07 14:20:14
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载