开发者社区> 问答> 正文

为了保证Flink OLAP系统的稳定性,采取了哪些措施?

为了保证Flink OLAP系统的稳定性,采取了哪些措施?

展开
收起
真的很搞笑 2024-07-22 22:36:41 34 0
2 条回答
写回答
取消 提交回答
  • "为了保证Flink OLAP系统的稳定性,采取了以下措施:

    基于Zookeeper HA来保证Flink Session集群的可靠性,SQL Gateway监听Zookeeper节点以感知Session集群状态。
    控制查询扫描Hive表的数据量、分区个数及返回结果数据量,防止JobManager和TaskManager出现OOM情况。"

    2024-07-23 09:50:47
    赞同 1 展开评论 打赏
  • 为了保证整个 Flink OLAP 系统的稳定性,以及高效的执行 SQL 查询,在这个系统中,进行了以下功能增强:

    稳定性:

    基于 zookeeper HA 来保证 Flink Session 集群的可靠性,SQL Gateway 监听 Zookeeper 节点,感知 Session 集群;
    控制查询扫描 Hive 表的数据量,分区个数,以及返回结果数据量,防止 Session 集群的 JobManager,TaskManager 因此出现 OOM 情况;
    性能:

    Flink Session 集群预分配资源,减少作业提交后申请资源所需的时间;
    Flink JobManager 异步解析 Split,Split 边解析任务边执行,减少由于解析 Split 阻塞任务执行的时间;
    控制作业提交过程中扫描分区,以及 Split 最大的个数,减少设置任务并行所需要的时间;
    Hive SQL 兼容:

    针对 Flink 对于 Hive SQL 语法的兼容性进行改进,目前针对 Hive SQL 的兼容性大致为 80%;

    监控告警:

    监控 Flink Session 集群的 JobManager,TaskManager,以及 SQL Gateway 的内存,CPU 使用情况,以及任务的提交情况,一旦出现问题,及时告警和处理;

    image.png
    参考文档https://flink-learning.org.cn/article/detail/5e1346050125d69fc226d1069e4d5652?name=article&tab=suoyou&page=19

    2024-07-23 09:22:21
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于云原生数据仓库AnalyticDB PG的最佳实践 立即下载
新氧云原生全栈数仓最佳实践 立即下载
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载