"为了保证Flink OLAP系统的稳定性,采取了以下措施:
基于Zookeeper HA来保证Flink Session集群的可靠性,SQL Gateway监听Zookeeper节点以感知Session集群状态。
控制查询扫描Hive表的数据量、分区个数及返回结果数据量,防止JobManager和TaskManager出现OOM情况。"
为了保证整个 Flink OLAP 系统的稳定性,以及高效的执行 SQL 查询,在这个系统中,进行了以下功能增强:
稳定性:
基于 zookeeper HA 来保证 Flink Session 集群的可靠性,SQL Gateway 监听 Zookeeper 节点,感知 Session 集群;
控制查询扫描 Hive 表的数据量,分区个数,以及返回结果数据量,防止 Session 集群的 JobManager,TaskManager 因此出现 OOM 情况;
性能:
Flink Session 集群预分配资源,减少作业提交后申请资源所需的时间;
Flink JobManager 异步解析 Split,Split 边解析任务边执行,减少由于解析 Split 阻塞任务执行的时间;
控制作业提交过程中扫描分区,以及 Split 最大的个数,减少设置任务并行所需要的时间;
Hive SQL 兼容:
针对 Flink 对于 Hive SQL 语法的兼容性进行改进,目前针对 Hive SQL 的兼容性大致为 80%;
监控告警:
监控 Flink Session 集群的 JobManager,TaskManager,以及 SQL Gateway 的内存,CPU 使用情况,以及任务的提交情况,一旦出现问题,及时告警和处理;
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。