百度外卖分享的Greenplum技术点-阿里云开发者社区

开发者社区> 大数据> 正文

百度外卖分享的Greenplum技术点

简介:

百度外卖的同仁主要分享了他们自己的运维平台,知识点都在平台上,下面记录的比较零散,有需要的小伙伴可以留言跟我要PPT~

GPDB在百度外卖的实践

物理架构:

  • 总共60个节点
  • 单个节点1T多的数据
  • 总空间100T左右
  • 目前已经使用80T左右

选型:

前期使用Hadoop平台,上面计算用Impala,使用过程中,发现Impala无法满足业务场景下,数据查询快速返回,经过选型,选择了Greenplum。

监控平台实践:

  • 分布键监控策略 - 分布键是否经常用于join;分布键数据分布是否均匀
  • 角色资源分配 - 根据角色重要性分配资源,对于资源要求高的情况,动态的调整资源
  • 锁 - 根据Greenplum的锁机制,实现了操作影响范围提示功能,当操作一个SQL时,提示可能导致的锁影响范围

技术点

  • 有时候一些满查询,从Master杀掉后,在segment依然可以看到,也就是说杀不干净,这时候可以使用ps -ax查询到相关进程并杀掉

Ends~

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章