百度外卖分享的Greenplum技术点

简介:

百度外卖的同仁主要分享了他们自己的运维平台,知识点都在平台上,下面记录的比较零散,有需要的小伙伴可以留言跟我要PPT~

GPDB在百度外卖的实践

物理架构:

  • 总共60个节点
  • 单个节点1T多的数据
  • 总空间100T左右
  • 目前已经使用80T左右

选型:

前期使用Hadoop平台,上面计算用Impala,使用过程中,发现Impala无法满足业务场景下,数据查询快速返回,经过选型,选择了Greenplum。

监控平台实践:

  • 分布键监控策略 - 分布键是否经常用于join;分布键数据分布是否均匀
  • 角色资源分配 - 根据角色重要性分配资源,对于资源要求高的情况,动态的调整资源
  • 锁 - 根据Greenplum的锁机制,实现了操作影响范围提示功能,当操作一个SQL时,提示可能导致的锁影响范围

技术点

  • 有时候一些满查询,从Master杀掉后,在segment依然可以看到,也就是说杀不干净,这时候可以使用ps -ax查询到相关进程并杀掉

Ends~

目录
相关文章
|
NoSQL MongoDB SQL
MongoShake最佳实践
mongoshake最佳实践,到底该怎么玩?
22012 0
|
11月前
|
存储 安全 数据安全/隐私保护
智能手表与代理IP:守护你的运动数据隐私
在数字化时代,智能手表不仅记录运动、心率和睡眠数据,还提供通讯、支付功能。然而,其普及也带来了数据隐私风险。本文探讨智能手表与代理IP结合如何守护运动数据隐私。通过案例说明,介绍代理IP隐藏真实IP、加密传输的作用,并讨论其局限性及应对措施,展望未来技术创新和法律法规完善对数据隐私保护的推动。
244 0
|
Kubernetes jenkins Linux
两大容器管理平台,Kubernetes与OpenShift有什么区别?
两大容器管理平台,Kubernetes与OpenShift有什么区别?
|
存储 安全 算法
Spring Security系列教程06--实现HTTP摘要认证
前言 在前面的2个章节中,一一哥 带大家认识了Spring Security中的第基本认证与表单认证 2种认证方式,其中表单认证是Spring Security默认的认证方式,也是开发时最常用的认证方式。有的小伙伴会问,不是还有第3种认证方式吗?对的,还有第三种摘要认证方式!在本文中,我们来学习了解一下HTTP摘要认证。 但是对于摘要认证,我们仅做了解即可,因为这种认证方式仅比基本认证稍微安全一点,开发时用的也不是很多。抱着艺多不压身的心态,我们多了解一点反正也没坏处。
760 0
|
数据可视化
WGCNA 简明指南|2. 模块与性状关联分析并识别重要基因
WGCNA 简明指南|2. 模块与性状关联分析并识别重要基因
1786 0
WGCNA 简明指南|2. 模块与性状关联分析并识别重要基因
|
云安全 安全 Oracle
安全基线核查
安全基线核查
3174 0
安全基线核查
|
存储 Kubernetes API
Kubernetes:现代应用部署与管理的新篇章
Kubernetes:现代应用部署与管理的新篇章
245 26
|
JavaScript 前端开发
37.【TypeScript 教程】TSLint 与 ESLint
37.【TypeScript 教程】TSLint 与 ESLint
257 0
|
存储 算法 数据挖掘
软件体系结构 - 架构风格(11)黑板架构架构风格
【4月更文挑战第21天】软件体系结构 - 架构风格(11)黑板架构架构风格
1913 0
|
测试技术 Linux 虚拟化
Docker与虚拟机的区别
概要 Docker是近年来新兴的虚拟化工具,它可以和虚拟机一样实现资源和系统环境的隔离。本文将主要根据IBM发表的研究报告,论述docker与传统虚拟化方式的不同之处,并比较物理机、docker容器、虚拟机三者的性能差异及差异产生的原理。
2781 1