百度外卖分享的Greenplum技术点

简介:

百度外卖的同仁主要分享了他们自己的运维平台,知识点都在平台上,下面记录的比较零散,有需要的小伙伴可以留言跟我要PPT~

GPDB在百度外卖的实践

物理架构:

  • 总共60个节点
  • 单个节点1T多的数据
  • 总空间100T左右
  • 目前已经使用80T左右

选型:

前期使用Hadoop平台,上面计算用Impala,使用过程中,发现Impala无法满足业务场景下,数据查询快速返回,经过选型,选择了Greenplum。

监控平台实践:

  • 分布键监控策略 - 分布键是否经常用于join;分布键数据分布是否均匀
  • 角色资源分配 - 根据角色重要性分配资源,对于资源要求高的情况,动态的调整资源
  • 锁 - 根据Greenplum的锁机制,实现了操作影响范围提示功能,当操作一个SQL时,提示可能导致的锁影响范围

技术点

  • 有时候一些满查询,从Master杀掉后,在segment依然可以看到,也就是说杀不干净,这时候可以使用ps -ax查询到相关进程并杀掉

Ends~

目录
相关文章
|
8月前
|
SQL NoSQL 关系型数据库
基础版本抖音(字节跳动青训)
本抖音项目是基于grpc通讯协议开发的高性能微服务,不仅使用gin作为业务层框架,gorm框架作为持久层框架,还使用预编译sql防止sql注入,同时该项目结合连接池技术来构建连接工厂和复用grpc连接来提高系统的性能,这样可以有效的处理高并发场景下的挑战,还可以通过减少频繁创建和销毁grpc连接带来的性能开销
|
8月前
|
缓存 NoSQL 中间件
太卷了!京东、微博最新「Redis缓存高手心法手册」竟被开源了
众所周知,分布式架构被广泛应用于企业级应用开发中,以满足高并发、高可用、高性能、高扩展性等要求。 像电商平台秒杀、平台抢票等高并发场景,数据访问量激增,容易造成服务器负载过重从而导致崩溃。因此,分布式缓存作为分布式架构的重要组件,当一个缓存服务节点挂掉,可以马上切换到另外的缓存服务节点,以保证系统能正常运行。 而在缓存中间件中,Redis以兼具缓存和数据库的优点,适用范围更广,很多人更愿意使用,memcache也只能望其项背。
118 1
|
Cloud Native 分布式数据库 数据库
明日开播|一图速览DTCC 2022阿里云瑶池数据库4大看点
2022年12月14日-16日,第13届中国数据库技术大会(DTCC 2022)将在线上隆重召开。
明日开播|一图速览DTCC 2022阿里云瑶池数据库4大看点
|
存储 SQL 算法
8.图灵学院-----阿里/京东/滴滴/美团整理----MySQL数据库篇
8.图灵学院-----阿里/京东/滴滴/美团整理----MySQL数据库篇
152 0
|
SQL 自然语言处理 搜索推荐
9.图灵学院-----阿里/京东/滴滴/美团整理----搜索引擎篇
9.图灵学院-----阿里/京东/滴滴/美团整理----搜索引擎篇
103 0
|
数据库 人工智能 大数据
|
设计模式 缓存 算法
互联网大厂考点(阿里+百度+腾讯+字节跳动+美团+京东)
- 01 互联网大厂考点(阿里+百度+腾讯+字节跳动+美团+京东) - 02 Java 面试考点大全(基本功底+常用技术+技术深度+技术经验+学习能力+工作能力+项目经验) - 03 面试真题重现
300 0
|
传感器 新零售 监控
送外卖也要“黑科技”?阿里移动感知技术应用揭秘
送餐路上外卖骑手们所处的位置不仅牵动着大家的心,在本地生活的场景下,也是订单配送和调度系统的重要一环。其中骑手是否已到店取餐看似简单却难以准确观测。针对这一问题,阿里本地生活科技中心建立了基于移动感知的aBeacon系统来准确地观测骑手到店和离店行为。这一工作成果也发表在了网络系统领域的顶级会议NSDI’21上。本文将从实现原理为大家做一个简单介绍。
1957 0
送外卖也要“黑科技”?阿里移动感知技术应用揭秘
|
SQL NoSQL 架构师
【重磅】直播预告:宽表数据库领域国际技术大牛开讲
本次非常有幸邀请到两位宽表数据库领域的国际技术大牛,给中文Cassandra社区做技术直播讲座: 1、Jonathan Ellis(Apache Cassandra开源项目最重要的技术元老、开山鼻祖之一,曾以一己之力为Cassandra开源项目贡献了近50%的代码,曾任Apache Cassandra项目主席) 2、邓为:DataStax领航架构师。 直播时间:4月27日16:00-17:30。搜索钉钉群名称『Cassandra+Spark社区大群』提前入群。 文末附开发者福利。
【重磅】直播预告:宽表数据库领域国际技术大牛开讲
|
机器学习/深度学习 人工智能 分布式计算
直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥?
这场Meetup直播一次性安排了当前大数据及AI领域热门话题,你确定不来参见吗?
893 0
直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥?