海量数据处理利器greenplum——初识

简介: 简介及适用场景 如果想在数据仓库中快速查询结果,可以使用greenplum。 Greenplum数据库也简称GPDB。它拥有丰富的特性: 第一,完善的标准支持:GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展;从应用编程接口上讲,它支持ODBC和JDBC。

简介及适用场景

如果想在数据仓库中快速查询结果,可以使用greenplum。

Greenplum数据库也简称GPDB。它拥有丰富的特性:

第一,完善的标准支持:GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展;从应用编程接口上讲,它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL,NewSQL和Hadoop 对 SQL 的支持都不完善,不同的系统需要单独开发和管理,且移植性不好。

第二,支持分布式事务,支持ACID。保证数据的强一致性。

第三,做为分布式数据库,拥有良好的线性扩展能力。在国内外用户生产环境中,具有上百个物理节点的GPDB集群都有很多案例。

第四,GPDB是企业级数据库产品,全球有上千个集群在不同客户的生产环境运行。这些集群为全球很多大的金融、政府、物流、零售等公司的关键业务提供服务。

第五,GPDB是Greenplum(现在的Pivotal)公司十多年研发投入的结果。GPDB基于PostgreSQL 8.2,PostgreSQL 8.2有大约80万行源代码,而GPDB现在有130万行源码。相比PostgreSQL 8.2,增加了约50万行的源代码。

第六,Greenplum有很多合作伙伴,GPDB有完善的生态系统,可以与很多企业级产品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多种开源软件集成,譬如Pentaho,Talend 等。

greenplum起源

Greenplum最早是在10多年前(大约在2002年)出现的,基本上和Hadoop是同一时期(Hadoop 约是2004年前后,早期的Nutch可追溯到2002年)。当时的背景是:

  • 互联网行业经过之前近10年的由慢到快的发展,累积了大量信息和数据,数据在爆发式增长,这些海量数据急需新的计算方式,需要一场计算方式的革命;
  • 传统的主机计算模式在海量数据面前,除了造价昂贵外,在技术上也难于满足数据计算性能指标,传统主机的Scale-up模式遇到了瓶颈,SMP(对称多处理)架构难于扩展,并且在CPU计算和IO吞吐上不能满足海量数据的计算需求;
  • 分布式存储和分布式计算理论刚刚被提出来,Google的两篇著名论文发表后引起业界的关注,一篇是关于GFS分布式文件系统,另外一篇是关于MapReduce 并行计算框架的理论,分布式计算模式在互联网行业特别是收索引擎和分词检索等方面获得了巨大成功。

下图就是GFS的架构

image

总体架构

greenplum的总体架构如下:

image

  数据库由Master Severs和Segment Severs通过Interconnect互联组成。

Master主机负责:建立与客户端的连接和管理;SQL的解析并形成执行计划;执行计划向Segment的分发收集Segment的执行结果;Master不存储业务数据,只存储数据字典。 

Segment主机负责:业务数据的存储和存取;用户查询SQL的执行。

  greenplum使用mpp架构。

image

    基本体系架构

image

master节点,可以做成高可用的架构

image

master node高可用,类似于hadoop的namenode和second namenode,实现主备的高可用。

image

segments节点

image

并行管理

对于数据的装载和性能监控。

image

并行备份和恢复。

image

数据访问流程,数据分布到不同颜色的节点上

image

查询流程分为查询创建和查询分发,计算后将结果返回。

image

对于存储,将存储的内容分布到各个结点上。

image

对于数据的分布,分为hash分布和随机分布两种。

image

均匀分布的情况:

image

总结

GPDB从开始设计的时候就被定义成数据仓库,如果是olap的应用,可以尝试使用GPDB。

目录
相关文章
|
Rust 安全 程序员
Rust与C++:内存管理与安全性的比较
本文将对Rust和C++两种编程语言在内存管理和安全性方面进行深入比较。我们将探讨Rust如何通过其独特的所有权系统和生命周期管理来消除内存泄漏和悬挂指针等常见问题,并对比C++在这方面的挑战。此外,我们还将讨论Rust的类型系统和编译器如何在编译时捕获许多常见的运行时错误,从而提高代码的安全性。
|
BI C语言 索引
Python科学计算库Numpy数值运算基础详解(超详细 附源码)
Python科学计算库Numpy数值运算基础详解(超详细 附源码)
816 0
|
11月前
|
机器学习/深度学习 编解码 文字识别
医疗票据OCR图像预处理:印章干扰过滤方案与代码实现
医疗票据OCR技术能自动提取票据中的关键信息,但在实际应用中面临多重挑战。首先,票据版式多样,不同医院、地区的格式差异大,需借助动态模板匹配技术来应对。其次,图像质量参差不齐,存在褶皱、模糊、倾斜、印章遮挡等问题,常通过超分辨率重建和图像修复算法处理。此外,手写体识别、复杂业务逻辑理解(如医疗术语和费用规则)以及数据安全与隐私合规要求也是技术难点。 为应对这些挑战,快瞳系统采用“OCR基础识别 + NLP语义修正”的混合架构,并结合深度学习模型(如CRNN、Transformer)来提升准确率和泛化能力。该技术能显著提升医保报销、保险理赔等场景的效率,是推动医疗信息数字化管理的重要工具。
973 5
|
6月前
|
前端开发 中间件 API
【剪映小助手】快速开始
capcut-mate 是面向剪映的自动化辅助工具,提供草稿管理、媒体处理、字幕特效及视频生成能力,支持 OpenAPI 与桌面客户端。新增中英文双语支持、智能语言切换(基于 Accept-Language)、跨平台适配(Windows/Linux)及统一响应格式,开箱即用。
1342 6
|
9月前
|
编解码 Linux iOS开发
轻松录制你的Linux桌面(新手也能快速上手的录屏教程)
教程来源https://www.vps5.cn/本文介绍两款Linux系统下优秀的免费录屏软件:功能强大的OBS Studio和简单易用的SimpleScreenRecorder,涵盖安装步骤、使用方法及常见问题解答,帮助用户轻松录制教学视频、游戏或会议内容。
|
SQL 人工智能 自然语言处理
魔搭社区模型速递(8.2-8.8)
🙋魔搭ModelScope本期社区进展:📟2268个模型📁165个数据集;🎨78个创新应用📄 13篇内容
836 0
|
测试技术
金丝雀发布
金丝雀发布
|
人工智能 安全 搜索推荐
《盘古大模型——鸿蒙NEXT的智慧引擎》
华为HarmonyOS NEXT发布,将AI与操作系统深度融合,开启智能新时代。其中,盘古大模型为核心,赋予小艺智能助手超强的记忆、推理和规划能力,支持23类记忆类型及万亿token知识量,实现复杂功能如图片转表格、邮件规划导航等,极大提升用户操作效率。同时,盘古大模型助力开发者快速开发智能应用,降低开发门槛,推动智能生态发展。系统还通过星盾安全架构保障数据安全与隐私,确保用户体验更智能、更安全。
1811 18
|
网络协议 安全 网络安全
申请通配符 SSL 证书的详细流程
申请通配符SSL证书需明确需求并选择知名CA,选择通配符证书,提交域名信息,通过DNS或邮件验证域名,下载证书文件及私钥。最后在服务器上配置证书和私钥,调整SSL参数,确保网站安全启用加密,提升用户信任。
|
监控 Java 测试技术
五步定位性能瓶颈
在进行性能测试前,了解数据流向和系统架构至关重要。绘制数据流向图以识别潜在瓶颈,使用“水池模型”分析系统架构,优化测试流程,以提高测试效率。日志分析是诊断性能问题的关键,通过快速定位问题、保持环境一致性以及灵活调整日志级别来辅助测试。硬件资源占用分析,如CPU、内存、磁盘I/O和网络I/O,能帮助发现底层性能瓶颈。数据库监控,特别是通过等待事件分析,对解决性能问题具有重要意义。最后,服务器监控和代码深度剖析是解决复杂性能问题的终极手段,利用专业工具深入应用中间件,定位软件资源限制和代码层面的问题。通过这些策略,可以系统地识别和解决性能瓶颈,提升系统性能。
53226 4

热门文章

最新文章