• Greenplum在企业生产中的最佳实践(下)

    15.GP搭建大数据集成平台的时候要注意什么?第一,硬件选型要均衡,不能有明显的性能短板。第二,数据容量和未来业务的发展要提前规划好。因为存储层面、容量层面是最容易规划的,这个定了之后,可以选择你采用胖...
    文章 2017-08-02 3459浏览量
  • Greenplum在企业生产中的最佳实践(上)

    一般的机柜是44U,在部署的时候三个机柜一般会放16台2U的X86服务器,对于GP架构,需要控制节点,因为它只是负责元数据的存放和请求的解析、分发,所以它一般不需要有非常的空间,一般建议可以有6块600G的SAS盘,...
    文章 2017-07-29 4898浏览量
  • Greenplum应用最佳实践

    会有内存溢出的风险Comment:必须设置资源队列,否则大数据量查询很容易产生内存溢出异常资源队列具体参数设置:ACTIVE_STATEMENTS:此参数限制队列中同是执行的query数量,当query数量超过此值是则处于等待状态。...
    文章 2021-11-06 351浏览量
  • GPDB·特性分析·Greenplum 备份架构

    GP备份的机制充分利用了每个节点的并行,可以极的提高备份速度。一方面单个节点的数据量可以控制在一定范围,另一方面不同节点之间并行互不影响。而在分布式中,比较麻烦的是保持多节点事务一致性和异常情况的处理...
    文章 2017-03-08 2537浏览量
  • 《Greenplum5.0 最佳实践》系统参数(二)

    计算 gp_vmem_protect_limit,使用Greenplum 数据库可用的内存数GB 除以 所含有的段数据的数量(主段的数量)gp_vmem_protected_limit=gp_vmem/max_acting_primary_segments 注:这里的单位使用的MB,所以 需要对计算...
    文章 2017-10-21 3102浏览量
  • Greenplum数据库,分布式数据库,大数据

    目前使用greenplum数据有将近一年的时间,感觉GP用的挺少的,是一个比较偏的产品。不过随着开源后应该会在olap的应用场景越来越流行,当你看到这个博客的时候应该就在用gp了,你们都是哪些公司的?欢迎盖楼留言。
    文章 2017-09-01 1582浏览量
  • Deepgreen&Greenplum DBA小白普及课之三(备份问题...

    他们生成的数据文件不能被gp_restore使用。gp_dump和gpcrondump不备份全局对象(资源队列、角色等)。这些对象必须使用pg_dumpall来备份。同系列相关文章: Deepgreen&Greenplum DBA小白普及课之一(一般问题...
    文章 2017-07-02 2674浏览量
  • GP的使用心得

    Geoprocessing是GIS三视角之一,能够通过分析处理已存在的数据,在新的数据集中产生结果。可以简单地理解为ToolBoxs中的工具。Geoprocessor是ArcEngine9.2新增的一个基于NET Framework2.0的托管类,所有的...
    文章 2014-12-10 1267浏览量
  • 入门GreenPlum

    你也可以通过 createdb 创建数据库[gpadmin@mpp01~]$createdb-h mpp01-p 5432 GPTEST 查看创建的数据gp_sydb=\l删除数据gp_sydb=DROP DATABASE GPTEST;创建schemaGPTEST=CREATE SCHEMA bdp;查看schemaGPTEST...
    文章 2021-09-10 690浏览量
  • 《Greenplum企业应用实战》一3.3 数据分布

    5)由于数据分布在2和3节点,对应Primary Segment在dell3、Mirror节点dell4上,可通过以下SQL查询gp_segment_configuration获得:testDB=select dbid,content,role,port,hostname from gp_segment_configuration ...
    文章 2017-07-03 1627浏览量
  • ArcEngine尝试读取或写入受保护的内存

    对于这一问题,有两奇怪之处:一是环境未发生改变,昨天能够正常调用GP,今天调用任何GP都报错;二是昨天写的代码还是能够正常执行GP。百度、谷歌了一天,除了检查代码本身的问题,还尝试了各个方面测试:license...
    文章 2016-03-05 1186浏览量
  • Greenplum/Deepgreen主机改名

    Linux上如何修改主机名及重启生效网上资料一堆,这里略过。以运维模式启动数据库 本文模拟的场景是数据库已经关闭的情况下修改主机名,正常运行的数据库需要先关闭数据库然后再操作。此时如果我们使用gpstart命令...
    文章 2017-07-25 1887浏览量
  • Greenplum:你不可不知的实施与维护最佳实践

    近两年,国内的大数据市场逐渐成熟,有真实的大数据处理需求的企业数量呈现爆炸性的增长,从传统的数据库产品往MPP数据库转型的增长势头十分迅猛。Greenplum作为MPP产品的领头羊,具有较低的学习成本,得到了国内...
    文章 2017-05-02 1706浏览量
  • GreenPlum Primary/Mirror 同步机制

    GP master和GP slave却不用担心这些问题,Append Only 表的数据只会存在 Segment,所以WAL日志足够保持GP master和GP slave同步(只要是流复制,pg_control、pg_clog、pg_subtrans 这些文件Slave会自动更新,无需从...
    文章 2016-02-02 5466浏览量
  • GreenPlum的那些事《三》——常用操作

    一方面Linux的iNode可能不会有这么,就会出现文件查询报错等,分区过多了,对于数据库停止和恢复也会造成很影响的。所以建立分区表的时候,对分区进行自动的创建和删除,以保障合适的数据周期很重要。分布键 在...
    文章 2021-09-14 242浏览量
  • 《Greenplum企业应用实战》一3.4 数据压缩

    由于数据压缩比很,从Greenplum Performance Monitor页面可看到,在dell3和dell4上基本没有磁盘写操作,只有读操作,如图3-11所示。建表语句如下: testDB=create table test_compress_2 with(appendonly=true,...
    文章 2017-07-03 1525浏览量
  • GPDB·特性分析·GreenPlum Primary/Mirror 同步机制

    GP master和GP slave却不用担心这些问题,Append Only 表的数据只会存在 Segment,所以WAL日志足够保持GP master和GP slave同步(只要是流复制,pg_control、pg_clog、pg_subtrans 这些文件Slave会自动更新,无需从...
    文章 2016-01-28 1074浏览量
  • GPDB·特性分析·GreenPlum Primary/Mirror 同步机制

    GP master和GP slave却不用担心这些问题,Append Only 表的数据只会存在 Segment,所以WAL日志足够保持GP master和GP slave同步(只要是流复制,pg_control、pg_clog、pg_subtrans 这些文件Slave会自动更新,无需从...
    文章 2016-05-23 2514浏览量
  • 《Greenplum企业应用实战》一导读

    configuration和gp_segment_configuration 4.2.2 Gp_id 4.2.3 Gp_configuration_history 4.2.4 pg_filespace_entry 4.2.5 集群配置信息表转化 4.3 常用数据字典 4.3.1 pg_class 4.3.2 pg_attribute 4.3.3 gp_...
    文章 2017-07-03 2221浏览量
  • 规模数据存储集群数据存放的设计,分布式shardid的...

    还有一些方法可以解决集群的问题,例如多级数据节点、分组数据节点。集群的分组设计举例 计算节点分组 例如有1万台主机,对应一万个数据库单元,划分为一些分组,例如每100个主机(数据库实例),一共100个分组...
    文章 2017-07-13 2833浏览量
  • 如何把数据从 Mysql 导入到 Greenplum

    而且很多客户的数据量相当。在这里我向大家提供几种经过验证的向云上 Greenplum 导入大量数据的方法。一:使用 COPY 命令导入数据 1 COPY语法 特点: 1.Greenplum 提供的原生数据导入方法。2.需要先把数据从 Mysql...
    文章 2016-08-31 8528浏览量
  • Tpc-h测试greenplum性能

    temp_buffers:即临时缓冲区,拥有数据库访问临时数据GP中默认值为1M,在访问比较到的临时表时,对性能提升有很帮助。转用列式存储之后最后的表是22G左右,能够支持mondrian对gp的操作,相应时间1-2分钟,...
    文章 2018-07-06 4001浏览量
  • 《Greenplum5.0 最佳实践》内存与资源队列(四)

    数据库层面上检查 gp_vmem_protect_limit 参数配置。使用下面的例子计算该值 在资源队列中,为每一个查询设置内存配额 是用会话设置来减少查询的 statement_mem在数据库层面减少 statememt_mem 减少集群中节点上段...
    文章 2017-10-27 2704浏览量
  • 阿里云HybridDB for PostgreSQL内存与负载管理...

    CPU、网络、硬盘用超的话,关系不大,因为大不了就是到硬件瓶颈,但是内存用超的话会带来较的负面影响,例如操作系统OOM用户进程,导致数据库崩溃等。如果要达到非常强壮的稳定性,Greenplum内存的配置非常的关键...
    文章 2017-08-26 2547浏览量
  • 数据仓库的概念

    大数据存储:Hadoop HDFS/Hive、TiDB、GP等MPP,替代传统数仓的Oracle、MySQL、MS SQL、DB2等;大数据计算引擎:MapReduce、Spark、Tez,替代传统数仓的数据库执行引擎;OLAP引擎:Kylin/druid,(Molap,需预计算)、...
    文章 2022-04-12 82浏览量
  • 【译】深入了解AirBnb的服务端驱动的UI系统

    GP使用统一的数据服务mesh&xff08;Viaduct.&xff09;跨后端服务利用共享数据层。为了使服务器驱动的UI系统具有可扩展性&xff0c;GP为Web、iOS和Android应用程序使用了单一的共享GraphQL模式——即&xff0c;我们在所有平台上...
    文章 2022-10-21 26浏览量
  • PostgreSQL、Greenplum 日常监控 和 维护任务

    gp_toolkit|gp_log_database|view|digoal|none-这个包含当前数据库日志 gp_toolkit|gp_log_master_concise|view|digoal|none-统计 gp_toolkit|gp_log_system|view|digoal|none-这个包含所有日志 (4 rows) 实际上gp_...
    文章 2017-09-17 7669浏览量
  • bioRxiv|生物发现和设计的不确定性学习

    4总结生物发现通常需要在相当的不确定性下以有限的数据做出有根据的假设。在这项研究中&xff0c;作者展示了生成生物学假设的机器学习模型如何克服这些挑战&xff0c;并提出了一种广泛有用的范例&xff1a;基于神经预训练...
    文章 2021-12-10 62浏览量
  • 如何评估Greenplum master 空间以及segment元数据占用...

    gp_distribution_policy pg_partition pg_partition_encoding pg_partition_rule pg_statistic 仅仅从元数据的角度来看,master比segment存储的信息略多一些,主要是表的分布策略和表分区的定义。如何评估master的...
    文章 2016-04-06 4224浏览量
  • 《Greenplum5.0 最佳实践》SQL 转换

    哈希条件在显示的执行计划中会显示的标记执行哈希连接的字段Nested Loop-迭代一次访问大数据集的每一条记录,每次迭代都要扫描小数据集的全部记录。嵌套循环连接要求参与链接操作的记录需要执行广播操作。在小表间...
    文章 2017-12-06 2649浏览量
1 2 3 4 ... 27 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化