Greenplum开发:一个值得记住的错误

简介:

今天调试一个java程序,原来是连Teradata取数,现在要改为连Greenplum取数。这个程序较长,前端界面的数据项不少。

好不容易到了测试环节,发现一个奇怪的“问题”,连着几个简单的SQL,前面几个查到数据了,后面几个没查到。肿么回事?把SQL提出来看一下吧,一个个的在象鼻子那里跑得挺欢,都查出结果了。这下可是真糊涂了!

逐行调试吧!一遍又一遍......百思不得其解,就要心灰意冷的时候,逼自己静下心来想一想,唉,原来“答案”近在眼前:java程序连接的是FRONT库,象鼻子连的是ETL库;java程序查不出数的原因是FRONT库缺少数据。

反思一下为什么会犯这样的低级错误呢?大概是因为这是第一次正儿八经的用java连Greenplum,一上来接触的就是复杂的程序逻辑,心里多少有些不踏实吧。

考虑到随着数据分析环境规模和复杂度的增长,同一个程序在不同的数据源上运行而不会报错的概率呈上升趋势。搞错数据源的可能性不容忽视,这次犯的错误值得一记。




 本文转自 hexiaini235 51CTO博客,原文链接:http://blog.51cto.com/idata/1176242,如需转载请自行联系原作者


相关文章
|
10月前
|
SQL 监控 关系型数据库
「性能调优」PostgreSQL扩展到12亿条/月的经验教训
「性能调优」PostgreSQL扩展到12亿条/月的经验教训
|
10月前
|
SQL 缓存 关系型数据库
【PostgreSQL 架构】PostgreSQL 11和即时编译查询
【PostgreSQL 架构】PostgreSQL 11和即时编译查询
|
SQL 关系型数据库 PostgreSQL
Citus 11(分布式 PostgreSQL) 文档贡献与本地运行
Citus 11(分布式 PostgreSQL) 文档贡献与本地运行
158 0
Citus 11(分布式 PostgreSQL) 文档贡献与本地运行
|
SQL 缓存 关系型数据库
分布式 PostgreSQL,Citus 11.x SQL 参考(中文手册)
分布式 PostgreSQL,Citus 11.x SQL 参考(中文手册)
508 0
|
SQL 关系型数据库 Java
AnalyticDB PostgreSQL新功能发布,内核及SQL诊断与优化能力双双升级
新版本内核提升排序及查询能力,支持增量自动排序等核心功能。 控制台进一步优化智能诊断与能力服务,提供SQL分布统计及执行计划分析
AnalyticDB PostgreSQL新功能发布,内核及SQL诊断与优化能力双双升级
|
Web App开发 SQL Oracle
PostgreSQL vs PPAS 差异 - Oracle评估、迁移、验证、性能调优
标签 PostgreSQL , PPAS , 阿里云 背景 1、ppas手册(高度兼容Oracle): https://www.enterprisedb.com/docs/en/11.0/EPAS_Oracompat_Ref_Guide_v11/toc.
1716 0
|
SQL 关系型数据库 测试技术
PostgreSQL pgbench tpcb 海量数据库测试 - 分区表测试优化
标签 PostgreSQL , pgbench , tpcb 背景 pgbench是PG的一款测试工具,内置的测试CASE为tpcb测试。同时支持用户自己写测试CASE。 大量自定义CASE参考 https://github.com/digoal/blog/blob/master/201711/readme.md 当我们使用tpcb测试CASE时,如果生成的数据量过于庞大,例如我最近在生成1万亿的CASE,可以考虑使用分区表,但是目前PG内置分区表的性能在分区非常多时,使用PREPARED STATEMENT会导致性能下降。
1825 0
|
存储 运维 算法
分析:Greenplum发布6.0
消息见:https://greenplum.cn/2019/03/20/greenplum6-0/?from=timeline&isappinstalled=0 Greenplum 6.0在社区陆陆续续也是做了很久,从2017年就开始规划功能,到如今落地历时两年。
4892 0
|
SQL 存储 关系型数据库
PostgreSQL 10.1 手册_部分 II. SQL 语言_第 14 章 性能提示_14.2. 规划器使用的统计信息
14.2. 规划器使用的统计信息 14.2.1. 单列统计 14.2.2. 扩展统计 14.2.1. 单列统计 如我们在上一节所见,查询规划器需要估计一个查询要检索的行数,这样才能对查询计划做出好的选择。
1106 0

相关产品

  • 云迁移中心