大数据测试投入生产不会取代Vertica系统-阿里云开发者社区

开发者社区> 轩墨> 正文

大数据测试投入生产不会取代Vertica系统

简介:
+关注继续查看

在新建了四十个服务器之后,TurboTax IT专家发现了基于Vertica大数据搜索时代的漏洞,此时纳税期限也快到了。

当TurboTax数据专家开始注意到Vertica成为征税公司全新的服务器时,离美国税收的最后期限4月15日只剩几周的时间。

就在几个月前,Intuit公司的母公司TutboTax进行集群升级。企业从16戴尔服务器到40作为计划的一部分,将惠普 Vertica大数据分析平台投入生产。

所有公司的业务大多集中在税收季的三个月内,大约一半发生在10天里,这段时间客户会申请填写所得税申报单。

“不确定是输是赢,这是我们最大的挑战,”税收集团的首席数据科学家Massimo Mascaro说。

Vertica公司拥有190名活跃用户,每天有65000个问题。Inuit使用数据来获悉询问用户报税的相关问题。例如,它可以帮助解决退休人员不会问及的学校贷款年轻人不会问及他们的退休收入问题。

“问到这些问题时,会有很多统计推断正在进行,”Mascaro说。

TurboTax还可以预测纳税人是否应该详细列出他们的税收。公司预计这项功能节省了纳税人每年累计200万小时的时间。

去年,TurboTax用16服务器集群运行Vertica作为备份系统,计划进入2015年报税季节生产之前启用40服务器。2014年4月,公司用16个节点进行了一次季度测试,仅有几个生产查询系统利用它来运行,之后的12月份,就开始利用40个节点。

每个节点由一个机架单元的戴尔PowerEdge R620以及两个机架单元的戴尔PowerVault MD1220连接的存储设备组成。

此举仿佛是直觉中的咒语:“在防火测试和防火设施完善之前,是不会投入生产的”。

为了顺利过渡,惠普团队建议TurboTax在相同配置的硬件上运行Vertica来进行生产。新机器与之前的机器应该拥有一样的配置,Mascaro说。

但在今年3月,TurboTax员工发现Vertica的查询时间开始大幅飙升。

临近公司所谓的“第二高峰”——每年税务申报的第二次高峰期,最后一次在4月15日的最后期限之前。TurboTax开始担心,并希望得到惠普的支持。

惠普服务器做了全面分析,发现BIOS在某些机器中的配置不尽相同。48小时后,问题得到了解决,查询时间减少了80%。

“硬件是相同的,但BIOS的配置弄错了,”Mascaro说,“当生产量很大时,Vertica会变得紊乱。”

Intuit员工根本不知道这是一个硬件问题,后来他们才发现已经经历了最严重“性能危机”,Mascaro补充道。

“它看起来很正常,”Mascaro说,“我们可能需要独立地花一段时间把它搞清楚,我们会错过了我们的第二个高峰。”

大数据测试到生产问题

TurboTax遭遇的是从测试到生产过程可能出现众多问题中的一种,专门针对大数据项目和其他需要实时交互性能的应用程序,分析师Mike Matchett说。

在大型服务器环境中投入生产,创造了许多针对服务器配置问题的机会。例如,由于线程的约束,应用程序可能不会利用所有可用的内核和插槽进行适当地自动调整。投入生产也可能产生一些长时间运行的程序,根据低效的共享CPU内存和缓存一致性的理念,这些程序应固定在一个给定的插槽或内核中以避免不稳定。

从测试到生产可能还表明,生产中应用程序的可用内存并非以往认识的那样,也不像在测试中那样会得到最佳配置或分配。

其他IT人员应注意过渡中访问路径的变化,如用户ID和权限,Matchett说。此外,测试环境通常不在其他系统或分批处理的工作负载进行测试,所以服务器管理可以影响处于生产阶段的应用。

担任BMC软件公司UNIX首席性能顾问期间,Matchett始终致力于解决这些问题。

“关于配置错误的问题真是不胜枚举,几本书都写不完。”Matchett说。

原文发布时间为:2015年09月30日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
软考新思维--2017年上半年信息系统项目管理师上午试题分析与答案(试题16-20题)
2017年上半年信息系统项目管理师上午试题分析与答案(试题16-20题) 16.信息系统的安全威胁分成七类,其中不包括()A、自然事件风险和人为事件风险B、软件系统风险和软件过程风险C、项目管理风险和应用风险D、功能风险和效率风险参考答案: 16.
1004 0
【入门指南】使用阿里云Elasticsearch搭建ELK日志系统
本文介绍了基于阿里云Elasticsearch搭建ELK日志系统的基本步骤,并对kibana和ES的日志检索和分析做简要介绍,可作为新手入门指导。
11931 0
《Greenplum5.0 最佳实践》 系统参数 (二)
主要目的是帮助开发者更好的去理解系统参数配置信息,以及配置信息起到的具体作用
2821 0
软考新思维--2017年上半年信息系统项目管理师上午试题分析与答案(试题46-50题)
软考新思维--2017年上半年信息系统项目管理师上午试题分析与答案(试题46-50题) 46.()不属于风险管理计划编制的成果A、风险类别B、风险概率C、风险影响力的定义D、风险记录参考答案: 46. (D) 47.赫兹伯格的双因素激励理论中的激励因素类似于马斯洛的需求层次理论中的“()”。
895 0
软考新思维--2017年上半年信息系统项目管理师上午试题分析与答案(试题41-45题)
2017年上半年信息系统项目管理师上午试题分析与答案(试题41-45题) 41.以下关于项目沟通管理的叙述中,不正确的是:()A、对于大多数项目而言,沟通管理计划应在项目初期就完成B、基本的项目沟通内容信息可以从项目工作分解结构中获得C、制定合理的工作分解结构与项目沟通是否充分无关D、项目的组织结构在很大程度上影响项目的沟通需求参考答案: 41. (C) 42.沟通管理计划包括确定项目干系人的信息和沟通需求,在编制沟通计划时,()不是沟通计划编制的输入。
804 0
Android StatusBarUtil:设置Android系统下方虚拟键键盘透明度
 Android StatusBarUtil:设置Android系统下方虚拟键键盘透明度 Android StatusBarUtil是github上的一个开源项目,主页:https://github.com/laobie/StatusBarUtil StatusBarUtil可以修改Android底部下方系统的原生虚拟键键盘的透明度。
875 0
+关注
2351
文章
701
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载