本文讲的是Teradata李向前:大数据平台的八大特征,在IT业界,2012年最火的是什么?无疑莫过于大数据。对于大多数企业,随着互联网、移动互联网以及企业自身应用系统的普及,企业的数据正呈现前所未有的快速增长,特别是非结构化数据,如视频、图片、微博碎片化数据等给企业带来很大挑战。
IDC的研究表明,2009~2020年,全球数字信息量将实现44倍的增长,其中需要管理的文件数将增加67倍,总存储容量将增长30倍。企业在PB级甚至EB级的数据中寻找相关信息无异于大海捞针,制订信息驱动决策的成本和复杂性将与日俱增。
在这个数据量爆炸式增长的大数据时代,面对日益增长的非结构化和多结构化数据洪流的冲击,企业如何管理、分析数据,发掘数据价值并形成洞察力,已经成为企业提升竞争力的关键因素。为此,IT168日前采访了Teradata天睿公司高级解决方案顾问李向前,就当前大数据的显著特征、大数据平台应该具备的技术特征,以及大数据解决方案技术路线及趋势等进行了探讨,以飨读者。
大数据的五大显著特征
在谈及大数据时,李向前认为大数据对于Teradata是一个非常重大的机遇。从总体趋势来看,大数据与传统数据相比具有以下显著特点:
第一、数据规模;
第二、数据类型;
第三、数据处理能力;
第四、数据的分析方式;
第五、数据的投资成本。
这五方面是企业用户特别关注的关键因素。而在技术发展路线方面,李向前指出,目前大数据的技术发展路线主要分为两大类:
第一、以Teradata为代表,在RDBMS上面引入MapReduce构建大数据分析平台。它的优势是既可以借鉴MapReduce过程并行机制的优势,同时也发挥已有MPP数据仓库并行处理的能力。
另外,这种类型的产品已经经过多年的实践验证。比如MySpace、AT &T等都在使用Teradata Aster平台,而且商用化程度比较高,已经成为标准化的产品。
第二、开源大数据技术路线。目前两个比较有代表性的方案就是Cloudera和Hortonworks,而国内也有服务商开始尝试走开源大数据技术路线。
不同的服务商进行针对性论证以后,分别选择了不同的技术线路路径。例如Teradata选择了Aster路线,而有些服务商则选择了开源路线。总体来看,大数据市场的竞争还是比较激烈的。
企业级大数据平台八大特征
李向前向IT168记者表示,从大数据未来发展来看,大数据分析规模势必会达到PB级,这种大规模数据趋势对于Teradata来讲更多是机遇。据了解,Teradata目前在国内已经有部分客户的数据规模超过PB级,都已经迈入了PB级时代。但是,目前的大数据分析更多还是专注于企业内的结构化数据,未来移动互联网分析的数据、电子渠道数据也会融合到大数据分析的范畴之内。
对企业来讲,他们逐步开始了大数据认识的观念转变,即由过去数据分析层面逐渐向数据资产的角度演变。李向前认为,过去数据分析是要挖掘结构化数据的价值,探索用户的行为特征。而未来,企业会把数据当作资产,可以向企业内部或者外部的各个部门,以及外部企业或第三方公司提供分析服务。
企业既然把数据作为重要的资产来管理,就需要对数据资产进行有效性的划分。厘清有效资产,借助于大数据分析平台,去验证数据带来的价值。
据了解,Teradata一直主张所有系统的建设都以业务价值为驱动,同时也建议用户首先在大数据平台上进行探索,先看清楚它能产生的价值,然后再考虑用什么样技术去扩展业务支撑的领域。这说明,Teradata的理念与大数据的理念是一致的。
提到大数据分析平台,李向前认为,对于企业级用户来讲,首先是要满足业务需求,其次只有当大数据平台具备以下八大技术特征,才能够符合企业级用户的需求。
第一、标准性
它应该支持多个SI都可以做开发,而不应该受到限制。
第二、易用性
使用要简单,不改变业务的使用习惯,避免冗长的开发过程耽误营销时机。
第三、易管理
大数据系统的规模可能达到成千上百个节点,规模可能都在PB级以上。管理系统的挑战就更高,就需要提供集中的、便捷的管理方式,确保IT人员或者开发人员非常容易地管理系统。
第四、高可用性
如磁盘故障、网络故障、服务器故障等都有可能影响大数据平台的稳定性或者连续性。
第五、成熟性
采用商用化的成熟产品,而不是每天一个版本去升级,没有办法满足应用需要。
第六、高效性
现在主流的大数据分析都用到MapReduce技术,在MPP基础上,能够引入MapReduce做到过程的并行化,以实现更高的效率。
第七、互通性
企业内部搭建企业级数据仓库,在引入大数据分析平台后,如何形成合力满足企业分析的能力?这就需要做到两个平台互通,要能做到接入全局数据可用,做到数据的透明访问。例如,访问大数据分析平台就可以透明地访问到原有企业级数据仓库平台的数据。
第八、安全性
随着数据安全提高到更高的层面,必须做到敏感数据的安全管控,包括个人身份信息、地址信息等隐私或者敏感信息,在大数据分析平台也应该具备这样的能力。
Teradata支撑企业大数据完美落地
李向前详细地向IT168记者分享了大数据的特点、技术特征以及企业用户对于大数据的需求。那么,有着30多年数据分析经验和数据仓库产品的Teradata能够大数据时代扮演什么角色?同时,又能够提供哪些产品与服务来帮助企业实现大数据“完美”落地?
据李向前介绍,Teradata在中国深耕电信和金融行业,同时随着业务发展,已经积极拓展到交通、航空、能源、制造等广泛领域。专注于数据仓库领域的Teradata,无论在数据仓库还是大数据分析平台都积累了丰富的经验。
在产品方面,Teradata平台都是按照客户需求打造的专业平台,对于大数据分析需求,Teradata的Aster能够满足企业需求;对于企业级数据仓库,用户可以使用 Teradata的动态数据仓库或者部门数据仓库。总之,Teradata有不同的系列产品可以满足需求。
“在大数据新的形势下,混搭其实已经成为非常流行的词汇。其中,我们最新的解决方案已经与Hadoop形成了混搭模式的探索,并且已经正式与Hortonworks合力深耕大数据,发挥各自擅长,发布大数据分析架构,以更好地满足企业需要。”李向前说道。
在服务方面,Teradata一直以来坚持用两种服务满足客户需求:一是行业顾问;二是业务顾问。这两个角色都是为了给客户提供更好的帮助和服务。
Teradata专注于数据仓库领域几十年,积累了广泛的行业知识和经验,启发客户去做主动探索。Teradata预见到大数据对企业决策的重要性,为企业提供自助式服务,这也是全球首家提出的未来分析服务方式。
这种自助服务就是要尽量发挥业务人员和IT人员的主动性。业务人员可以基于大数据分析平台进行快速实验,利用Teradata的工具,可以非常简单地自行导入数据,将会在几秒钟或者几分钟之内获得结果来验证数据的价值。
比如,eBay在2009年搭建了A3S(Analysis as a service)架构,其中构建Data Hub的思路其实完全就是Teradata理念的体现,所有的业务员都可以通过自助服务使用企业级的内容和数据。过去用户都是采用被动式服务,而大数据平台更多是自助服务,提供便捷化或者简单化的自助服务工具。
另外,Teradata在大数据领域更加明显的优势是,Teradata首家允许在数据仓库平台申请自助空间。在Teradata申请账户,就可以便捷地导入外部数据,也可以看到整个企业内的已有数据,用户可以把多种数据进行结合,原有的企业数据仍然可以发挥效益,同时可以拓展新渠道的数据,整合到大数据分析平台上。自助式服务将帮助用户了解自己的数据,而且知道操作过程,并能快速获得结果响应。这些优势也体现出自助服务的两个最大特点:自助和快捷。
针对于规模小且要求便捷性的企业,Teradata提供Aster一体机方案——大数据处理专业化平台,用以支持企业快速部署和开箱即用的模式。
据了解,Teradata自创立伊始就坚持一体机的路线。从传统的数据仓库平台,到大数据处理平台一直都传承这样的理念。Teradata大数据处理平台,是企业数据仓库加MapReduce的架构,而其它厂商的一些产品多是选择开源路线,是做了Hadoop的产品封装。实际上,Teradata Aster在全球拥有很多客户,已经在生产环境中正式使用了,而其他产品相对来说还没有真正落地。
Teradata Aster提供一体机解决方案,也提供另外两种解决方法:一种是云计算解决方案,企业用户可以把Aster部署到云平台上;第二种是选择Aster Software Only。作为最佳实践,一体机解决方案已经做了大量的集成、优化,后期管理成本会非常低。
李向前指出,Teradata Aster作为大数据处理平台,具备以下三点优势:
第一、数据规模。Aster支持数据规模可以达到PB级,已经有实践案例证明。
第二、数据类型。Aster既支持结构化数据处理,也支持非结构化数据处理,这是它的独特之处。
第三、分析方式。像SQL一样去写MapReduce程序。
作者: 李伟
来源: IT168
原文标题:Teradata李向前:大数据平台的八大特征