Teradata技术总监:大数据已成为主流

简介:

本文讲的是Teradata技术总监:大数据已成为主流,“大数据”刚出现的时候,基本上只会用在高端科技类或者硅谷网络分析公司中;到了今天,如银行、电信、保险公司等更为传统的行业也逐渐搭上了这辆“列车”。然而,在Teradata(数据仓库公司)技术总监Stephen Brobst(宝立明)看来,这还仅仅是个开始。

  2012年,许多IT业内人士都发起了关于大数据的讨论,宝立明就是其中之一。在今年TechTarget对他的采访中,他两次提到了他眼中的大数据热潮。在以下的精选采访中,你会读到宝立明对云端数据仓库的憧憬、对内存技术流行的看法以及对移动消费智能的期待。

  问:对于大数据现象,你有什么看法?

  宝立明:大数据热潮主要关注的是大数据的容量,这却恰恰是大数据中最不重要的一方面。拿Geoffrey Moore的“crossing the chasm”采用曲线图(见下图)来说,我们现在就处在裂口(chasm)的左边,即发明者与早期采用者阶段,所有的企业都是高端科技与网络公司。不过,今年有了一点改变,更多的主流公司开始采用大数据分析;这些企业都不是技术公司,或者说得准确一点,与网络无关,比如银行、电信等等。

  问:但是像Hadoop和MapReduce这样的大数据技术,它们不仍然是硅谷网络公司一些核心软件工程师的专长领域吗?

  宝立明:在这个的过程中,Hadoop非常重要。但是,大数据不等于Hadoop;Hadoop目前只适合高端科技和非常专业的公司。其实,Moore的理论对技术专业人士和实用主义者(只为应用技术而对技术本身不感兴趣的人)同样适用。对于Teradata来讲,我们的Aster Data在大数据普及过程中起到了桥梁的作用。去年,使用Aster Data的大客户都是网络公司,像LinkedIn、BarnesandNoble.com等。今年的业务明显偏向主流企业——电信和银行;它们大部分都在美国,这点没错,但相信用不了多久就能够推广到其他地区。

  问:现在很多人都在讨论开源与传统商用关系数据库的利弊。你是怎么看这两者的关系的?

  宝立明:我们现在和Hortonworks的合作关系就是一个典型的例子。他们有很多Hadoop原创开发者,运用的都是开源技术;有趣的是,开发出来的元数据架构不仅可对原始数据进行处理,还能够使数据获取变得更加高效。

  问:你对内存分析的看法是什么?

  宝立明:太火了。可以这么说,内存价格每过18个月就会下降30%,但即便如此,存储所有数据还是花费不菲。当然还有一点,数据容量每18个月就会增长40%,所以内存依旧无法满足数据量需求。SAP正在大肆宣扬HANA可以解决所有问题,这完全是因为受到了甲骨文的影响。知道困兽之斗吧,是Oracle的产业链引发了SAP的不理智行为。SAP每年花在甲骨文身上的钱实在太多了,他们想要剥离Oracle数据库,因此而收购了Sybase,甚至在收购之前Sybase还没有通过SAP应用的认证,他们要将Sybase作为SAP唯一的数据库平台。但要知道Sybase的规模还不足以支撑,对于理性的用户来说肯定不会想简单地听从厂商的摆布。相比较而言,IBM的DB2要更好一些。

  问:但是企业数据仓库现在是不是有点过时了?Teradata的一些竞争对手肯定会这么认为。

  宝立明:这是一个仁者见仁的问题。现在已经不可能把所有数据放到同一个地方了。想想看,如果你把所有的电子邮件和.wav文件全都放到一个数据仓库里行不行?很可能不行。但是,企业内容管理与数据仓库还有区别。对于关系数据来说,集成化数据仓库与一系列小型数据集市比起来更省钱,业务价值也更高。Sybase的模型就是小型数据集市;你最后只能不停地拷贝数据,通过各种方法将它们聚集起来,成本也自然上涨。

  问:你认为云计算对数据仓库有什么影响吗?

  宝立明:公有云架构对数据仓库没有影响,因为企业的CIO不会无缘无故地把财务数据或客户数据放到云上。那样做很危险。但私有云架构确实有影响。第一,通过私有云,你可以巩固数据集市,减少利用率不足的问题。经过几次以后,架构成本也就省下来了。第二,你可以通过灵敏的方式将数据集成,实现业务价值。在集中化解决方案中,业务方面的变化总是来得很慢。不过,你可以在私有云中利用data lab的概念,对另一数据源(内外部皆可)进行集成。这个方法的关键在于,data lab与数据仓库为同一环境,所以你不需要复制集中化数据,也没有安全问题,同时授权给了用户一种非真实的网格计算方法,与云的概念类似。

  问:在企业IT中,云计算与移动化常被同时提到,认为会改变游戏规则。你是怎么看移动技术对数据仓库与BI的影响?

  宝立明:我们的主要概念是“消费者智能”(“consumer intelligence”)。我们的团队主要关注于公司员工的决策制定。消费者智能就是为那些是我们客户的消费群体提供智能服务。这样一来,移动设备必不可少。我们在英国的案例是莱斯银行,美国的是富国银行,提倡你就是自己家庭的CEO。还有一个案例是在公共事业领域。南加州爱迪生公司(美国第二大电力公司)实施了智能电表(smart metering)以后,在他们的网站Sce.com上,消费者可以分析自己能源消费的类型。移动消费者智能可谓大势所趋。

作者: 茶一峰 

来源: IT168

原文标题:Teradata技术总监:大数据已成为主流

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
5月前
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
1137 0
|
7月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
512 4
|
8月前
|
存储 分布式计算 Hadoop
Hadoop框架解析:大数据处理的核心技术
组件是对数据和方法的封装,从用户角度看是实现特定功能的独立黑盒子,能够有效完成任务。组件,也常被称作封装体,是对数据和方法的简洁封装形式。从用户的角度来看,它就像是一个实现了特定功能的黑盒子,具备输入和输出接口,能够独立完成某些任务。
|
5月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
607 79
|
7月前
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。
|
7月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
7月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据在智能物流运输车辆智能调度与路径优化中的技术实现(218)
本文深入探讨了Java大数据技术在智能物流运输中车辆调度与路径优化的应用。通过遗传算法实现车辆资源的智能调度,结合实时路况数据和强化学习算法进行动态路径优化,有效提升了物流效率与客户满意度。以京东物流和顺丰速运的实际案例为支撑,展示了Java大数据在解决行业痛点问题中的强大能力,为物流行业的智能化转型提供了切实可行的技术方案。
|
8月前
|
数据采集 自然语言处理 分布式计算
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
|
8月前
|
存储 分布式计算 算法
Java 大视界 -- Java 大数据在智能教育在线考试监考与作弊检测中的技术创新(193)
本文探讨了Java大数据技术在智能教育在线考试监考与作弊检测中的创新应用。随着在线考试的普及,作弊问题日益突出,传统监考方式难以应对。通过Java大数据技术,可实现考生行为分析、图像识别等多维度监控,提升作弊检测的准确性与效率。结合Hadoop与Spark等技术,系统能实时处理海量数据,构建智能监考体系,保障考试公平性,推动教育评价体系的数字化转型。