《智能数据时代:企业大数据战略与实战》一1.4 大数据处理的微妙之处-阿里云开发者社区

开发者社区> 华章计算机> 正文

《智能数据时代:企业大数据战略与实战》一1.4 大数据处理的微妙之处

简介:
+关注继续查看

.本节书摘来自华章出版社《智能数据时代:企业大数据战略与实战》一书中的第1章,第1.4节,作者 TalkingData ,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.4 大数据处理的微妙之处

处理不同类型数据的方式正趋于一致,因为进行数据处理的设备和应用程序都设置了指定的XML格式,以及特殊行业所专用的XML数据标准(如保险业的ACORD标准、健康医疗产业的HL7标准)。XML技术扩展了大数据分析和集成工具可以处理的数据类型,但这些技术的转换能力仍然受到数据复杂性和数量的限制,从而使得现有的数据类型转换工具和数据转换的需求不匹配。因而开启了新类型的通用型数据类型转换工具的大门,新的转换工具能够适用于各种数据类型的转换与融合,而且不用编写代码,同时还能适用于任何应用程序或者平台架构。
大数据概念的定义和相关分析工具的开发都还处于不断改进的状态,这些应用工具、技术、程序仍在不断演变。然而,这并不意味着那些要从大数据集中寻求价值的人应该等待。大数据对商业运作来说太重要了,不能采取等待和观望的方法。
真正窍门在于发现能处理多种类型数据的最优方式,同时还能保证满足数据分析过程的目标。最好的做法就是把硬件、软件和应用程序结合在一起形成一种可管理的程序,从而在有限时间内传递数据结果。
存储也是大数据的关键要素。数据必须存储在一个易于访问且易于维护的地方。这对大多数企业和组织而言需要很高的成本,因为基于网络的数据存储如SANA和NAS等的购买和管理都很昂贵。
数据存储技术已经发展成为典型数据中心常见的元素之一,因为数据存储技术已经成熟且开始商业化。然而,现代企业不断变化的需求仍对存储技术施加压力,把BI引入大数据的分析就是一个比较好的佐证。
大数据分析程序需要超出传统存储模式的存储能力。传统的存储技术如SANS、NAS等都无法处理兆级和千兆级的非结构化数据。因此,大数据分析程序的成功运行需要一种处理大量数据的新方式,以及一种新的数据存储平台理念。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
企业中直播系统的融入,让办公处理更加便利
如今的互联网发展非常快,人们的起居生活出行方式与互联网都息息相关,其中也囊括了办公环节。企业需要一个多样化沟通的需求,而近年来盛行的直播系统就恰好可以满足企业这样的需求,可有效地提高办公间的沟通和办公效率。
71 0
Python系列直播——深入Python与日志服务,玩转大规模数据分析处理实战
Python系列直播——深入Python与日志服务,玩转大规模数据分析处理实战
4843 0
基于 MaxCompute 的实时数据处理实践
MaxCompute 通过流式数据高性能写入和秒级别查询能力(查询加速),提供EB级云原生数仓近实时分析能力;高效的实现对变化中的数据进行快速分析及决策辅助。当前Demo基于近实时交互式BI分析/决策辅助场景,实现指标卡近实时BI分析、近实时市场监测、近实时趋势分析、近实时销量拆分功能。
541 0
大数据处理书籍
apache yarn http://www.amazon.com/Apache-Hadoop-YARN-Processing-Addison-Wesley/dp/0321934504/re...
574 0
使用 Kafka + Spark Streaming + Cassandra 构建数据实时处理引擎
Apache Kafka 是一个可扩展,高性能,低延迟的平台,允许我们像消息系统一样读取和写入数据。我们可以很容易地在 Java 中使用 Kafka。 Spark Streaming 是 Apache Spark 的一部分,是一个可扩展、高吞吐、容错的实时流处理引擎。
2829 0
人工智能如何改变医疗保健 实时数据分析对医疗保健至关重要
科学家认为,人工智能可以使人类摆脱许多领域的例行任务。医疗保健似乎是最需要这些更改的领域。
486 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载