大数据需要高效的存储平台—“4V”金字塔彰显大数据价值

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

由业务驱动的金融大数据

为什么在官方的健康组织还没有发布健康趋势之前,Google就能利用它的搜索引擎准确地预测流行病的爆发? 大数据给我们所有人上了一课,也让我们更加坚信,数据本身是有价值的,关键看你如何处理、分析和使用它。

2013年,中国金融界热议最多的或许是互联网金融。确实,第三方支付、P2P、网贷、众筹融资、余额宝、微信支付等发展迅速。互联网金融如火如荼所依靠的不仅是简单的“通道”,背后隐藏的是大数据时代的鲜明特征:数据的积累和挖掘分析。

如阿里金融,通过数据化的平台开展征信操作,将商户的信贷风险控制在较低的程度,从而能够实现日均100万左右的利息收入;如淘宝运费险“秘密”,根据统计,淘宝用户运费险索赔率在50%以上,也就是说,10个淘宝用户购买运费险,5个以上将会退换货,保险公司需要赔付,仅从保险产品设计的角度,这个产品并不是很成功,该产品仅能带来5%的利润,但是保险公司仍然坚持在做,并且不断有新的保险公司向淘宝“加盟”,其秘密在于,客户购买运费险后保险公司就可以获得该客户的个人基本信息,包括手机号和银行账户信息等,并能够了解该客户购买的产品信息,从而实现其他保险产品的精准推送,保险公司看中的正是5%利润背后更大的数据价值,假设该客户购买并退货的是婴儿奶粉,那么保险公司就可以估计该客户家里有小孩,可以向其推荐关于儿童疾病险、教育险等相关产品,这比5%的利润更有吸引力。这一思路可以继续延伸到金融产品销售、VIP客户挖掘、消费贷款等领域。

不光是互联网企业看到了大数据背后的价值,传统银行也在加速对大数据平台的建设。例如工商银行、建设银行、招商银行、民生银行等都在自建电商平台或已经完成其平台建设,部份银行正在跟京东、苏宁等大型电商平台联手,“躺着赚钱”的传统银行为何要进入这个微利甚至完全是“烧钱”的领域,其背后都是希望通过掌握大数据,来提升银行传统业务的利润。

在企业内部,大数据可以为企业提供更科学的决策依据;在企业外部, 大数据还是收集客户信息,建立360°客户视图,让企业实现精准化营销的工具。从表面看,大数据带来的是一种技术上的变革,它有效地提高了企业和社会的生产力,而在这种技术变革的背后是业务需求使然,是人们对提高效率的不断追求在推动这种变革的发生。

纵向打穿“4V”

在大数据分析工具出现前,商业智能、数据挖掘已经进行了多年,为什么数据的价值没有得到企业充分的重视呢?以前的数据挖掘是对抽样数据进行分析,而且数据分析是离线的,数据的价值没能得到全面、实时的展现。

那么构建一个可用的大数据系统,应该从何处入手呢?

华为抛出了金字塔型“4V”理论,展现了从Volume到Velocity 再到Variety,最终到Value的层次化的递进式的创造大数据价值的方法论。

第一步,企业需要建立一个能够高效处理海量数据的存储架构平台,它既能处理大量的小文件,也能处理单体较大的文件。

第二步,这个存储架构平台要具备极高的处理性能,因为大数据对实时处理的要求非常高。

第三步,这个存储架构平台要能处理多样化的数据,包括结构化数据和非结构化数据。

只有通过前面三步打下的基础,企业用户才能进入最后一步,在一个高效的专门为大数据构建和优化的平台上进行数据分析和挖掘,并最终获得所需的价值。

大数据价值的实现过程是一个递进的逐层深入的过程,但是建立高效的存储架构平台是前提,它是大数据落地的基础。

大数据存储平台是大数据分析的前提

现在人们一谈到大数据,首先会想到Hadoop。其实,Hadoop只是大数据基础架构与上层应用分析之间的一个桥梁,而不是大数据的全部。在广电等很多领域, 大数据处理并不一定要用到Hadoop。现在,使用Hadoop 更多的是一些互联网企业。然而除了互联网大数据以外,行业大数据同样重要,甚至价值密度更高。因此, 将Hadoop与大数据划等号,这是一个认识上的误区。业内一位大数据专家指出,大数据不是一个分析工具,而是新的基础架构。

华为认为,大数据分析的一个重要前提是,必须先建立一个高效的大数据存储平台。那么,高效又是如何来衡量的呢?

高效的第一个衡量指标是就是性能。性能是大数据存储平台的基石之一。比如,中央电视台每晚7:30要准时播出天气预报,如果气象分析要经过24小时才能得到最后的结果,就会错过天气预报播出的时间,即使得到的预测结果再准确也是无用的结果。不仅是在大数据方面, 在整个IT领域,企业用户对性能的追求都是无止境的, 只不过大数据对实时处理的要求非常高,所以高性能对于大数据来说显得尤为重要。

其次,大数据强调的是简化使用,提高效率。如果不具备专业技能和人员,Hadoop的实施将非常困难。简化大数据的使用,其核心是在同一个平台之上针对数据的全生命周期进行管理,尽量避免异构环境下的数据迁移、数据丢失带来的风险等问题。

最后,高效的大数据存储平台应该采用融合的技术架构,即在同一个系统内,实现存储、备份、归档和分析的所有功能,完成对数据的管理,并提供开放的分析接口,与BI软件和应用软件更好的连接,进一步提高查询效率。

此外,在这样一个一体化的结构之上,用户还可以根据业务的情况灵活添加相关的功能模块。而华为大数据存储平台就具备了上述功能。

大数据带来的改变从基础架构层面一直延伸至业务层面。企业的管理者应该意识到,业务的创新需要底层创新的架构来支撑。从业务的角度看,企业的核心诉求是简化应用,实现可持续发展,提高业务的效率,而这些业务目标的实现必须建立在一个合理的、高效的架构之上,只有这样才能更好地发挥IT的作用,获得更大的数据价值。

原文发布时间为:2014年05月21日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
存储 算法 数据挖掘
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
本文介绍了2023年中国高校大数据挑战赛赛题B的Python实现方法,该赛题涉及DNA存储技术中的序列聚类与比对问题,包括错误率分析、序列聚类、拷贝数分布图的绘制以及比对模型的开发。
84 1
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
|
1月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
98 1
|
16天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
【赵渝强老师】基于大数据组件的平台架构
|
1月前
|
机器学习/深度学习 监控 搜索推荐
电商平台如何精准抓住你的心?揭秘大数据背后的神秘推荐系统!
【10月更文挑战第12天】在信息爆炸时代,数据驱动决策成为企业优化决策的关键方法。本文以某大型电商平台的商品推荐系统为例,介绍其通过收集用户行为数据,经过预处理、特征工程、模型选择与训练、评估优化及部署监控等步骤,实现个性化商品推荐,提升用户体验和销售额的过程。
82 1
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
39 4
|
1月前
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
58 3
|
1月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
41 1
|
1月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
28 1
|
1月前
|
存储 算法 NoSQL
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
35 0
|
1月前
|
存储 消息中间件 分布式计算
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
36 0
下一篇
无影云桌面