胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 一、楔子   胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还是我本就苍老,顺应了IT行业的需要。25岁那年,曾被跟我一样高的漂亮美眉叫叔叔,从此再也不敢打小姑娘的注意,走上了重口味热爱阿姨级别女性的不归路;曾被三十五、六岁的同事阿姨说苍老:看你也就三十五六吧,那年我25;周一的时候,还有一个60后的同事问及我的年龄,他很含蓄的,明显带着保留的口吻问我:你是75年的吧?因为他一直认为和我一般大。

一、楔子

  胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还是我本就苍老,顺应了IT行业的需要。25岁那年,曾被跟我一样高的漂亮美眉叫叔叔,从此再也不敢打小姑娘的注意,走上了重口味热爱阿姨级别女性的不归路;曾被三十五、六岁的同事阿姨说苍老:看你也就三十五六吧,那年我25;周一的时候,还有一个60后的同事问及我的年龄,他很含蓄的,明显带着保留的口吻问我:你是75年的吧?因为他一直认为和我一般大。然后...然后泪奔。关于体型方面也是个悲剧、三围相等,体重大于身高的角色,算是已经胖出了一定层次,每次听到别人叫我胖子,就感觉小小的自尊多少受到了伤害,然后就给自己在后面加了一个哥子,算是给自己遮半张脸吧。闲话就聊到这里,还是继续胖子哥的大数据之路吧,这次要谈的还是数据仓库。

二、实时查询数据库-HDFS&HBase

  传统关系型数据库基于存储模式的问题带来的存储和访问瓶颈,是无法靠自身解决的,也就有了基于Big-Table型的NoSQL数据库用武之地,比较典型技术组合就是HDFS+HBase,利用HDFS的分布式、高可用数据存储,结合HBase面向列的数据存储模型,从而解决大数据量存储的问题;结合HBase基于Rowkey自然序的存储,从而实现海量数据快速查询。当然这种模式只适用于结构型数据,而且只适用于历史数据查询,而不适用于事务型业务的处理,从而产生了大数据在结构化数据存储方面的第一种模式:实时查询数据库;

三、大数据仓库-HDFS&Hive

  基于关系型数据库的数据仓库,同样面临数据存储规模的问题,因此在银行业务中,同样也只能存储短期的数据,其目标在在于支持基于业务年度的报表统计和业务分析,而对于超过一定期限的数据仍然在走数据磁盘或磁带存储的模式。基于大数据技术体系,采用HDFS+Hive的模式,构建大数据仓库,则可以很轻松的解决数据大基数存储的问题。从而产生了大数据在结构化数据数据存储方面的第二种模式:大数据仓库;

四、替换还是互补-大家来回答,期待你的答案

  问题一

  实时查询数据库能否替换实时操作数据库吗?

  问题二

  大数据仓库可以替代数据仓库吗?

五、关于大数据题外话  

  曾经就干货与湿货的问题,与人发生过争辩,还是不淡定了。其实对于一个口渴的人,水就是干货,同样,对于一个迷路的人,指南针就是干货。见仁见智的事,不再做争辩。重在分享,送给大数据传统企业应用实施的探路者们,送给需要的人,立此存照。

  持续更新中,未完待续。。。。

  下期预告:大数据仓库项目的需求分析该如何去做。敬请期待。

 


作者:张子良
出处:http://www.cnblogs.com/hadoopdev
本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 分布式计算 算法
大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
47 0
|
5月前
|
存储 NoSQL 大数据
【大数据】LSM树,专为海量数据读写而生的数据结构
【大数据】LSM树,专为海量数据读写而生的数据结构
111 0
|
6月前
|
算法 Java 大数据
大数据Java工程师必备____2021年数据结构思维导图!
大数据Java工程师必备____2021年数据结构思维导图!
130 0
|
6月前
|
存储 算法 NoSQL
【云计算与大数据技术】Bloom Filter、LSM树、Merkle哈希树、Cuckoo哈希等数据结构的讲解(图文解释 超详细)
【云计算与大数据技术】Bloom Filter、LSM树、Merkle哈希树、Cuckoo哈希等数据结构的讲解(图文解释 超详细)
73 0
|
算法 大数据 图形学
大数据开发基础的数据结构和算法的算法思想的递归
在大数据开发中,递归算法是一种基础算法思想。它通常用于解决复杂问题的求解和实现,通过不断地将一个问题分解成更小的子问题,最终得到问题的解决方案。
94 0
|
算法 大数据 开发者
大数据开发基础的数据结构和算法的算法思想的回溯
在大数据开发中,算法的思想对于解决各种问题都非常重要,其中回溯算法是一种非常重要的算法思想,它可以用于解决许多实际问题,并且具有高效、可扩展等优点。
124 0
|
算法 大数据 定位技术
大数据开发基础的数据结构和算法的算法思想的动态规划
当今,随着大数据的广泛应用,数据结构和算法成为了大数据开发中不可或缺的一部分。动态规划作为其中的一种算法思想,被广泛使用于求解最优化问题。本篇文章主要介绍大数据开发基础的数据结构和算法的算法思想的动态规划。
99 0
|
算法 大数据 开发者
大数据开发基础的数据结构和算法的算法思想的分治
在大数据开发中,算法的思想对于解决各种问题都非常重要,其中分治算法是一种非常常见的算法思想,特别适合处理一些复杂的问题。
99 0
|
算法 大数据 调度
大数据开发基础的数据结构和算法的算法思想的贪心
大数据开发中,算法的思想对于解决各种问题都非常重要。其中,贪心算法是一种非常常见的算法思想,特别适合处理一些最优化问题。
86 0
|
机器学习/深度学习 算法 大数据
大数据开发基础的数据结构和算法的算法思想的枚举
在大数据开发中,枚举算法是一种基础算法思想。它通常用于解决简单问题的求解和实现,通过枚举所有可能的情况并比较其结果,来找到最终的答案。
103 0