开发者学堂课程【高校精品课-上海交通大学-企业级应用体系架构:HBase&Hive 2】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/75/detail/15847
HBase&Hive 2(三)
内容介绍:
一、Hive 是什么
二、读模式与写模式
三、artitions and buckets 分区和桶
四、常用的语法
五、云计算
五、云计算
下图是我们之前看到过的那个 MapReduce data 分布式文件系统。
最后的 percolator 是我在讲提了一下,把它放到这里。上节课我提到过 hbase 里面的事务处理不理想,它提出的 percolator 是如何去处理的?我们谈谈边缘计算是什么?云边融合,边缘计算指的是什么?
1.什么是云计算
下面是一篇云计算的论文,为什么它比较经典,因为它的作者称为 Ian Foster 。最早的分布式的系统还有网格计算就是 Ian Foster 提出来的。那网格计算词是什么意思?最初 Ian Foster 他们那一代人它们想的是互联网上大规模的并发的分布式的计算场景,应该是人人都把电脑挂在互联网上,当要用互联联网时,就去把任务提交。但它就会去找这些在挂到互联网上的这些机器,谁有空闲资源就让谁做。是一种人人为我,我为人人的状态。即你的机器空闲时也要能接受别人提交的请求拿来以后进行处理。
像我们说的输电线的电网,电网是把插头插在插座上,不用担心电从哪里来, Ian Foster 希望所有的计算资源能够像方式一样去执行和共享。想法虽然好,但实际上推广不开,因为并不是所有人都愿意把电脑一直挂在网上供别人使用。于是就会有一些大公司出面,提供大量的电脑做成集群,往外提供服务。像云一样,里面到底有什么样的物理机?到底的应运行在哪里,都不用在意。一方面它是在云端的远程资源共享,不用去关心它在哪里。第二点是云里面是看不进去的,对你来说像是灰色,即应用今天在云里面的这一台机器上运行着,明天一般就迁移到另外一台机器了。那到底怎么迁?这是云提供商,它根据它的策略去提供是去执行的。但是整个这件事对来说是透明的,对使用者来说是无感。应用总是在云里面在运行,不会有什么其它的问题。当这台机器崩时,它会自动迁移到另外一台机器上去。因此提出这样的一种计算方式,不需要人把自己的电脑挂在互联网给别人去共享,因此它更容易被接受。
大公司把资源暴露出来给用户使用,那只要付少量的钱去租用,就实现了的就去租用它的系统,等于就掌握了计算资源。于是 Ian Foster 就发现云计算能推广开,网格计算推广不开,经过全方位的对比。 Ian Foster 就提出来,在他看到的云集算是为大规模的分布式计算场景。他要强调的是资源虚拟化,动态可扩展。当的资源不够时,可以添加新的计算资源,所有的计算能力全部是新受云中心管理的。包括 CPU 存储平台,还有服务等等,这是它的观点。至少是在他眼里看到这些硬件和软件的东西以服务的方式暴露出来,给大家去共享。
底下是伯克利写的文章,年代也比较久远,在云计算刚出来时,他提出了云之上的概念。他认为云其实是通过互联网把在数据中心里面持有的大量的硬件和上面安装的系统软件,通过互联网的方式以服务的形式暴露出去给别人用。其描述了它的具体的技术路线和他的实现方案。需要有大量的计算资源,一般为硬件,甚至是软件。这些软件里面提供了一些服务,它们整个通过互联网的方式暴露出去,无论是硬件平台还是软件,全都以服务的形式暴露出去,即为云计算。
因此如果是软件,那么 SaaS 。如果是硬件,就看具体是何种硬件,是要纯粹的硬件 infrastructure 只暴露服务器,如果是平台,即给计算机装好系统之后即不为裸机,只有操作系统,是例如中间件、数据库,全部都装好,甚至是这些本身是本机器提供的服务,在机器里可以使用,这就是平台级服务。如果平台把软件都提供出来,那就软件级服务,总之要通过互联网能够被共享,这是第二个观点。
第三个为 ACM 美国计算机协会,他是在云计算上的技术专家组提出来的,他认为云计算核心为资源共享,所有的资源具有无限的可扩展性,即放到云里不用担心资源不够。这是理想状态,理论上它肯定有上限,但是对于用户来说,就像想要资源它就有,它可以做增量式的成长。因此在云计算的云里面去租借了系统之后,当的资就资源不够,例如随着业务的增长,需要更多资源时,它可以给提供无限的可扩展性,这就是他们对云计算的定义。
三个定义有个共同点就在于资源共享,不过资源到底是软件还是硬件还是平台,要去限定,因为它有多样性。
但都为资源共享,而且它就在远端是通过网络去共享,这即所谓的云。现在看到的所有云都是以上三种形态,例如阿里云、百度云,它们都不在我本地,都在远程,我可以使用上面的云网盘或者是它上面的虚拟机,把它们的资源共享出来给我。共享是需要收费的,但是总比去买一台计算机或者是买很大的网盘,很大的硬盘去存储的数据要便宜,并且它更安全。不用担心硬盘会不会坏,服务器会不会崩,出现情况时,它会自动地把我的数据和服务器去迁移,因此它的可靠性提高,这为所谓的云。