Cloud Computing 1(二)|学习笔记

简介: 快速学习 Cloud Computing 1(二)

开发者学堂课程【高校精品课-上海交通大学-企业级应用体系架构:Cloud Computing 1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/75/detail/15848


Cloud Computing 1(二)


刚才讲的数据存储 bightable 是带时间戳的。存储时是一个表。这些表都很大,分了很多块。

然后会有 root 来记录整个在哪里是如何分布的。这个访问是一个初始点是一个锁。他的访问是加锁处理的。Bightable 是通过列来处理的。会有一个文件交给文件系统来做处理的。 

读顺序是需要把数据和他的副本同时进行处理。必须要同步才可以。比较浪费时间。这个 table 是依赖 blhdf 属性系统。所以没有按行来支持的好是因为没有事物本身,就是指在数据库里要插入一行或者删除也行。

对行操作事物支持不好。所以我们活跃这个东西后,在 google 提出如果你在更新一个大的数据集的时候。应该怎么去更新这个类似于事务管理。这是这种结构补充他是怎么做的,这里不进行详细讲解,总结是进行事务的管理。比如先熟悉里边的术语。在两阶段提交协议是指里面会有一些截取出来的信息,在后面会用到。没锁住的再写上,这是我还没取消这个是不是这个数据已经被踢掉了?在里面看到的。就是这个事物提到过之后的这个状态。如果被锁住了没有提交。实际指的是数据被提交了。看见的是提交后的状态是数据本身。现在是能看到存储的本身,是在访问其他的观察者。其中设计模式中有观察者,通知其他数据发生了变化也有发生了应答。

image.png

我们举个最简单的例子,有两个人要转账。在初始状态一下。一个有两块钱一个有十块钱。

他们的余额是存储的 data。是数据本身。当前处于什么状态就是目的操作。现在什么都没有是因为还没开始执行,前面这个数字上表示的是时间戳。这样的时间戳看到的 red 表示存储这个数据的时间戳。六这个时间戳上的这个版本上。他的这个状态是五的时间戳的状态。是说现在时间已经跑到6,但是没有看到东西。所以读到10。时间不断的在往前发生变化。因为现在要去做转账操作,是在第六个时间戳需要要做转账操作。所以现在这个时代看到的数字是10。Bob 的账号先锁住,然后做转钱的动作。我要转过去七块钱,然后值就变成了3。

在七这个时间戳上要进行转账,这时已经写进去了三。然后在锁这个这一列加上锁。因为我们做的是一个转账,所以先把它锁住再加到底下。七这个时间戳没有东西是当用户来读取这个数据的时候,它先要看当前提交了之后的,在事务提交之后的数据。现在我能看到谁,七这个状态没有,就往前追溯,但是到5这个状态,也就是说钱被扣掉七块变三块的过程。

别人只能看到的是五这个状态的数据,所以看到的仍然是十。然后要去 joe 锁住。但是要把钱加过来是九。他的锁要锁住,因为跟他是一体的。所以锁是跟 bob 上面那个的锁是一体的。

现在这个事务没有提交,所以当别人在读取时发现七个状态没有往前追溯五这个状态。如果现在如果有人来读,一个是十一个是二。尽管已经把三个都写进去了。现在我们没有提交,所以读不进去。最后说要释放锁,但是没有改写内容,所以内容是不变的。

八这个状态有一个新的版本,所以八是在释放锁,所以他们锁就没有了。七就是别人能看见的状态。为什么这个地方会有6和5,就是上一次写入的。现在可以读到七的时间戳是3。在八点时间戳的时候,也会把这个锁给释放掉。状态是在七的状态。所以能看到交易完成。是九块。 

这就是我看到的在大表里面。在 Google Percolator 的方式来做事务管理的一个机制。和我们之前谈到关系型数据库的处理方式不太一样。不是在缓存来处理。他确实把这个协议,是靠时间戳记录各个不同的版本,版本作用在哪里。会保证不会读到没有提交之前的这个购买。

这是我们看到在 google 提出了一系列的在云上去操作的这些东西。然后是在面对这个分布式的这种大数据的存储时候,以他为代表是这个第一个 table 的一个事务管理方面,是一条一行记录,这种操作因为是基于列来存储的。他在行的操作比较弱的情况下。提出这种方式来实现所谓的事务管,也就是对行的插入更新和删除,其实是对行的这种操作。

image.png

image.png

image.png

最后谈一谈编译计算。编译计算是看到中心的云有大量的服务器。然后通过网络,比如阿里云在杭州通过网络接入。比如小区的交换机,也可以接入云里。这个节点交换机现在要带一些处理资源,可以存储的一些数据。作为客户端使用的时候能不能在节点上帮做事情,不要所有事情全发生在云里。

比如手机拍了一个视频。我想把它做一下换脸操作,因为手机做不了,计算能力有限,所以把它提交到云里面。云再通过这个交换机这种节点来给我发送数据的时候,如果只做信息转发,他对带宽的占用非常大。还需要占用把视频传过来。这样做浪费是因为现在看到这种节点,实际上有服务器。如果利用起来数据不需要达到云里。可以就近处理掉。当实在处理不过来的时候,再往云里发,做一个把边缘设备全部利用起来。或者可以把这些东西全部想象成摄像头。在一个中心商场的中心服务器,他把所有摄像头全部接回去。每一层一个交换机进入到云里。现在有一个人报警说小孩在商场里面走丢了。要启动摄像头里面去找,一种方案是所有摄像头的数据全部传回这个server。这个server同时处理商场里面200个摄像头,他们找小孩在不在摄像头中,而且所有数据要源源不断的传回。还有一种方法摄像头现在里面带人脸识别这样的一些功能。比如发指令发一张小孩子。比如他在进入这个商场时给拍一张照。

把这张照片从服务器上下发到所有的摄像头。每一个都找摄像头这个小孩子在不在。如果在就告诉我是什么样子,现在是在利用这些边缘,所谓边缘就是他不在核心网中,他在网络的边缘上一样。在利用边缘的设备,他们的计算能力把这件事情处理掉,也就是计算原来的 server 转移到各个边缘设备上去做。这样做的好处是本来这些边缘设备是数据采集。

数据采集进来之后处理完,只需要告诉有还是没有就可以。所以对带宽的占用很少,而且利用了边缘设备之后就可以做分布式的处理。所以实施性会提高。跟把所有东西全发一下处理不一样是因为实际上这里面做这件事情是把任务确实下发到边缘,但是底下执行不了还需要把视频拿到上面来处理。是说在这个场景里面尽量在边缘做,做不了的话再拿回来做,而在边缘做不了有两种情况,一种是本身受限,确实做不了。还有一种是其实资源本身不受限,但是现在给的任务太多处理不了。所以需要做一个云和端或者云边的一个融合。是下发一个任务的时候边缘的状态,然后根据状态去把这个数据处理掉。决定了一些任务在边缘处连接在云端将充分利用利用优势。所以边缘是让处理尽量是在网络的边缘执行。

因为靠近数据。另外一方面是说所有摄像头把数据传回到网络,一个前提是网络要一直在。一直都很安全很稳定的连接上。如果一个手机,人在开车会,会交换交换机就会发生变化。中心服务器网络连接不是那么稳定。碰上这样的情况不能把所有数据全部推到云端去做。在手机上做,能稳定的时候做不能稳定的时候在手机端做。所谓边缘计算,就是利用边缘的设备。计算能力和云端做一个融合计算。主要考虑是说数据要靠近数据源。这是一个基本的道理。比如为什么要在数据库里面去写存储过程或者是方式?

因为他们靠的近,在数据库管理系统里面考。如果什么东西都拿到,已经离服务器远,这是两个进程。效率变低了。所以边设备是编辑计算特性。现在手机摄像头能力越来越强,摄像头里面很多内嵌人脸的识别,车牌的识别等。手机越来越强,拥有计算能力是边缘计算的核心。

image.png

所以云计算的世界里,数据的产生者把数据发送到云里。靠云去请求数据返回结果。在边缘计算中我们可以看到,数据的产生者可以把数据传到云里,这是一种传统产生,但还有一些产生者和消费者,他们从自身连接到中心云的这一条路上的任意一个环节上,只要有足够的存储能力或者是处理能力,就可以把数据存储在那里或者进行处理。计算任务就从云里面一部分就迁移到了底下的边缘设备卡。所以就做边缘的卸载。

 image.png

这是边缘计算发生的事情。有这个东西后发现在节省空间的开销,另外在移动的场景之下,当不能连续保持跟服务器的连接。

充分利用边缘设备资源去做处理。所以在移动或者5G场景下要灵活。这里面谈到计算的卸载并非都在云里进行。一部分就推到了边缘。有一些数据和或者操作在边缘做缓存或者是执行。这是看到编辑的应用场景。

image.png

相关文章
|
5月前
|
存储 网络协议 数据库
【技术分享】Cloud computing
简介: 5月更文挑战第1天
69 2
|
边缘计算 人工智能 5G
Cloud Computing 2(二)|学习笔记
快速学习 Cloud Computing 2(二)。
Cloud Computing 2(二)|学习笔记
|
存储 传感器 边缘计算
Cloud Computing 2(一)|学习笔记
快速学习 Cloud Computing 2(一)。
124 0
Cloud Computing 2(一)|学习笔记
|
存储 分布式计算 Linux
Cloud Computing 1(一)|学习笔记
快速学习 Cloud Computing 1(一)
122 0
Cloud Computing 1(一)|学习笔记
|
存储 弹性计算 API
|
存储 网络性能优化 虚拟化
|
存储 网络协议 Linux
|
存储 监控 安全
|
负载均衡 网络安全 SDN
|
存储 消息中间件 调度