那怎么样才能避免浪费呢?就是搞一个大集群,把所有机器和计算资源管理起来,大促的时候就用来应对大促的流量,平时呢可以用来搞搞大数据运算或者是租给其他公司或个人,形成一定的经济收益,总是就是不让这些机器闲着,以免浪费。
本质上来说,亚马逊和阿里搞云计算、云服务器背后的核心驱动因素之一原因都是为了解决这个问题。
无论大小公司往往都不止一套系统。但是公司的资源是有限的也是固定的,但是我们需要应用机器的场景却是灵活的。比如今天新上线了一个系统,需要占用几台服务器,明天这个系统效果不好,撤了,再把这几台服务器清出来。一开始的时候没有动态管理的集群系统,都是靠运维手动操作,所以那年代的运维都练就了一手拔插网线的好本事和健硕的手部肌肉。
在大数据时代到来之前,基本上机器变更基本上都是系统上线下线的情况,这还好说。毕竟一般的公司系统变化不会特别频繁,但是大数据时代来临之后,临时任务的数量大增,今天需要跑下用户的这份数据,明天需要统计一份报表,来来回回的临时需求,而且这些需求往往需要用到大量机器(大数据嘛,机器少算不完),总不能都靠运维人肉处理吧?也不能指望每个开发都练就运维的本事,很浪费时间也不现实。所以很自然地人们想到了开发一套系统来做这件事情。
简单来说,需要一个系统来管理资源分配和回收的功能 由于大数据的环境下会产生大量的计算和数据