如今 大数据这种高大上的东西很多小公司都在试水中~~~包括俺们公司。玩了二个多月的hadoop 感觉已经玩不动了。为什么呢?机器真的带不动鸟!问了做大数据群里的大神们,公司集群30+台 64G内存,4核CPU.包括昨天我问了一个社区专家,做千万级别IM系统的大牛。我们公司的业务只需要6-7台集群 64G内存,就足够了!还附加了一句经典的话:很多人听说hadoop使用在廉价的机器上,这句话害死了很多人! 现在来描述下俺们公司给我们做集群的配置:在一个服务器上给你三台虚拟机,一台1G内存,1核CPU。让你去处理亿级数据。包括测试,开发上线!我把这句话说到QQ群中。很多人都笑了!好吧!我们承认公司不舍得买机器,因为我们也不是专业的大数据工程师,公司需要这方面的人才,又不肯去挖人。一定很贵吧这样的人。所以就让我们来研究这个。二个月了啊,我的步伐卡在机器配置上了。HBASE 在集群中不断的宕机 不断的宕机。人都要从隔壁腾讯大厦楼顶上跳下去了!只为一句:老板!买几台机器啊!!
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
这么好的贴居然没有人顶######老板!买几台机器啊!!######没钱 搞什么大数据 没事找抽######哈哈。 一言难尽啊###### Hdfs的机器吃硬盘,跑任务的时候吃cpu,hbase的机器巨吃内存,赶紧的让你老板买机器啊。 ######
######公司3台集群的路过######每天也就100G的日志处理###### 才一台服务器也就算了,还开了三个虚拟机,1G内存1个CPU来处理亿级的数据...
你们公司有多扣啊
估计databricks那帮人来了也干不动吧 ###### 这种是没有沟通好吧,配置这么低,最多是研究一下部署。
就这配置,还处理亿级的数据,楼主夸张了吧。 ######哈哈 我早就说了。这个配置测试,搭建哈 环境还可以。。######这个很正常,我公司一台服务器开7个VM,全部装win08,跑iis,.net,并且要求每个VM至少能支撑1千个并发以上。######没有机器怎么干活,想马儿跑,又不想马儿吃草