hadoop集群配置,有关公司请上报集群配置。 : 配置报错 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

hadoop集群配置,有关公司请上报集群配置。 : 配置报错 

kun坤 2020-06-03 16:13:53 51

        如今 大数据这种高大上的东西很多小公司都在试水中~~~包括俺们公司。玩了二个多月的hadoop 感觉已经玩不动了。为什么呢?机器真的带不动鸟!问了做大数据群里的大神们,公司集群30+台 64G内存,4核CPU.包括昨天我问了一个社区专家,做千万级别IM系统的大牛。我们公司的业务只需要6-7台集群 64G内存,就足够了!还附加了一句经典的话:很多人听说hadoop使用在廉价的机器上,这句话害死了很多人!          现在来描述下俺们公司给我们做集群的配置:在一个服务器上给你三台虚拟机,一台1G内存,1核CPU。让你去处理亿级数据。包括测试,开发上线!我把这句话说到QQ群中。很多人都笑了!好吧!我们承认公司不舍得买机器,因为我们也不是专业的大数据工程师,公司需要这方面的人才,又不肯去挖人。一定很贵吧这样的人。所以就让我们来研究这个。二个月了啊,我的步伐卡在机器配置上了。HBASE 在集群中不断的宕机  不断的宕机。人都要从隔壁腾讯大厦楼顶上跳下去了!只为一句:老板!买几台机器啊!!

分布式计算 Hadoop
分享到
取消 提交回答
全部回答(1)
  • kun坤
    2020-06-05 13:30:44

    这么好的贴居然没有人顶######老板!买几台机器啊!!######没钱 搞什么大数据 没事找抽######哈哈。 一言难尽啊###### Hdfs的机器吃硬盘,跑任务的时候吃cpu,hbase的机器巨吃内存,赶紧的让你老板买机器啊。 ######

    引用来自“顾海林”的评论

    Hdfs的机器吃硬盘,跑任务的时候吃cpu,hbase的机器巨吃内存,赶紧的让你老板买机器啊。

    ######公司3台集群的路过######每天也就100G的日志处理###### 才一台服务器也就算了,还开了三个虚拟机,1G内存1个CPU来处理亿级的数据...
    你们公司有多扣啊
    估计databricks那帮人来了也干不动吧 ###### 这种是没有沟通好吧,配置这么低,最多是研究一下部署。
    就这配置,还处理亿级的数据,楼主夸张了吧。 ######哈哈 我早就说了。这个配置测试,搭建哈 环境还可以。。######这个很正常,我公司一台服务器开7个VM,全部装win08,跑iis,.net,并且要求每个VM至少能支撑1千个并发以上。######没有机器怎么干活,想马儿跑,又不想马儿吃草

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程