开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

starRock 一定要 达到 8核,16核的要求 才能部署吗?4核 64G内存,行不行?

af1c23db7bd78a05e4239702dcb594f1.png

展开
收起
爱喝咖啡嘿 2023-01-04 10:37:28 444 0
2 条回答
写回答
取消 提交回答
  • 如果只是简单测试,1核也起得来,就是硬件瓶颈导致性能上不来。——该回答整理自钉群“EMR OLAP(ClickHouse&StarRocks) 用户技术交流群”

    2023-01-06 11:40:54
    赞同 展开评论 打赏
  • 假定内存、磁盘都不会拖后腿的情况下,分析/查询的性能瓶颈在 CPU 的处理能力。所以通过对 CPU 的算力要求,来预估集群的数量。 集群需要的总 CPU 资源:e_core = scan_rows / cal_rows / e_rt * e_qps StarRocks 的处理能力在“单核 1000万~1亿/秒”,此场景有「多表 join」和「group by」以及一些表达式函数,相对复杂,所以按照「 3000万/s 的计算能力」估算,需要 3 个 vCPU:3000万 / 3000万/s / 300ms = 3c。 可以根据实际情况来POC测试下。

    2023-01-05 07:40:32
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载
低代码开发师(初级)实战教程 立即下载