Spark on ECI大数据分析-阿里云开发者社区

开发者社区> 云计算> 正文

Spark on ECI大数据分析

简介: Spark作为快速、通用的大规模数据处理平台,更多关注Spark Application的管理,底层实际资源调度和管理更多的是依靠外部平台的支持例如Mesos、YARN、Kubernetes等。借助阿里云的容器服务Kubernetes版(ACK)、弹性容器组实例(ECI)、文件存储HDFS或者对象存储OSS提供灵活弹性计算资源弹性可扩展、计算与存储分离架构、成本可控的Spark on ECI解决方案实践。

云栖号最佳实践:【点击查看更多上云最佳实践
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!

场景描述

Spark作为快速、通用的大规模数据处理平台,更多关注Spark Application的管理,底层实际资源调度和管理更多的是依靠外部平台的支持例如Mesos、YARN、Kubernetes等。借助阿里云的容器服务Kubernetes版(ACK)、弹性容器组实例(ECI)、文件存储HDFS或者对象存储OSS提供灵活弹性计算资源弹性可扩展、计算与存储分离架构、成本可控的Spark on ECI解决方案实践。

解决问题

  • 计算资源弹性能力不足,计算资源成本管控能力欠缺
  • 集群资源调度能力和隔离能力不足
  • 计算与存储无法分离,大数据量分析时出现数据存储资源瓶颈
  • Spark submit方式提交分析作业参数支持有限等缺点

产品列表

  • 容器服务Kubernetes版(ACK)
  • 弹性容器实例(ECI)
  • 文件存储HDFS
  • 对象存储OSS
  • 专有网络VPC
  • 容器镜像服务ACR

image

直达最佳实践 》》

160@Spark on ECI大数据分析.png.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

其他文章