基于弹性供应组构建大数据分析集群最佳实践

简介: 阿里云原生交付ECS实例的的方式:单个实例和批量交付实例。以上两种方式均缺乏灵活性,无法跨越计费方式、可用区及规格族等核心参数的限制,同时无法避免资源不足的情况。基于此阿里云提供了一种自动化交付实例集群的方式弹性供应组(Auto Provisioning GroupAPG),弹性供应组是一个使用抢占式实例和按量付费实例快速部署实例集群的方案。APG支持一键部署跨计费方式、跨可用区、跨实例规格族的实例集群。无需纠结于某种实例规格在某个可用区资源不足的问题,满足既定容量需求的同时,获得最低的TCO总拥有成本。

直达最佳实践:【基于弹性供应组构建大数据分析集群最佳实践
最佳实践频道:【点击查看更多上云最佳实践

这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!

场景描述

基于弹性供应组(APG)搭建spark计算集群,提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。

解决问题

  • 大规模计算集群成本高。
  • 创建ECS实例方式单一,无法跨计费方式、可用区及规格等核心参数。
  • 当可用区资源紧张,无法自动保证既定。

产品列表

  • 专有网络VPC
  • 云服务器ECS

image.png

直达最佳实践 》》

162@基于弹性供应组构建大数据分析集群最佳实践.png.png

目录
打赏
0
0
0
1
188
分享
相关文章
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
131 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
255 92
大数据 优化数据读取
【11月更文挑战第4天】
138 2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等