本场景将提供四台配置了Centos 8.3操作系统的ECS实例(云服务器)。通过本教程的操作,带您体验如何下载、安装并配置FastMR,通过FastMR自动构建spark/hadoop大数据集群,实现集群互联和组件部署及监控,并完成TPCDS的数据生成和分析,简化云上大数据的部署流程,快速完成大数据业务选型PoC。
背景知识
本场景主要涉及以下云产品和服务:
云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。
- FastMR
FastMR是由神龙AI&计算加速团队的同学们开发的一种适用于大数据场景的自动化部署集群、性能测试及管理监控的工具。FastMR可以帮助用户一键部署ECS大数据集群,并且可以自动化进行业界主流的大数据benchmark测试,帮助客户对比不同机型的大数据性能差异,选择更优的大数据解决方案。其自动化实现了繁杂的大数据集群搭建工作,客户只需要选择集群的参数,FastMR就可以自动化完成对应的大数据集群搭建工作。其主要功能有以下五点:自动化创建服务器、自动化搭建集群、自动化下发组件及部署环境、自动化进行大数据Benchmark测试、提供测试数据及监控信息。