AWS云计算平台工作使用中的心得

简介:

笔者目前所在公司的海外业务平台由于牵涉到多机房布点和成本的考虑,目前基本上采用的是AWS云计算平台,产品线涉及到了EC2/EBS/S3/Redshift等,目前平台已经稳定运行几年了,在使用过程还是有不少心得和感想的,特地做了些总结跟大家一起分享下,对AWS有兴趣的同学也可以关注下。作为一个资深运维,熟悉各种云计算平台,但还是对AWS强大的控制台功能还是很惊异的,控制台提供的功能是非常强大的,小到系统的AMI镜像备份恢复,用户的IAM权限分配,然后Instance机器种类和外置磁盘EBS的选型,大到分布式S3的文件存储功能,AWS强大的控制台都提供了相应的功能。如果不喜欢用图形界面操作的话,喜欢自动化运维的同学,AWS也提供了强大的BOTO3接口(基于Python),同学们也可以利用Python脚本来进行相关的服务器后台程序开发工作。

 注:通过适用于 Python  AWS 开发工具包 boto3 快速开始使用 AWSBoto3 可以支持您轻松将Python 应用程序、库或脚本与 AWS 服务进行集成,包括 Amazon S3Amazon EC2  Amazon DynamoDB 等。(创建AWS免费帐户

 

另外,AWS控制台有些功能是非常人性化的,比如我通过控制台购买了一年的c3.xlarge4 vcpu+ 7.5内存)预留实例(预留实例是一种比较节约的计费方式,通常为以年为计费单位,比单独购买一般要便宜35%左右),但在使用过程过程中,我发现业务量不需要c3.xlarge这样高性能的机器,那我们可以通过修改预留实例的方式,将其分离成2台性能稍弱的c3.large,这样剥离出来的一台c3.large机器就可以多出来跑别的业务了。

 

另外,AWS的产品线是非常丰富,通过控制台我们就能看到,各种各样的产品都在列表内,大家可以根据工作需求来取舍。我们一般用得比较多的有EC2AWS云主机)、Route53DNS)、CDNElastic Load Balancing AWS负载均衡)、S3/Glacier(云存储)、数据库产品有RDSRedshiftNoSQLDynamonDBElasticMapReduceHadoop计算框架)等等,AWS的产品线是非常丰富的,甚至可以说,我们工作中产生的业务需求,很有可能就能通过AWS的产品来实现。通过AWSEMR服务来实现工作中的Hadoop/Spark来进行海量离线业务日志的处理和分析,是一件非常容易和轻松的事情,事实上,这部分的工作是完全不需要运维人员来参与的。

 

另外,事实上,AWS云计算平台进行弹性扩容是一件非常容易和方便的事情,拿我们的业务平台来说,在上线前期,由于宣传及商务谈判等原因,入口流量及用户数都比较少,这个时候平台很稳定,整体系统负载及QPS都比较低,但随着后期商业谈判的成功,入口流量及用户都越来越多,系统负载、QPS都偏高,机器还经常出现了CPU利用率达到100%的情况。这个时候我们可以通过调用AWS API接口来实现弹性扩容,包括主机的分配、流量的分配、IP的绑定、域名解析的配置,还有存储服务等,这部分的工作如果做成自动扩容也是比较容易实现的,我们可以通过Ansible自动化配置管理工具或Python语言自行开发。事实上,为了节约费用,很多时候我们可以考虑开启更便宜的Spot Instance(比Instance实例收费便宜多了,但公网IP不固定,由于采用的是竞价模式,很容易被别人买走)。另外,后续的工作我们还是要在工作中考虑到,比如说某项业务量降下去以后,我们不再需要那么多机器了(AWS是以Instance实例实际使用的小时数来收费的,我们关闭机器以后AWS就不再收费了),我们应该如何在不影响业务稳定性的前提下来减少机器数量从而起到节约成本的作用呢,这些都需要我们在实际的开发工作中考虑到。

 

另外,在实际使用工作中我们也发现,AWS平台目前也还是存着一些问题的,这些也应该是我们在使用过程注意的地方:

一、有段时间,美国西部的机器因为亚马逊硬件升级的原因,不断的要进行业务迁移的工作,事实上如果是某个集群内的机器的话倒没什么影响,如果机器上面正跑着重要核心业务的话,对整体系统还是非常有影响的;

二、使用中有机器还是有重启的情况,还发生过机器失联的情况,当然了这种情况并不多见,一年中我们也只发现了两起,就是没有任何邮件通知的情况下,机器发生了失联情况;

三、亚马逊自带的监控功能或产口还不是很强,所以我们还是需要自己配置nagioszabbix监控服务,并针对业务需求来开发插件;

四、预留实例的出售是一件比较麻烦的事情,比较好买,但感觉非常难出售,所以笔者每次购买预留实例会非常小心谨慎。

五、AWS的帐单功能还是挺完善的,但也可能会产生误收费的情况,这个时候需要英语口语或邮件沟通,一般情况下AWS会退款的。

 

虽然AWS云计算平台或多或少的存在些问题,但总体来说并不会影响我们业务系统的整体性能和稳定,我们能够在节约成本的前提下,能够非常方便的进行扩容工作和Hadoop/Spark数据计算,在全球部署自己的数据中心,这些工作由于使用了AWS平台感觉操作起来非常简单方便,感谢AWS提供了这么些伟大的产品,预祝其越做越好。 (联系AWS专家


笔者简介

余洪春(抚琴煮酒)运维架构师、高级运维开发工程师,《构建高可用Linux服务器》、《Linux集群和自动化运维》作者,ChinaUnix论坛“集群和高可用”及“监控及自动化运维”版版主。从事云计算和电子商务网站运维工作10多年,在Linux集群、自动化运维、云计算及高并发高流量网站架构设计等方面进行了深入的研究,在大量一线实践中积累了丰富的经验。精通负载均衡高可用和自动化运维技术,擅长高并发高流量网站系统架构设计。





本文转自 抚琴煮酒 51CTO博客,原文链接:http://blog.51cto.com/yuhongchun/1860291,如需转载请自行联系原作者
目录
相关文章
|
4月前
|
存储 人工智能 大数据
云计算平台:AWS、Azure和Google Cloud的比较与选择
在当今数字化时代,云计算平台成为了企业和个人的首选。本文将重点比较三大主流云计算平台:AWS、Azure和Google Cloud,从性能、功能、可用性以及定价等方面进行综合评估,帮助读者更好地选择适合自己需求的云计算平台。
|
2月前
|
边缘计算 Cloud Native 安全
未来云计算平台的发展趋势与挑战
随着数字化时代的到来,云计算作为一种关键的信息技术基础设施正在发挥着越来越重要的作用。本文将探讨未来云计算平台的发展趋势与面临的挑战,分析在日益复杂多变的技术环境下,云原生技术的应用将如何推动云计算平台迈向新的高度。
|
15天前
|
机器学习/深度学习 人工智能 安全
【专栏】云计算平台的比较与选择:AWS、Azure 和 Google Cloud
【4月更文挑战第28天】本文对比了AWS、Azure和Google Cloud三大云计算平台,强调了解它们的差异对于企业选择合适云服务的重要性。AWS以其丰富功能和广泛覆盖领先,Azure与微软生态紧密集成,适合已使用微软技术的企业,而Google Cloud在大数据和AI领域有优势。选择时应考虑服务功能、成本、扩展性、技术支持、安全合规及行业生态。最终决策应基于全面评估以确保为企业提供高效、可靠的云服务。
|
16天前
|
安全 Devops 虚拟化
【专栏】虚拟化技术与云计算平台 OpenStack:硬件虚拟化、操作系统级虚拟化和容器化
【4月更文挑战第28天】本文探讨虚拟化技术原理,如硬件虚拟化、操作系统级虚拟化和容器化,以及开源云计算平台OpenStack如何利用这些技术提供优势。OpenStack支持多种虚拟化技术,具备开源灵活性、多租户架构、可扩展性、插件式设计和成本效益。未来,OpenStack将在容器化、DevOps、跨云策略和安全合规性方面发挥更大作用,助力企业数字化转型。
|
2月前
|
人工智能 安全 物联网
在云计算时代,各种云服务和平台为我们提供了无限的机遇和挑战
【2月更文挑战第33天】在云计算时代,各种云服务和平台为我们提供了无限的机遇和挑战
24 7
|
2月前
|
边缘计算 Cloud Native 安全
未来云计算平台的发展趋势与挑战
随着数字化转型的加速推进,云计算平台正成为企业和个人数字化业务的重要基础设施。本文将探讨未来云计算平台的发展趋势及面临的挑战,从多维度分析云原生、边缘计算、安全性以及可持续性等方面,展望未来云计算平台的发展方向。
|
3月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
59 0
|
4月前
|
存储 边缘计算 监控
探索未来科技趋势:虚拟化技术与云计算平台OpenStack的概念与实践
在迅猛发展的信息技术时代,企业和组织对于高效、可扩展的计算资源需求日益增长。虚拟化技术和云计算平台OpenStack应运而生,为企业提供了一种灵活、可靠的解决方案。本文将深入探讨虚拟化技术与OpenStack的概念和实践,展示它们在现代科技领域中的重要性和应用前景。
88 3
|
4月前
|
存储 监控 搜索推荐
构建无边界的数字未来:虚拟化技术与云计算平台OpenStack的概念与实践
在当今数字化时代,虚拟化技术和云计算平台已经成为企业和组织实现数字化转型的关键驱动力。本文将介绍虚拟化技术的概念和作用,并重点探讨了开源云计算平台OpenStack在实践中的应用和优势。通过深入了解虚拟化技术和OpenStack平台,读者将能够更好地理解如何利用这些技术构建无边界的数字化未来。
|
4月前
|
存储 人工智能 调度
虚拟化技术与云计算平台 OpenStack:解锁数字化时代的无限潜能
在数字化时代,虚拟化技术和云计算平台已经成为企业和组织加速创新、提高效率的关键工具。本文将介绍虚拟化技术和OpenStack云计算平台的基本概念,探讨其在实践中的应用,以及它们如何协同作用,为企业带来无限的潜能与机会。