云上运维架构

本文涉及的产品
对象存储 OSS,20GB 3个月
传统型负载均衡 CLB,每月750个小时 15LCU
对象存储 OSS,恶意文件检测 1000次 1年
简介: 云上运维架构

科普类、闲扯类......

1、何为云?作为一个小白对云的理解,刚入职的外包中心经历和面试经历

2、运维的工作:拉网线、搬服务器、换硬盘、配置环境......

img

一、云计算的概念

1、几个阶段

image-20200831225217531

2、什么是云计算

云计算的概念是由多个概念组合而成

如果不特殊提,都是公有云

2.1、云计算的运作模式:

云计算并不是新技术,只是运作模式区别于传统的IDC的IT模式。

传统:采购 ---> 机器安装配置 ---> 机器上架 ---> 机器后期机房托管,配置网络 ---> 安装环境 ---> 开发完交给运维部署。

云:web界面简易操作即可完成各种资源操作。

混合云:公有云 + 私有云

2.2、云计算的基石:

现在经常听人说“我的东西都存在云上”,这句话对吗?

也对,也不对。对:东西存在服务器上,如果服务器出在云环境里,那就对,如果服务器比较孤立就不对。而且,云 ≠ 服务器,云除了服务器之外还有其余资源、计算等等。E生活现在的系统算是部署在云环境里吗?算,不是很成熟的私有云

成熟的基建(一堆机器、网络、存储、虚拟化) + 便捷的资源获取与计算 + 平台化的资源管理系统

2.3、云计算的特点:

稳定性、弹性扩展、安全性、成本、易用性。

2.4、常见的例子:

很多时候我们都是无感知使用云,公司是混合云的方案,所以其余的云上资源用的少

1、OSS

2、搭建云上私有网络,比如:斑马与华为云相通

3、磁盘扩容,比如ECS磁盘扩容

4、安装负载均衡,比如配置负载均衡

5、安装mongodb、mysql、redis等

6、安装K8S等

二、云平台的选择

没有永不宕机的云,没有,绝对没有......

阿里云

上云就上阿里云,NO1

腾讯云

游戏、社交业务,17年一分钱中标政务云

华为云

公有云起步晚,私有云起步早,三大运营商的云基本是华为的,私有化优势

百度云

主要以AI为主,《最强大脑》、李彦宏的自动驾驶

三、云产品的选型

1、云产品的主要分类:

云计算基础、大数据、安全、企业应用、物联网、人工智能、开发者服务

image-20200901114347051

image-20200901114436112

2、企业主要的云产品:

ECS云服务器、RDS关系型数据库、SLB负载均衡、OSS对象存储服务、VPC私有网络、PASS层产品(中间件、容器......)、大数据、人工智能

四、常用系统技术选型

1、云端网络VPC&VPN

VPC虚拟私有云,VPC为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云上资源的安全性,简化用户的网络部署。

image-20200901081410611

WechatIMG2574

WechatIMG2573

2、云端负载均衡

1、SLB

2、SNAT

3、弹性公网IP

image-20200901112855723

image-20200901110816945

3、云端数据库

数据备份、安全、稳定、扩容

4、云端存储

1、云盘

2、NFS

WechatIMG2571

3、对象存储:OSS、OBS

五、云端实践

1、PV、UV概念

PV:Page View的简写,一般指一天内页面访问次数,每打开或刷新一次页面,就算作一个PV

UV:Unique Visitor的简写,一般指一天内访问站点的用户数

2、CPU、内存配比

1、如何根据访问量计算出合适的资源需求?

需要将业务指标转换成技术指标,才能做好机器资源规划

2、“一个500万PV的网站,大概需要用多少台服务器?”

每秒请求数:500万 / 24 / 60 / 60 = 57 个?

一天中80%的业务请求量发生在40%的时间内

(500万 0.8) / (24 60 60 0.4) = 115.7 个

偶尔还有高峰、和低谷,高峰可能是2倍或者3倍

115.7 * 2 = 231.4 个

如果一台服务器每秒能处理347以上的请求就可以抗住500万的PV,本机mac基本每秒能处理200~250请求

3、IP转换成PV量

IP量 / 活跃用户量 * 5

4、用户数转换出并发用户数

用户数 * 0.2 = 活跃用户数

活跃用户数 * 0.2 = 在线用户数

在线用户数 * 0.2 = 并发用户数 ≈ 每秒请求数

5、根据PV量选择机器

image-20200901115819490

6、CPU和内存资源配比:

根据监控数据显示,互联网企业的服务器CPU利用率平均在10% ~ 20%之间,磁盘空间利用率在20% ~ 30%,在云端,80%的企业存在计算资源和存储资源限制浪费的现象

一般云服务器的CPU和内存资源配比在:1:1、1:2、1:4、1:8

  1. CPU与内存资源配比:1:1
    个人网站、小官网
  2. CPU与内存资源配比:1:2
    黄金比例
    部署应用,比如tomcat,单进程多线程,一般2C4G,4C8G,不适合跑高配机器,如果是高配机器,不能跑满服务器性能,就部署多个tomcat
    nginx,php ......
  3. CPU与内存资源配比:1:4
    适合部署数据库,比如2C8G,4C16G,8C32G
  4. CPU与内存资源配比:1:8
    适合部署分布式缓存,比如Redis,Memcache,比如2C16G
    redis单进程单线程模式,对多核利用不太好。如果部署8C16G就浪费了。

3、带宽估算

宽带选择的8 / 2原则,

在云端带宽配置的选择中,80%默认选择按量带宽,也能应对突发流量,最佳实践,

20%选择固定宽带。如果每天的下行流量合计费用超过按量的平均费用,才使用固定宽带。

1、宽带计算

假设每个请求平均返回的数据是20KB

231.4个请求 * 20KB / s = 4628KB/s = 37024bps/s = 37Mbps

4、云主机

不需要与真机比性能,按需索取、低成本、灵活管理、扩展能力

1、按量付费、包年包月

2、云的技术本质优势:

传统的物理机环境强调的是单一系统的纵向扩展能力,即IOE架构的硬件。随着互联网的发展,传统物理机下的技术架构很难再支撑业务发展。云计算的出现,解决了多系统的横向扩展能力,通过添加大量的廉价云主机来满足业务发展。

3、混合云发挥最大优势:

比如在红米手机的秒杀活动中,会瞬间开始200台机器且持续2个小时来应对,然而IT资源才消耗了600元

5、云端运维

5.1、运维网络

混合云

image-20200901111428122

image-20200901111448632

5.2、运维的发展阶段

1、人工阶段

7 * 24背着笔记本的IT民工

搬服务器、网络部署、机器上架、重启机器、更换硬盘、更换内存、解决硬件故障、环境配置、安全、故障处理、发布上线

2、脚本及工具阶段

脚本解决大量重复的工作,python、shell。

Python已成为云端通过脚本进行自动化运维的标准,Ansible无疑也已成为云端通过工具自动化运维的标准。

WechatIMG2572

3、DevOps阶段

什么是DevOps?什么叫容器编排?什么叫云计算?

敏捷开发的出现。

DevOps的出现是为了解决软件软件开发人员和IT运维技术人员之间的沟通协作问题,以使得构建、测试、发布软件能够更加快速、频繁和可靠,提升业务快速集成和交付。

运维自动化主要解决资源集中管理方面的问题。运维只是帮助把基础建设做好,其余的可以完全交由开发人员自己玩儿。

4、平台化阶段

通过图形化界面快速处理机器,比如咱们的“布加迪”

截屏2020-09-01 上午10.19.02

5、智能化阶段-AIOps

AI = 大量数据训练 + 算法

需要大量的千奇百怪的故障出现,对故障的历史数据进行场景分类和标注,不断用模式识别和数据来训练机器识别和分析,然后让机器自动准确判断。

AIOps的核心在于AI算法在运维领域的运用,但是目前市面上类似的成熟解决方案和产品少之又少,还处于概念期。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
运维 监控 Cloud Native
自动化运维的魔法书云原生之旅:从容器化到微服务架构的演变
【8月更文挑战第29天】本文将带你领略自动化运维的魅力,从脚本编写到工具应用,我们将一起探索如何通过技术提升效率和稳定性。你将学会如何让服务器自主完成更新、监控和故障修复,仿佛拥有了一本能够自动翻页的魔法书。
|
17天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
53 1
|
1月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
179 1
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
1月前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
57 3
|
9天前
|
机器学习/深度学习 运维 监控
智能运维在现代IT架构中的转型之路####
【10月更文挑战第29天】 本文旨在探讨智能运维(AIOps)如何成为现代IT架构不可或缺的一部分,通过分析其核心价值、关键技术及实践案例,揭示AIOps在提升系统稳定性、优化资源配置及加速故障响应中的关键作用。不同于传统运维模式的被动响应,智能运维强调预测性维护与自动化处理,为企业数字化转型提供强有力的技术支撑。 ####
38 0
|
1月前
|
存储 运维 监控
高效运维:从基础架构到自动化管理的全面指南
【10月更文挑战第11天】 本文将深入探讨如何通过优化基础架构和引入自动化管理来提升企业IT运维效率。我们将从服务器的选择与配置、存储解决方案的评估,到网络的设计与监控,逐一解析每个环节的关键技术点。同时,重点讨论自动化工具在现代运维中的应用,包括配置管理、持续集成与部署(CI/CD)、自动化测试及故障排除等方面。通过实际案例分析,展示这些技术如何协同工作,实现高效的运维管理。无论是IT初学者还是经验丰富的专业人员,都能从中获得有价值的见解和实操经验。
65 1
|
1月前
|
存储 运维 监控
高效运维管理:从基础架构优化到自动化实践
在当今数字化时代,高效运维管理已成为企业IT部门的重要任务。本文将探讨如何通过基础架构优化和自动化实践来提升运维效率,确保系统的稳定性和可靠性。我们将从服务器选型、存储优化、网络配置等方面入手,逐步引导读者了解运维管理的核心内容。同时,我们还将介绍自动化工具的使用,帮助运维人员提高工作效率,降低人为错误的发生。通过本文的学习,您将掌握高效运维管理的关键技巧,为企业的发展提供有力支持。
|
1月前
|
存储 运维 Cloud Native
阿里云国际CloudOps的优势和云上运维的特点
阿里云国际CloudOps的优势和云上运维的特点
|
2月前
|
敏捷开发 运维 Prometheus
构建高效运维体系:从基础架构到自动化管理
本文探讨了如何通过优化基础架构、引入自动化工具和流程,以及加强团队协作,构建高效的运维体系。通过案例分析和实践建议,帮助运维人员实现系统的稳定性、可靠性和可维护性。
|
2月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
198 3