上云实践操作(漫步云端)之上云动力

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 传统IDC机房上云之路

上云之前

在选择使用阿里云之前,整个技术部门采用的是自购服务器+机房托管的方式来部署所需要的程序。并且考虑到不同区域的业务以及灾备的问题,一共在南北两个城市的IDC机房都部署有服务器来支撑日常业务的运行。在IDC模式的运维工作上面,首先带来的问题是日常的巡检和维护,当某一个机房的设备如果出现了硬件损坏的情况,运维通常可以联系机房进行临时的设备替换,并重新申请购买新的设备,并到机房去安装。 这样的话,首先就是当损害一旦产生,某些服务或者程序所提供的算力会在某一段时间内降低,而且对于设备损坏重新购买所申请的费用,在预算控制上面也是一个比较难以估计的问题。再者,当新设备回来后,还是得需要运维人员到机房现场去替换设备,这样随之而来的也就产生了一些不必要的差旅费用,这些临时费用的产生,对于整个部门的预算管理都是一种挑战。
假设上架的服务器都没有问题,稳定的渡过了3年的时间,或者因为业务做得特别好,需要对机房进行扩容,这个对于在传统机房部署上又是一个比较头疼的问题。从选择什么样的机器,机房是否有足够的机柜,机柜间的网络状况,给供应商签署合同,发货,机器到货上架,整个流程会非常的长,如何选择最经济合适的方案来采购机器以匹配现有的业务,这个应该是对决策者比较考验的问题。 如果我们把整个IDC机房的运行时间和设备采购的成本以放到5年来看,我们会发现下面的一个情况。
image.png
从上图我们可以看得出来,根据逐年的业务提升,总是会发现IDC的服务无法满足业务的要求,从而再次对IDC机房进行扩容,扩容后的某一段时间内是可以满足业务的需要,但是再某些时候IDC机房所能提供的能力又大于业务的需求,造成了资源的浪费,图形中的两条线并不是平滑匹配的。
为了解决以上的问题,我们再2018年的时候开始考虑使用云计算的方案来替代我们现有的IDC的机房结构。

准备上云

上云之需求
说到为什么要上云,其本质上并不是说要去追寻什么现在主流的上云趋势。而是要实实在在解决我们在上一个章节中遇到的问题,总结来说,上云需要解决:

  • 预算控制问题
  • 日常运维的快速响应问题
  • 算力扩容问题
  • 业务与机器平滑匹配的问题

带着以上的几个问题,我们也开始着手去调研过一些云厂商的产品与服务。最后从提供的产品,价格的方面考虑还是选择了阿里云。最初在选择的时候我们调研到了阿里云的以下几个产品能够满足我们的需求:

  • ECS (提供与日常服务器一致的功能)
  • EMR (提供hadoop集群功能)
  • RDS (提供Mysql和Redis的功能)
    但如果只是仅仅考虑到以上的几个产品就去上云感觉无非就是把云服务当成了普通的服务器来使用,并没有什么太大的优势。但是结合到阿里云提供的一些其他产品,整个系统的结构会发生大的变化,所以我们最后选择使用的产品有:
  • VPC
  • NAT 网关
  • RDS
  • SLS
  • OSS
  • MaxCompute
  • CDN
  • PAI
  • EMR
  • SLB
    最终组成的业务架构图如下:

image.png

首先通过EIP按照业务的需要向外暴露服务,整个服务都装在VPC当中,通过NAT网关的DNAT和SNAT进行指向,进入的流量由SLB的规则分发到指定的ECS当中进行业务的处理,ECS当中的PHP,Python, Go 等程序可以通过读写RDS当中的数据进行处理,处理后的日志文件交由SLS统一收集并推送到Maxcompute 当中进行一些业务计算。计算后的最终结果再次写入到RDS当中供前端程序展示。计算中间结果存入OSS当中进行备份保存。
在配置沙河环境的时候同样采用了以上的思路,只是具体机器配置上比正式环境的略低几个档即可。

以上的所涉及到的各个产品与服务将在后面的章节具体介绍。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
3月前
|
机器学习/深度学习 传感器 数据采集
告别死记硬背,这篇机器学习“黑话”指南让你秒变内行
本 glossary 以工业制造为隐喻,系统梳理机器学习全链路核心概念:从数据预处理(特征工程、归一化、降维等)、主流算法(SVM、CNN、Transformer等),到训练优化(损失函数、反向传播、正则化)、模型评估(混淆矩阵、F1、AUC)及工程部署(MLOps、边缘推理)。共52个术语,兼顾准确性与可理解性,助力快速掌握ML知识体系。(239字)
443 4
|
Web App开发 存储 监控
|
4月前
|
文字识别 Linux 数据安全/隐私保护
Python实战:用代码轻松搞定PDF页面方向调整
本文详解Python自动化修复PDF页面方向问题:针对扫描件倒置、混合横纵页等痛点,对比Spire.PDF(精准控制)与PyPDF2(轻量快捷)两大方案,提供单页/批量/智能旋转、加密PDF处理及元数据保留等实用技巧,助你高效完成PDF方向矫正。(239字)
366 2
质数
【10月更文挑战第22天】质数。
762 67
|
存储 物联网 Python
使用 unicodedata 模块对字符串标准化
使用 unicodedata 模块对字符串标准化
524 1
|
Java 应用服务中间件 Apache
|
弹性计算 运维 监控
【最佳实践】iLogtail使用Grok语法解析日志
目标读者数字化系统开发运维(DevOps)工程师、稳定性工程师(SRE)、可观测平台运维人员等。背景介绍日志的形式往往多种多样,如果只是简单的读入日志数据,将很难进行搜索、分析及可视化。将原始的日志数据解析为结构化的数据,将大幅提升数据的可用性,方便用户进行快捷的“字段-值”的查询和分析。最基础的解...
1658 1
【最佳实践】iLogtail使用Grok语法解析日志
|
存储 缓存 算法
|
API 计算机视觉
OpenCV——图像灰度变换
OpenCV——图像灰度变换
1000 0
OpenCV——图像灰度变换