【运维知识进阶篇】集群架构体系及虚拟机准备工作

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 【运维知识进阶篇】集群架构体系及虚拟机准备工作

写在开头

       我计划发表四个篇章的博文,难度由浅入深,分别是基础篇的Linux系统,进阶篇的web架构,高级篇的shell编程、代码上线,大神篇的数据库、Docker、k8s。思考许久,还是决定直接开始进阶篇的博文,离开了近两周很是抱歉,因为现实需要处理一些事情,这次回归,干脆就开启新的篇章,先前介绍的运维知识基础篇的内容,好像就差一个网络了,等有空的时候再做补充,我们直接开始集群架构的学习。

转变思维      

  进阶篇的学习不同于基础篇,先前的学习,知识点比较零散,我们只有反复练习,才能把它弄熟练。但是今后我们要学的东西,是一个框架,需要先学框架体系,再学习里面的内容。另外进阶篇的知识理解要大于操作,如果你跳槽,框架体系都是一样的,个别业务不一样,简单业务熟悉了也能上手。

架构体系

在服务器上部署网站服务,需要有数据库,NFS存储,运维人员。

公司一开始部署时,不知道流量大小,先部署一台,这样优势是成本低,劣势是用户多,服务器抗压能力弱,如果一台服务器出现某些问题导致无法访问,我们就称它是单点故障。

一台服务器的硬件会受到限制,cpu,内存,磁盘,数量不会太多,所以我们就需要用多台服务器去装业务。比如传统行业的官网、访问量少的网站,不是特别重要的网站,一台服务器就OK,挂了我们再恢复,顶多是一段时间无法访问。

像一些存在交易性质的网站,无时无刻不再交易,所以不能挂掉。需要用多台服务器去抗流量,抗并发。

LNMP框架:Linux操作系统,Nginx,MySQL数据库,PHP代码

也可以是:Linux,Nginx,MySQL,Python

LNMP框架:Linux,Nginx,MySQL,Tomcat(java)

LAMP框架:Linux,Apache,MySQL,PHP,Python

用户访问流程:

1.用户通过网络访问到达防火墙,这里centos6是Iptable,centos7是Firewalld,也有WAF防火墙,用于阻挡web层面的攻击。

2.再通过负载均衡,把流量分布到服务器中,这里的软件有Nginx,Haproxy,LVS,硬件有F5。

3.服务器中服务有Nginx、Tomcat、Apache、PHP(web服务器用于连接数据库的服务)

4.此时看请求是什么,请求热点的数据用Redis缓存服务器,如果是请求动态数据,就去找数据库,如果是请求静态数据,就找文件存储服务器(NFS、NAS、OSS),文件储存服务器也有缓存,叫CDN,不在自己的web服务器上去拿数据。

5.这些运行过程都可以通过ELK服务(日志展示平台)展示出来。还会用到zabbix监控,出现问题及时发现。可以用Ansible批量化管理。这些服务可能会部署到以下地方。

1、Vmware虚拟机(教学使用)

2、公有云(阿里云、腾讯云、亚马逊云平台)

3、私有云平台,自己公司购买服务器组成虚拟化平台Openstack

4、硬件/托管到idc机房,基于硬件的Docker Kubeneters

代码上线相关,开发写完代码扔到代码管理平台gitlab或者github,再用Jenkins进行拉取代码质量检测,检测有没有bug或漏洞,检测完之后通知相关人员,没有问题后,运维再用Jenkins先部署到一台服务器测试(人工、工具检测,指标反馈)

虚拟机准备

我们先创建一个模板机,正常创建虚拟机即可,不会创建看下面文章。

如何在VMware上创建Linux系统(CentOS7.9)

创建好后我们连接Xshell进行虚拟机优化,不会连接看下面文章。

如何用Xshell连接VMware虚拟机及排查问题

优化linux系统流程

1、修改默认YUM仓库和扩展epel仓库

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

添加扩展仓库:

yum -y install wget

wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo

2、安装常用命令

yum -y install net-tools lrzsz wget tree vim unzip bash-completion bash-completion-extra ntpdate

3、增加一块内网网卡,并将网卡命名为eth1

 

vim /etc/sysconfig/network-scripts/ifcfg-eth0,优化网卡文件,删除多余部分

详细可见此文章:优化网卡配置文件

cp ifcfg-eth0 ifcfg-eth1 #复制成eth1网卡文件

vim ifcfg-eth1 #修改成如下状态

4、优化服务器

systemctl disable firewalld

systemctl stop firewalld

5、关闭selinux

6、调整进程最大打开文件数量

echo '* - nofile 65535' >> /etc/security/limits.conf

7、reboot重启虚拟机

优化过后我们可以通过检查防火墙状态或者查看命令是否可以用等方式测试下是否优化好。

没有问题后,我们关机,做个快照,进行克隆。

克隆虚拟机流程

以准备Rsync备份服务器为例:

我们使用链接克隆,要保证模板机一直可以用,否则克隆机也用不了了。

克隆好后,我们把克隆机打开,修改IP地址、修改主机名称、重启、创建新的xshell会话、做快照(可以开着做,不用挂起)

1. [root@formwork ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
2. TYPE=Ethernet
3. BOOTPROTO=none
4. NAME=eth0
5. DEVICE=eth0
6.   BOOT=yes
7. IPADDR=10.0.0.41
8. PREFIX=24
9. GATEWAY=10.0.0.2
10. DNS1=223.5.5.5
11. ~                                                   
12. ~                                                   
13. ~                                                   
14. ~                                                   
15. ~                                                   
16. ~                                                   
17. <pts/ifcfg-eth0" 9L, 121C written 
18. [root@formwork ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
19. TYPE=Ethernet
20. BOOTPROTO=none
21. NAME=eth0
22. DEVICE=eth0
23. ONBOOT=yes
24. IPADDR=172.16.1.41
25. PREFIX=24
26. ~                                                   
27. ~                                                   
28. ~                                                   
29. ~                                                   
30. ~                                                   
31. ~                                                   
32. ~                                                   
33. ~                                                   
34. <ipts/ifcfg-eth1" 7L, 91C written 
35. [root@formwork ~]#

hostnamectl set-hostname backup


我是koten,10年运维经验,持续分享运维干货,感谢大家的阅读和关注!

目录
打赏
0
0
0
0
39
分享
相关文章
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
73 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
中小医院云HIS系统源码,系统融合HIS与EMR功能,采用B/S架构与SaaS模式,快速交付并简化运维
这是一套专为中小医院和乡镇卫生院设计的云HIS系统源码,基于云端部署,采用B/S架构与SaaS模式,快速交付并简化运维。系统融合HIS与EMR功能,涵盖门诊挂号、预约管理、一体化电子病历、医生护士工作站、收费财务、药品进销存及统计分析等模块。技术栈包括前端Angular+Nginx,后端Java+Spring系列框架,数据库使用MySQL+MyCat。该系统实现患者管理、医嘱处理、费用结算、药品管控等核心业务全流程数字化,助力医疗机构提升效率和服务质量。
【赵渝强老师】达梦数据库MPP集群的架构
达梦数据库提供大规模并行处理(MPP)架构,以低成本实现高性能并行计算,满足海量数据存储和复杂查询需求。DM MPP采用完全对等无共享体系,消除主节点瓶颈,通过多节点并行执行提升性能。其执行流程包括主EP生成计划、分发任务、各EP并行处理及结果汇总返回。为确保高可用性,建议结合数据守护部署。
卓越效能,极简运维,Serverless高可用架构
本文介绍了Serverless高可用架构方案,当企业面对日益增长的用户访问量和复杂的业务需求时如何实现更高的灵活性、更低的成本和更强的稳定性。
卓越效能,极简运维,体验Serverless高可用架构,完成任务可领取转轮日历!
卓越效能,极简运维,体验Serverless高可用架构,完成任务可领取转轮日历!
自动化运维的利剑:Ansible在现代IT架构中的应用
在数字化浪潮中,企业对IT系统的敏捷性和可靠性要求日益提高。Ansible,一种简单但强大的自动化运维工具,正成为现代IT架构中不可或缺的一部分。它通过声明式编程语言YAM,简化了系统配置、应用部署和任务自动化的过程,显著提升了运维效率和准确性。本文将深入探讨Ansible的核心特性、应用场景以及如何有效整合进现有IT环境,为读者揭示其在自动化运维中的实用价值和未来发展潜力。
自动化运维的利剑:Ansible在现代IT架构中的应用
【10月更文挑战第42天】本文旨在揭示自动化运维工具Ansible如何革新现代IT架构,通过简化配置管理和部署流程,提升效率和可靠性。我们将探索Ansible的核心功能、语言特性以及其在DevOps文化中的角色。文章还将展示如何借助Ansible构建模块化和可重用的配置代码,实现快速迭代与部署,并确保系统一致性。通过阅读本文,运维人员将了解如何利用Ansible优化日常任务,加速产品上线速度,同时提高系统的稳健性。
95 5
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
148 0
【赵渝强老师】Memcached集群的架构
Memcached 是一个高性能的分布式内存对象缓存系统,通过在内存中维护一个巨大的 Hash 表来存储各种格式的数据,如图像、视频、文件及数据库检索结果等。它主要用于减轻数据库压力,提高网站系统的性能。Memcached 不支持数据持久化,因此仅作为缓存技术使用。其数据分布式存储由客户端应用程序实现,而非服务端。
149 0
【赵渝强老师】Memcached集群的架构

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等