大型网站技术架构——核心原理与案例分析(二)

简介: 网站高性能架构一、性能测试指标 1.1、响应时间1.2、并发数   指系统能够同时处理请求的数目,反映了系统的负载特性1.3、吞吐量  TPS(每秒事务数) HPS(每秒HTTP请求数) QPS(每秒查询数)等1.

网站高性能架构

一、性能测试指标 

1.1、响应时间

1.2、并发数   指系统能够同时处理请求的数目,反映了系统的负载特性

1.3、吞吐量  TPS(每秒事务数) HPS(每秒HTTP请求数) QPS(每秒查询数)等

1.4、性能计数  包括System Load、对象与线程数、内存使用、CPU使用、磁盘与网络I/O等指标

二、性能测试方法

2.1、性能测试 与初期规划的性能指标为预期目标,不断施加压力,验证是否在可接受范围,性能是否能达到性能预期

2.2、负载测试  不断地增加并发请求以增加系统压力,直到系统的某项或是多项性能指标大致安全临界值

2.3、压力测试   超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。

2.4、稳定性测试

三、性能优化

  根据网站分层架构,可分为Web前端性能优化、应用服务器性能优化、存储服务器性能优化。

3.1、Web前端性能优化

3.1.1 浏览器访问优化

A、减少http请求  HTTP每次都要建立通信链路,进行数据传输,服务端,会启动独立的线程去处理,这些开销都很昂贵,减少HTTP请求的数据目可以有效提高访问性能。主要手段:合并CSS、合并JavaScript、合并图片

B、使用浏览器缓存 对静态资源文件可以缓存在浏览器中,通过设置HTTP头中的Cache-Control和Expires属性,可以设置浏览器缓存,针对JavaScript可以通过改变文件名实现,浏览器缓存策略在更新静态资源 时,应采用批量更新的方法,不宜一次全部更新

C、启用压缩,在服务器端对文件进行压缩,在浏览器端对文件解压,一般采用GZip压缩可达80%的压缩率

D、CSS文件放在页面最上面、JavaScript放在页面最下面(这一点深有体会)

E、减少Cookie传输

3.1.2 CDN加速

3.1.3 反向代理 除了安全功能、代理服务器也可能通过配置缓存功能加速Web请求

3.2 应用服务器性能优化

3.2.1 分布式缓存  缓存的本质是一个内存Hash表,缓存主要存放那些读写比很高、很少变化的热数据。网站数据访问一般遵循二八定律、即80%的访问落在20%的数据上,将这20%的数据缓存起来,可以很好的地改善系统性能。提高数据读取速度 、降低存储访问压力

使用缓存时要注意缓存穿透(恶意的) 目前成熟的缓存产品有Memcached、Redis

3.2.2 异步操作   任何可以晚点做的事情都应该晚点再做

3.2.3 使用集群

3.2.4 代码优化 

    A、使用多线程

    B、资源复用 单例  对象池

   C、数据结构  如Time33可以很好的解决hash冲突

   D、垃圾回收  垃圾回收可能会对系统的性能特性产生巨大影响,理解垃圾回收机制有助于程序优化和参数调优。

3.3 存储性能优化  

3.3.1 机械硬盘 VS 固态硬盘 

3.3.2 B+树 VS LSM树

       传统机械磁盘具有快速顺序读写、慢速随机读写的访问特性,这个特性对磁盘存储结构和算法的选择影响很大。

       传统的关系型数据库使用的是B+树。

       目前许多NoSQL采用的LSM树

什么是LSM树:核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在磁盘中,等到积累到最后多之后,再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的,可以通过合并排序的方式快速合并到一起)。

3.3.3 RAID(廉价磁盘冗余阵列) VS HDFS

RAID的技术有(以下假设有N块磁盘)

RAID0、将数据分成N份,同时并发写N块磁盘,是一块磁盘的N倍,缺点,不做备份,一块磁盘出损坏,数据完整性被破坏

RAID1 写入时将数据同时写入两块磁盘,

RAID10 结合RAID0 RAID1 缺点 对磁盘的利用率不高

RAID3 将数据分成N-1份,并发写入N-1块磁盘,在第N块磁盘记录校验数据,作何一块磁盘损坏,可以利用其他N-1块磁盘的数据修复。缺点,任何修改都会导致第N块磁盘重写校验数据,N磁盘容易损坏。RAID3很少在实践中使用

RAID5 与RAID3原理类似,但被更多使用,原因校验数据不是写入第N块磁盘,而是螺旋式地写入到所有的磁盘中,这样校验数据的修改被平均到所有磁盘上。

RAID6 与 RAID5类似,但是数据只写入N-2块磁盘,并螺旋式地在两块磁盘中写入校验信息


HDFS,以块为单位管理文件,当应用程序写文件时,每写完一个Block,HDFS就将其自动复制到另外两台机器上,保证每个Block有三个副本。

HDFS两个重要的服务器角色NameNode(只部署一个)、DataNode


性能优化的最终目的是改善用户体验,让他们感觉网站很高。

目录
相关文章
|
18天前
|
机器学习/深度学习 安全 算法
十大主流联邦学习框架:技术特性、架构分析与对比研究
联邦学习(FL)是保障数据隐私的分布式模型训练关键技术。业界开发了多种开源和商业框架,如TensorFlow Federated、PySyft、NVFlare、FATE、Flower等,支持模型训练、数据安全、通信协议等功能。这些框架在灵活性、易用性、安全性和扩展性方面各有特色,适用于不同应用场景。选择合适的框架需综合考虑开源与商业、数据分区支持、安全性、易用性和技术生态集成等因素。联邦学习已在医疗、金融等领域广泛应用,选择适配具体需求的框架对实现最优模型性能至关重要。
250 79
十大主流联邦学习框架:技术特性、架构分析与对比研究
|
3天前
|
SQL 运维 BI
湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
浙江霖梓早期基于 Apache Doris 进行整体架构与表结构的重构,并基于湖仓一体和查询加速展开深度探索与实践,打造了 Doris + Paimon 的实时/离线一体化湖仓架构,实现查询提速 30 倍、资源成本节省 67% 等显著成效。
湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
|
10天前
|
存储 SQL 缓存
MySQL原理简介—2.InnoDB架构原理和执行流程
本文介绍了MySQL中更新语句的执行流程及其背后的机制,主要包括: 1. **更新语句的执行流程**:从SQL解析到执行器调用InnoDB存储引擎接口。 2. **Buffer Pool缓冲池**:缓存磁盘数据,减少磁盘I/O。 3. **Undo日志**:记录更新前的数据,支持事务回滚。 4. **Redo日志**:确保事务持久性,防止宕机导致的数据丢失。 5. **Binlog日志**:记录逻辑操作,用于数据恢复和主从复制。 6. **事务提交机制**:包括redo日志和binlog日志的刷盘策略,确保数据一致性。 7. **后台IO线程**:将内存中的脏数据异步刷入磁盘。
|
27天前
|
存储 缓存 监控
ClickHouse 架构原理及核心特性详解
ClickHouse 是由 Yandex 开发的开源列式数据库,专为 OLAP 场景设计,支持高效的大数据分析。其核心特性包括列式存储、字段压缩、丰富的数据类型、向量化执行和分布式查询。ClickHouse 通过多种表引擎(如 MergeTree、ReplacingMergeTree、SummingMergeTree)优化了数据写入和查询性能,适用于电商数据分析、日志分析等场景。然而,它在事务处理、单条数据更新删除及内存占用方面存在不足。
276 21
|
27天前
|
存储 消息中间件 druid
Druid 架构原理及核心特性详解
Druid 是一个分布式、支持实时多维OLAP分析的列式存储数据处理系统,适用于高速实时数据读取和灵活的多维数据分析。它通过Segment、Datasource等元数据概念管理数据,并依赖Zookeeper、Hadoop和Kafka等组件实现高可用性和扩展性。Druid采用列式存储、并行计算和预计算等技术优化查询性能,支持离线和实时数据分析。尽管其存储成本较高且查询语言功能有限,但在大数据实时分析领域表现出色。
101 19
|
27天前
|
存储 SQL NoSQL
Doris 架构原理及核心特性详解
Doris 是百度内部孵化的OLAP项目,现已开源并广泛应用。它采用MPP架构、向量化执行引擎和列存储技术,提供高性能、易用性和实时数据处理能力。系统由FE(管理节点)和BE(计算与存储节点)组成,支持水平扩展和高可用性。Doris 适用于海量数据分析,尤其在电商、游戏等行业表现出色,但资源消耗较大,复杂查询优化有局限性,生态集成度有待提高。
82 15
|
25天前
|
Java 网络安全 开发工具
Git进阶笔记系列(01)Git核心架构原理 | 常用命令实战集合
通过本文,读者可以深入了解Git的核心概念和实际操作技巧,提升版本管理能力。
|
26天前
|
机器学习/深度学习 人工智能 自然语言处理
一文彻底讲透GPT架构及推理原理
本篇是作者从开发人员的视角,围绕着大模型正向推理过程,对大模型的原理的系统性总结,希望对初学者有所帮助。
|
2月前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
3月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
82 3

热门文章

最新文章