总结概括对于大数据、高并发的网站如何进行优化的问题

简介:

对于大数据、高并发的网站,如何进行优化?我这里作出一个概括性的总结,以后慢慢细化与完善,可能存在不全或有误的地方,欢迎大家一起交流,谢谢!

服务器端:

1.采用缓存或分布式缓存技术(cache、memcached、redis、MongoDB),针对不经常变动的数据进行缓存,降低请求数据库的频率;

2.针对耗时的处理采用异步/并行技术来提高服务器的可用并发量;

3.利用WEB SERVICE,WCF,WEB API,消息队列(MSMQ,RabbitMQ)等技术实现分布式业务逻辑处理及数据访问的能力;

4.运用合理的设计模式及架构,提高代码的利用率(如:DDD,SOA,AOP,DI);

5.页面GZIP压缩,降低服务器发送的字节数;

6.启用keep-alive(IIS设置keep-alive存在问题,详见:微软IIS对http keep-alive的“霸道”处理)

数据库端:(参考我之前文章:关于SQL SERVER高并发解决方案

1.数据库读写分离,可采用数据库同步技术,实现一个可写数据库,多个镜像只读数据库,简称为分库;

2.数据库表按读写或使用频率进行横向或纵向切割表,同时建立表分区,将不同的数据存储在不同的物理位置,以降低磁盘的IO读写,简称为分表;

3.SQL查询语句优化(包括索引,查询字段,过滤条件,存储过程,事务隔离级别等);

 

WEB前端:

1.压缩网页各类代码(HTML,CSS,JS);

2.采用多台服务器分别部署网页、静态资源(图片,文件等);

3.采用JS异步加载,图片延迟加载技术;

4.尽可能的减少JS文件数量,且将JS文件放到网页底部;

5.采用图片合成技术,将多个图标合成一个大图,以降低请求数量;

6.采用图片拼接技术,将大图利用第三方软件(如:PS)切成多个小图,以降低服务端响应时间;

7.采用AJAX异步请求技术,实现局部请求服务器资源,以降低请求与响应时间;

8.其它前端优化技术(比如:利用HTML5的本地网页缓存技术,DNS 预解析技术);

 

硬件(不是很懂):

1.提升服务器内存,硬盘等核心硬件性能;

2.实现服务器集群与虚拟化(参考:集群与虚拟化);

3.采用负载均衡技术;

本文转自 梦在旅途 博客园博客,原文链接:http://www.cnblogs.com/zuowj/p/4938571.html  ,如需转载请自行联系原作者

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
9月前
|
存储 分布式计算 大数据
MaxCompute聚簇优化推荐功能发布,单日节省2PB Shuffle、7000+CU!
MaxCompute全新推出了聚簇优化推荐功能。该功能基于 31 天历史运行数据,每日自动输出全局最优 Hash Cluster Key,对于10 GB以上的大型Shuffle场景,这一功能将直接带来显著的成本优化。
386 3
|
9月前
|
数据采集 搜索推荐 Java
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)
本文探讨 Java 大数据在智能教育虚拟学习环境中的应用,涵盖多源数据采集、个性化推荐、实时互动优化等核心技术,结合实际案例分析其在提升学习体验与教学质量中的成效,并展望未来发展方向与技术挑战。
|
8月前
|
存储 SQL 分布式计算
MaxCompute 聚簇优化推荐原理
基于历史查询智能推荐Clustered表,显著降低计算成本,提升数仓性能。
470 4
MaxCompute 聚簇优化推荐原理
|
8月前
|
存储 并行计算 算法
【动态多目标优化算法】基于自适应启动策略的混合交叉动态约束多目标优化算法(MC-DCMOEA)求解CEC2023研究(Matlab代码实现)
【动态多目标优化算法】基于自适应启动策略的混合交叉动态约束多目标优化算法(MC-DCMOEA)求解CEC2023研究(Matlab代码实现)
363 4
|
8月前
|
数据采集 存储 弹性计算
高并发Java爬虫的瓶颈分析与动态线程优化方案
高并发Java爬虫的瓶颈分析与动态线程优化方案
|
8月前
|
大数据 数据挖掘 定位技术
买房不是拍脑袋:大数据教你优化房地产投资策略
买房不是拍脑袋:大数据教你优化房地产投资策略
346 2
|
9月前
|
运维 监控 Kubernetes
高并发来了,运维别慌:如何优化运维流程,才能稳住阵脚?
高并发来了,运维别慌:如何优化运维流程,才能稳住阵脚?
270 4
|
8月前
|
数据采集 网络协议 API
协程+连接池:高并发Python爬虫的底层优化逻辑
协程+连接池:高并发Python爬虫的底层优化逻辑
|
9月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
9月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据机器学习模型在生物信息学基因功能预测中的优化与应用(223)
本文探讨了Java大数据与机器学习模型在生物信息学中基因功能预测的优化与应用。通过高效的数据处理能力和智能算法,提升基因功能预测的准确性与效率,助力医学与农业发展。

热门文章

最新文章