交易网站的架构的一点研究心得

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:       这两天同事正好做数据优化,碰巧遇到高并发数据读取的事情,一起探讨了一下,后来想起来淘宝的经验应该值得学习,找了一下文档,发现确实有学习的地方,下面先转一个人谈的高并发的文章(http://blog.csdn.net/xzknet/article/details/7790491)_,我看了一下也就前两段有可以理解的内容,后面竟是闲谈(可能没有仔细悟吧)。 个人感觉淘宝现在的架构是
      这两天同事正好做数据优化,碰巧遇到高并发数据读取的事情,一起探讨了一下,后来想起来淘宝的经验应该值得学习,找了一下文档,发现确实有学习的地方,下面先转一个人谈的高并发的文章( http://blog.csdn.net/xzknet/article/details/7790491)_,我看了一下也就前两段有可以理解的内容,后面竟是闲谈(可能没有仔细悟吧)。
 
个人感觉淘宝现在的架构是
 
反向代理层面:
      这个层面应该没有什么有趣的地方,无外乎使用CDN加速一下访问速度,将静态的JS了,图片了缓存一下。硬件产品有F5,Array,软件有Nginx、Apache等吧。
 
WEB服务器层面
       单个WEB服务器为用户提供服务的数量不论如何改造都是有限的,所以需要大量部署集群方能解决用户的高并发问题。但是又不能每次增加一个节点就重启一下全部服务器,那样多麻烦啊。完美的解决之道还在于节点可以随时增加,随时减少,所以程序开发时需要考虑好缓存的集群化部署,这样Web容器不论启动多少个,都是从Cache缓存集群中获取数据。
 
数据库层面:
     卖家要实时数据,买家要高速查询数据,只有在交易时才需要实时的数据。
     卖家+买家交易过程===》使用Oracle数据库,进行实时读写(量比较小,这时数据读写的比例比较均衡,需要保证数据的实时性)===》发布商品后(该信息转为读属性为主的资料),将信息使用后台异步的调度程序,将Oracle数据转换为他们自己基于MySQL开发的数据库。
    
     买家===》读取MySQL集群数据库,进行高并发的数据查询。这个MySQL数据库比较有趣,是淘宝自己改造的一个版本,是淘宝使用MySQL改写的一个分支。利用MySQL的集群和分区的特性为集群服务器读取数据,并且为每一个MySQL服务器程序分配大量的内存来加速数据的读取,这样就解决买家高速查询获取数据的要求(感觉更像是一个可以使用SQL语句访问的Cache)。
     (淘宝开发的MySQL数据库,貌似又开源出来了,这样又省钱,又可以横向扩展服务器,觉的读取压力大了就买几台服务器,部署上几个MySQL集群,再部署上几套前台应用程序,就基本解决问题了)
 
数据搜索层面
    数据搜索是一个麻烦事情,不过可以考虑使用SOLR解决数据库的搜索,毕竟交易网站随着数据的增加,业务数据会越来越多,前期不考虑,后期用户的一个简单的模糊查询就会把数据库给搞死了。所以还是使用SOLR辅助解决数据库的检索。
 
 
     以上仅仅是个人对淘宝高并发研究的一点拙见,大家有什么好的看法了多多交流。
     呵呵,家里有事了,以后有啥心得了再补这个吧。
 
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
12月前
|
机器学习/深度学习 安全 算法
十大主流联邦学习框架:技术特性、架构分析与对比研究
联邦学习(FL)是保障数据隐私的分布式模型训练关键技术。业界开发了多种开源和商业框架,如TensorFlow Federated、PySyft、NVFlare、FATE、Flower等,支持模型训练、数据安全、通信协议等功能。这些框架在灵活性、易用性、安全性和扩展性方面各有特色,适用于不同应用场景。选择合适的框架需综合考虑开源与商业、数据分区支持、安全性、易用性和技术生态集成等因素。联邦学习已在医疗、金融等领域广泛应用,选择适配具体需求的框架对实现最优模型性能至关重要。
2274 79
十大主流联邦学习框架:技术特性、架构分析与对比研究
|
9月前
|
机器学习/深度学习 传感器 自然语言处理
基于Transformer架构的时间序列数据去噪技术研究
本文介绍了一种基于Transformer架构的时间序列去噪模型。通过生成合成数据训练,模型在不同噪声条件下展现出强去噪能力。文章详细解析了Transformer的输入嵌入、位置编码、自注意力机制及前馈网络等关键组件,并分析实验结果与注意力权重分布。研究为特定任务的模型优化和专业去噪模型开发奠定了基础。
604 14
基于Transformer架构的时间序列数据去噪技术研究
|
7月前
|
运维 监控 数据可视化
一文详解:工业软件“低代码开发平台”技术架构研究与分析
本文围绕工业软件低代码开发平台的机遇与挑战,提出基于自动化引擎的技术架构,由工具链、引擎库、模型库、组件库、工业数据网关和应用门户组成。文章分析了其在快速开发、传统系统升级中的应用模式及价值,如缩短创新周期、降低试错成本、解决资源缺乏和提升创新可复制性,为我国工业软件产业发展提供参考和支持。
|
人工智能 算法 测试技术
StockMixer:上海交大推出预测股票价格的 MLP 架构,通过捕捉指标、时间和股票间的复杂相关性,预测下一个交易日的收盘价
StockMixer 是上海交通大学推出的基于多层感知器的股票价格预测架构,通过指标、时间和股票混合实现高效预测。
836 11
StockMixer:上海交大推出预测股票价格的 MLP 架构,通过捕捉指标、时间和股票间的复杂相关性,预测下一个交易日的收盘价
|
存储 JavaScript 开发工具
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
本次的.HarmonyOS Next ,ArkTS语言,HarmonyOS的元服务和DevEco Studio 开发工具,为开发者提供了构建现代化、轻量化、高性能应用的便捷方式。这些技术和工具将帮助开发者更好地适应未来的智能设备和服务提供方式。
基于HarmonyOS 5.0(NEXT)与SpringCloud架构的跨平台应用开发与服务集成研究【实战】
|
机器学习/深度学习 算法 数据可视化
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
本文探讨了在量化交易中结合时序特征和静态特征的混合建模方法。通过整合堆叠稀疏降噪自编码器(SSDA)和基于LSTM的自编码器(LSTM-AE),构建了一个能够全面捕捉市场动态特性的交易系统。SSDA通过降噪技术提取股票数据的鲁棒表示,LSTM-AE则专注于捕捉市场的时序依赖关系。系统采用A2C算法进行强化学习,通过多维度的奖励计算机制,实现了在可接受的风险水平下最大化收益的目标。实验结果显示,该系统在不同波动特征的股票上表现出差异化的适应能力,特别是在存在明确市场趋势的情况下,决策准确性较高。
561 5
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
|
网络协议 数据挖掘 5G
适用于金融和交易应用的低延迟网络:技术、架构与应用
适用于金融和交易应用的低延迟网络:技术、架构与应用
724 5
|
设计模式 前端开发 JavaScript
深入探索研究MVVM架构设计
【10月更文挑战第7天】
620 0
|
弹性计算 负载均衡 关系型数据库
使用资源编排 ROS 轻松部署高可用架构网站——以 WordPress 为例
WordPress 是流行的开源 CMS,阿里云的资源编排服务 (ROS) 提供 IaC 功能,简化云上资源自动化部署,如创建 VPC、ECS、SLB、RDS 和弹性伸缩等。通过 ROS 模板(JSON/YAML),用户能快速部署高可用的 WordPress 环境,包括负载均衡、多可用区的 ECS 服务器集群、高可用 RDS 数据库等。模板定义了资源、参数和输出,用户在 ROS 控制台配置参数后一键部署。ROS 提升了部署效率,便于跨地域复制相同架构。
使用资源编排 ROS 轻松部署高可用架构网站——以 WordPress 为例
|
机器学习/深度学习 架构师 数据库
20年老架构师,劝我多看看这几个网站
20年老架构师,劝我多看看这几个网站
261 0