背靠中台实现基于大数据驱动的国际化电商架构(二)

简介: 一、背景 老生常谈国际化的技术挑战: 1)国际电商面临的是全球消费者,天然延时大; 2)面临国际互联互通的网络质量问题; 3)国际电商技术还将面临如何快速应对合规、政策等问题; 4)需要发展本地化业务来补足消费者需求,而本地化将面临与全球各地的第三方Service Provider对接; 5)全球范围内的灾备; 6)全球数据一致性; 7)竞争环境及很多的不确定性,需要我们快速迭代试错 这些挑战需要我们用智能高效的技术解决方案。

一、背景

老生常谈国际化的技术挑战:
1)国际电商面临的是全球消费者,天然延时大;
2)面临国际互联互通的网络质量问题;
3)国际电商技术还将面临如何快速应对合规、政策等问题;
4)需要发展本地化业务来补足消费者需求,而本地化将面临与全球各地的第三方Service Provider对接;
5)全球范围内的灾备;
6)全球数据一致性;
7)竞争环境及很多的不确定性,需要我们快速迭代试错

这些挑战需要我们用智能高效的技术解决方案。另外我们又是一个基于微服务的较轻量级的技术体系,我们容易做架构上的调整。因此我们坚定的基于大数据驱动更加智能的基础技术体系,实现高性能,高可用,高效率,实现合规问题解决方案。未来也将实现有竞争力的低成本!

二、技术方案介绍

2.1 数据视角架构

屏幕快照 2016-12-08 下午5.43.50.png
架构方面不论是稳定性,还是性能,还是成本效率,依赖的数据甚至体系都是一致的。比如Latency变长会导致PV下降,最终会引起订单下跌引起故障。因此上图中心思想就是让数据流到一起,再按不同的主题进行加工,落地到不同的工具中去做架构的治理优化,这样可以发挥数据规模优势,也让数据相互依赖发挥整合优势。

2.2 基础设施视角架构

屏幕快照 2017-05-10 下午4.44.24.png

从基础设施视角分为两种内容,三段处理。三段是指:
1)边缘节点,一般 是指CDN提供的服务,负责静态内容缓存加速;
2)GTR Service(Global Traffic Routing Service),指全球流量路由服务,它的职责是将需要回到IDC的请求从客户端转发到源端。需要回到IDC的请求包含静态内容的回源和动态内容的请求两部分。GTR Service详细请参考后续章节;
3)IDC是指我们的网站部署所在地。提供动态内容和静态内容的源。

两种内容是指:
1)静态内容,指图片或静态的样式文件或JS文件。一般边缘节点的缓存直接返回,若更新经过GTR Service去IDC中获取;
2)动态内容,这一部分内容的提供是由IDC提供,但是请求是通过GTR Service转发。

区域化部署架构解决了IDC端的问题,GTR Service基于实时大数据按需排列组合以提供最好的性能及可用性,此外,我们还将探索在POP点或CDN的NetStorage上缓存数据以获得更好的性能,并在双十一等高峰期缓解源站压力。更多详情仔细看图或阅读文章后续章节

2.3 多租户视角架构

屏幕快照 2017-05-10 下午4.45.09.png

这里的多租户是指所有的国际业务都是一个租户。所有国际业务面临的技术挑战都是一样的,AE在这方面有经验积累。
尤其是在基础技术方面,用于解决性能,稳定,效率,成本,合规等问题。这些方面一般是业务属性无关的,也是所有国际业务必须面临的问题,我们随时准备用这些基础技术能力支撑多租户。
具体的基础技术包含两方面:
1)区域化部署相关的核心服务:GTR Service,Service Routing Service,Data Routing and Replication Service, Global Failover Service。这些服务基本可以解决国际化的主要技术挑战,包含合规问题
2)基于大数据驱动的基础技术工具:性能工具,SRE工具,未来的成本工具,效率工具。这些工具也是与区域化部署体系和基础设施架构紧密相关的,业务必性无关的,也可以用于服务多租户。性能相关的AGP已经在多个业务中使用。

2.4 各子模块介绍

1)区域化部署相关的四个服务已经构建完成
2)GTR Service: 通过大数据实时监控和实时决策能力,对CDN动态加速,POP节点,IDC进行排列组合,找到最适合某一类用户最合适的网络访问链路,为用户提供最好的性能,在容灾时也可以为用户提供更好的。GTR Service可以按需独立提供对外服务
3)大数据驱动的SRE构建中
4)大数据驱动性能优化构建中

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
12月前
|
人工智能 运维 安全
配置驱动的动态 Agent 架构网络:实现高效编排、动态更新与智能治理
本文所阐述的配置驱动智能 Agent 架构,其核心价值在于为 Agent 开发领域提供了一套通用的、可落地的标准化范式。
5381 122
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
存储 SQL 监控
数据中台架构解析:湖仓一体的实战设计
在数据量激增的数字化时代,企业面临数据分散、使用效率低等问题。数据中台作为统一管理与应用数据的核心平台,结合湖仓一体架构,打通数据壁垒,实现高效流转与分析。本文详解湖仓一体的设计与落地实践,助力企业构建统一、灵活的数据底座,驱动业务决策与创新。
|
机器学习/深度学习 存储 分布式计算
ODPS驱动电商仓储革命:动态需求预测系统的落地实践
本方案基于ODPS构建“预测-仿真-决策”闭环系统,解决传统仓储中滞销积压与爆款缺货问题。通过动态特征工程、时空融合模型与库存仿真引擎,实现库存周转天数下降42%,缺货率下降65%,年损减少5000万以上,显著提升运营效率与GMV。
1208 1
|
存储 SQL 分布式计算
19章构建企业级大数据平台:从架构设计到数据治理的完整链路
开源社区: 贡献者路径:从提交Issue到成为Committer 会议演讲:通过DataWorks Summit提升影响力 标准制定: 白皮书撰写:通过DAMA数据治理框架认证 专利布局:通过架构设计专利构建技术壁垒
|
12月前
|
人工智能 安全 数据可视化
配置驱动的动态Agent架构网络:实现高效编排、动态更新与智能治理
本文系统性地提出并阐述了一种配置驱动的独立运行时Agent架构,旨在解决当前低代码/平台化Agent方案在企业级落地时面临困难,为Agent开发领域提供了一套通用的、可落地的标准化范式。
801 18
配置驱动的动态Agent架构网络:实现高效编排、动态更新与智能治理
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
983 1
|
数据可视化 IDE Java
OneCode图生代码技术深度解析:从可视化设计到注解驱动实现的全链路架构
OneCode图生代码技术通过可视化设计与Java注解驱动,实现UI到代码的高效转换,支持设计即开发、组件复用与动态加载,提升企业应用开发效率与协作能力。
OneCode图生代码技术深度解析:从可视化设计到注解驱动实现的全链路架构
|
消息中间件 分布式计算 大数据
“一上来就搞大数据架构?等等,你真想清楚了吗?”
“一上来就搞大数据架构?等等,你真想清楚了吗?”
279 1