数据架构:中国电信的Oracle Sharding架构应用案例分析

简介:

Oracle Sharding 可以被看做是一个 Shared-Nothing 架构的弹性关系型数据库,最多可以水平扩展到 1000 个独立的Oracle数据库分片,每个分片存储全局表的局部数据,依托原有的分区技术,实现数据的拆分。

1

有了分片,自然要有路由机制,Oracle 通过 Shard Directors 和 Shard Catalog 实现这一目标,应用访问最佳方式是通过使用分区键来进行数据分片的导航。

2

中国电信是中国国内最早实践的用户之一。在 2017 Oracle OpenWorld大会上,中国电信分享了他们的应用情况,题目是:Oracle Sharding ofr China Telecom's WeChat IoT Application,从名字看,这是中国电信基于Wechat - 微信的服务体系应用系统。

3

截至2016年,中国电信在网用户约2.15亿,其实践案例微信服务平台是 BSS 域的一部分,实现了基于 WeChat 的客户服务系统。

4

Q:为什么采用Oracle Sharding作为解决方案?中国电信做了解答
A:因为这个项目要服务于大量的 NB-IoT(Narrow Band Internet of Things,窄带蜂窝物联网)网络用户。
A:在评估了 Oracle Sharding,MySQL、MongoDB 和 MariaDB 之后,选择了Oracle数据库的解决方案,因为更换数据库的迁移成本太高(too high),DBA 和 开发人员 更熟悉 Oracle 数据库。

5

在经过参考同行、测试验证之后,2017年6月29日,这个系统正式上线,上线之后运行稳定。

6

整个系统的架构图如下,目前使用了 4 套 Oracle RAC,构成了具有四个分片 - Shard 的 Oracle 分布式架构。图中未提交备库和容灾设计,一般来说,还应该有 Data Guard 存在于这个架构之中。

7

未来,中国电信将依托这个平台,继续整合其他应用,比如 10000 号客户服务系统。

8

另外一个Oracle Sharding的典型客户是 Dyn ,领先的DNS和Email服务提供商,他们通常要在90天内面对 2 万亿次的查询,产生 1.6 TB/天 的数据量,3个月的数据增幅超过 144 TB。

9

Dyn 的Sharding 部署方案跨越了两个数据中心,其间通过Data Guard技术进行同步:

10

看起来Oracle Sharding的威力正在逐步展现,是时候了,研究起来。原文发布时间为:2017-10-30
本文作者:盖国强
本文来自云栖社区合作伙伴“数据和云”,了解相关信息可以关注“数据和云”微信公众号

相关文章
|
14天前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
37 8
|
15天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
126 7
|
15天前
|
数据采集 搜索推荐 数据管理
数据架构 CDP 是什么?
数据架构 CDP 是什么?
39 2
|
4月前
|
机器学习/深度学习 数据采集 人工智能
揭秘!47页文档拆解苹果智能,从架构、数据到训练和优化
【8月更文挑战第23天】苹果公司发布了一份47页的研究文档,深入解析了其在智能基础语言模型领域的探索与突破。文档揭示了苹果在此领域的雄厚实力,并分享了其独特的混合架构设计,该设计融合了Transformer与RNN的优势,显著提高了模型处理序列数据的效能与表现力。然而,这种架构也带来了诸如权重平衡与资源消耗等挑战。苹果利用海量、多样的高质量数据集训练模型,但确保数据质量及处理噪声仍需克服。此外,苹果采取了自监督与无监督学习相结合的高效训练策略,以增强模型的泛化与稳健性,但仍需解决预训练任务选择及超参数调优等问题。
152 66
|
19天前
|
存储 Oracle NoSQL
【赵渝强老师】Oracle的体系架构
Oracle数据库的核心在于其体系架构,主要包括数据库与实例、存储结构、进程结构和内存结构。数据库由物理文件组成,实例则是内存和进程的组合。存储结构分为逻辑和物理两部分,进程结构涉及多个后台进程如SMON、PMON、DBWn等,内存结构则包含SGA和PGA。掌握这些知识有助于更好地管理和优化Oracle数据库。
|
2月前
|
存储 大数据 数据处理
洞察未来:数据治理中的数据架构新思维
数据治理中的数据架构新思维对于应对未来挑战、提高数据处理效率、加强数据安全与隐私保护以及促进数据驱动的业务创新具有重要意义。企业需要紧跟时代步伐,不断探索和实践新型数据架构,以洞察未来发展趋势,为企业的长远发展奠定坚实基础。
|
3月前
|
存储 搜索推荐 数据库
MarkLogic在微服务架构中的应用:提供服务间通信和数据共享的机制
随着微服务架构的发展,服务间通信和数据共享成为关键挑战。本文介绍MarkLogic数据库在微服务架构中的应用,阐述其多模型支持、索引搜索、事务处理及高可用性等优势,以及如何利用MarkLogic实现数据共享、服务间通信、事件驱动架构和数据分析,提升系统的可伸缩性和可靠性。
49 5
|
4月前
|
安全 网络安全 数据安全/隐私保护
云原生技术探索:容器化与微服务架构的实践之路网络安全与信息安全:保护数据的关键策略
【8月更文挑战第28天】本文将深入探讨云原生技术的核心概念,包括容器化和微服务架构。我们将通过实际案例和代码示例,展示如何在云平台上实现高效的应用部署和管理。文章不仅提供理论知识,还包含实操指南,帮助开发者理解并应用这些前沿技术。 【8月更文挑战第28天】在数字化时代,网络安全和信息安全是保护个人和企业数据的前线防御。本文将探讨网络安全漏洞的成因、加密技术的应用以及提升安全意识的重要性。文章旨在通过分析网络安全的薄弱环节,介绍如何利用加密技术和提高用户警觉性来构建更为坚固的数据保护屏障。
|
4月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
4月前
|
机器学习/深度学习 自然语言处理 数据处理

推荐镜像

更多