支撑数千家天猫商家CRM业务,数云高弹性数据库如何做

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: 我们可以看到在云时代的大背景下,企业选择数据库存储产品需要综合考虑性能、稳定性、成本等不同方面,都是企业客户考虑的重点。同时云原生数据库在高并发、高可用、高可靠以及可扩展性方面的优势也再次被证明。

“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来”。-----麦肯锡

基于互联网和大数据和时代背景,用户在互联网上留下更多的印记,给企业提供了更多的用户相关数据,有了这些数据,企业不用再盲目地探索营销手段,而是可以运用大数据能力来降低成本提升产品的效益性,并实现精准化到用户需求,大数据分析借助巨大商业价值逐步走向营销的舞台,越来越多的品牌试图从海量的数据中分析出有价值的商业信息,以便做到精准营销。

数云是国内领先的数据化运营解决方案服务提供商,致力为消费品牌和零售品牌商提供整合软件产品、数据模型和专业服务的一站式数据化营销解决方案,数云在CRM领域的品牌客户保有量、品牌客户市场占有率、产品和解决方案综合能力等方面都排名第一。业务的高速发展和核心数据量的不断增长给数云带来了巨大的技术挑战。

品牌客户及品牌客户数据量增加迎来挑战

杭州数云信息技术有限公司成立于2011年,坚持以客户为中心,重构“人-货-场”,利用大数据和人工智能技术,支持全渠道、全链路、跨品牌、跨品类的数据化运营体系,驱动零售整体变革。在过去九年,数云的产品和解决方案以及公司影响力获得业界的一致认可。
66.png

数云持续打造基于数据赢家、云加CRM、互动赢家、智多星、数云大数据等产品的高效的SAAS化软件产品体系,基于这些核心产品帮客户提供全渠道客户资产管理、全渠道会员成长管理、全渠道客户营销策略等解决方案,并向客户提供联合营销、会员发展联盟、数据银行服务、全链路消费者运营等优质个性化服务,帮客户提供客户管理高效化、客户数据可视化、客户营销精准化等产品能力。

伴随数云产品、解决方案的不断升级和完善,数云在零售品牌电商客户数据化运营一直保持领先的位置,同时数云的产品和解决方案的能力在业界也是业界一流,获得诸多客户的信赖。有数千家品牌客户依托数云的产品体系构建适合自己的数据化运营解决方案,单客户数亿条核心数据、总数据上百TB的数据存储、以及大促期间的高并发访问都给数云的数据库存储选型带来了巨大挑战,需要数据库具备单实例海量数据存储、高弹性、高并发写性能、低运维成本等能力。

为了解决这些业务挑战,数云开启了核心业务数据库优化之路。

从MySQL到POLARDB

云计算具有可扩展、扩展性强、管理成低等优势,此前数云已经长期使用了阿里云的ECS、SLB、RDS、Reids、MongoDB等产品。随着核心业务数据的持续高速增长阿里云RDSMySQL面临着一定的挑战。部分实例存储数据量大,触发MySQL单实例存储瓶颈,传统数据库单个实例只能存3TB-6TB数据,单实例业务数据量大,维护成本高,代码配置复杂;数云有大促需求,在618/双十一等大促期间希望能快速弹升(分钟级)数据库实例的计算规格和IOPS能力;涉及商家数据一致性读取,希望读写数据库的读节点延迟小,有较大的读写比,希望能够快速增加读节点;高并发写诉求,对高并发状态下的写能力有较高要求。

云数据库PolarDB基于分布式共享存储架构以及经过阿里云数据库团队数年的深入优化,具备高弹性存储平滑扩展高并发写能力强完全兼容MySQL等优势,其中高弹性和存储平滑扩展能力能解决困扰数云的存储瓶颈和弹性不足的问题,在与阿里云数据库团队深入沟通和谨慎测试后,数云技术团队评估云PolarDB可以很好地满足核心互动业务的数据库存储、访问、弹性等能力诉求,同时也能有效降低运维和研发团队的管理使用成本。

PolarDB是一款关系型分布式数据库,采用工业界得到广泛验证的计算与存储分离架构,原生兼容MySQL,经历了双11大规模高并发高可用扩展性检验,又有基于中国市场的丰富实践,成为包括数云在内很多企业数据库上云的选择。
67.png

数云采用PolarDB分布式云原生数据库方案构建了数云核心产品互动赢家和数据赢家,解决了相关挑战:

1、轻松应对大促期间业务流量高峰:在618/双十一等大促期间,PolarDB可以在20分钟内完成10TB级数据的集群升配,快速弹升CPU、内存和IOPS的能力,确保流量突然增加的快速弹性。同时快速弹升能力也大幅度降低了数云大促资源准备的成本,只需要在双十一前夕做数据库弹升即可。

2、降低业务高速发展带来的研发管理成本:数云的产品以数据为核心,品牌客户的数据量较大,在数据库部署层面采用多租户部署模式,单个数据库实例存储的数据量比较大,一般能达到几TB,由于传统MySQL数据库的存储容量有限,存量客户数据量增长和新客户的接入都会带来研发的管理成本,同时上百个MySQL实例也带来了较大的管理成本。PolarDB采用共享存储架构,存储和计算分离,能够最大程度的提供单实例的存储能力,最大可达100TB,可以解决数云多租户数据存储带来的单实例过大无法存储的问题和研发管理成本,也降低了由于单实例存储量限制带来的实例多管理成本高的问题。

3、支撑多个商户的高并发业务诉求:数据赢家和互动赢家在线服务的商户数较多,对高并发读写能力有较强要求。PolarDB通过引擎的优化和超强的IOPS能力提供高并发状态下的超强写能力,32个并发以上OLTP写能力能达到普通MySQL的2-3倍。

4、较低的迁移、接入成本。PolarDB100%兼容MySQL5.6和MySQL8.0,完全兼容MySQL各种生态和中间件开源工具,同时阿里云提供基于DTS的MySQL生态数据库迁移方案,方便数云低成本将现有应用服务和业务数据迁移至PolarDB。

尽管PolarDB的产品能力和阿里云数据库团队的服务得到数云技术团队的初步认可,但是没有经历大考的产品客户心里还是没底,PolarDB在数云正式投产后便面临双十一大考,在2019年PolarDB稳定支持了数云双十一业务,整体表现平稳,真正被数云技术团队彻底认可。

小结:云原生、高弹性,PolarDB值得信赖

从数云数据库架构升级过程中,我们可以看到在云时代的大背景下,企业选择数据库存储产品需要综合考虑性能、稳定性、成本等不同方面,都是企业客户考虑的重点。同时云原生数据库在高并发、高可用、高可靠以及可扩展性方面的优势也再次被证明。

同时由于数云的业务场景有较强的大促属性,存在峰值流量远大于平时流量,对数据库产品的弹性能力有较高的诉求,PolarDB的弹性能力处于业界领先位置,在大促期间的实际效果也符合数云业务场景的诉求,也成为数云选择PolarDB的关键因素。

伴随阿里云技术迭代升级应用而生的云原生数据库PolarDB,已经在云上为众多企业客户提供了稳定可靠的数据库服务。PolarDB的不断完善也需要企业客户的信任和数据库技术爱好者的支持,相信阿里云会持续给企业客户提供更完善、更强大的数据库产品。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
Web App开发 存储 安全
数千用户将包含敏感数据的 Firefox cookie 数据库提交至 GitHub
数千用户将包含敏感数据的 Firefox cookie 数据库提交至 GitHub
124 0
数千用户将包含敏感数据的 Firefox cookie 数据库提交至 GitHub
|
SQL 安全 数据库
【双11背后的技术】AliCloudDB——双11商家后台数据库的基石
作者:玄惭 前言 2016年天猫双11购物狂欢节已经完美落下帷幕,千亿成交的背后,作为整个天猫商家后台数据库的基石,AliCloudDB是如何保障在零点洪峰来临时候稳定、安全和顺畅?如此庞大规模的数据库实例集群又是怎样一步步成长起来的?AliCloudDB团队核心老司机玄惭,为你带来,双11是这
3997 0
|
22天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
51 3
|
22天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
55 3
|
22天前
|
SQL 关系型数据库 MySQL
数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog
《数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog》介绍了如何利用MySQL的二进制日志(Binlog)恢复误删除的数据。主要内容包括: 1. **启用二进制日志**:在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**:使用`SHOW VARIABLES LIKE 'log_%';`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**:确保在恢复前已有备份,以防意外。 4. **导出二进制日志为SQL语句**:使用`mysqlbinlog`
72 2
|
1月前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
236 15
|
29天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
|
1月前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。
|
1月前
|
SQL 关系型数据库 MySQL
MySQL导入.sql文件后数据库乱码问题
本文分析了导入.sql文件后数据库备注出现乱码的原因,包括字符集不匹配、备注内容编码问题及MySQL版本或配置问题,并提供了详细的解决步骤,如检查和统一字符集设置、修改客户端连接方式、检查MySQL配置等,确保导入过程顺利。
|
2月前
|
关系型数据库 MySQL 数据库
GBase 数据库如何像MYSQL一样存放多行数据
GBase 数据库如何像MYSQL一样存放多行数据