“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来”。-----麦肯锡
基于互联网和大数据和时代背景,用户在互联网上留下更多的印记,给企业提供了更多的用户相关数据,有了这些数据,企业不用再盲目地探索营销手段,而是可以运用大数据能力来降低成本提升产品的效益性,并实现精准化到用户需求,大数据分析借助巨大商业价值逐步走向营销的舞台,越来越多的品牌试图从海量的数据中分析出有价值的商业信息,以便做到精准营销。
数云是国内领先的数据化运营解决方案服务提供商,致力为消费品牌和零售品牌商提供整合软件产品、数据模型和专业服务的一站式数据化营销解决方案,数云在CRM领域的品牌客户保有量、品牌客户市场占有率、产品和解决方案综合能力等方面都排名第一。业务的高速发展和核心数据量的不断增长给数云带来了巨大的技术挑战。
品牌客户及品牌客户数据量增加迎来挑战
杭州数云信息技术有限公司成立于2011年,坚持以客户为中心,重构“人-货-场”,利用大数据和人工智能技术,支持全渠道、全链路、跨品牌、跨品类的数据化运营体系,驱动零售整体变革。在过去九年,数云的产品和解决方案以及公司影响力获得业界的一致认可。
数云持续打造基于数据赢家、云加CRM、互动赢家、智多星、数云大数据等产品的高效的SAAS化软件产品体系,基于这些核心产品帮客户提供全渠道客户资产管理、全渠道会员成长管理、全渠道客户营销策略等解决方案,并向客户提供联合营销、会员发展联盟、数据银行服务、全链路消费者运营等优质个性化服务,帮客户提供客户管理高效化、客户数据可视化、客户营销精准化等产品能力。
伴随数云产品、解决方案的不断升级和完善,数云在零售品牌电商客户数据化运营一直保持领先的位置,同时数云的产品和解决方案的能力在业界也是业界一流,获得诸多客户的信赖。有数千家品牌客户依托数云的产品体系构建适合自己的数据化运营解决方案,单客户数亿条核心数据、总数据上百TB的数据存储、以及大促期间的高并发访问都给数云的数据库存储选型带来了巨大挑战,需要数据库具备单实例海量数据存储、高弹性、高并发写性能、低运维成本等能力。
为了解决这些业务挑战,数云开启了核心业务数据库优化之路。
从MySQL到POLARDB
云计算具有可扩展、扩展性强、管理成低等优势,此前数云已经长期使用了阿里云的ECS、SLB、RDS、Reids、MongoDB等产品。随着核心业务数据的持续高速增长阿里云RDSMySQL面临着一定的挑战。部分实例存储数据量大,触发MySQL单实例存储瓶颈,传统数据库单个实例只能存3TB-6TB数据,单实例业务数据量大,维护成本高,代码配置复杂;数云有大促需求,在618/双十一等大促期间希望能快速弹升(分钟级)数据库实例的计算规格和IOPS能力;涉及商家数据一致性读取,希望读写数据库的读节点延迟小,有较大的读写比,希望能够快速增加读节点;高并发写诉求,对高并发状态下的写能力有较高要求。
云数据库PolarDB基于分布式共享存储架构以及经过阿里云数据库团队数年的深入优化,具备高弹性、存储平滑扩展、高并发写能力强、完全兼容MySQL等优势,其中高弹性和存储平滑扩展能力能解决困扰数云的存储瓶颈和弹性不足的问题,在与阿里云数据库团队深入沟通和谨慎测试后,数云技术团队评估云PolarDB可以很好地满足核心互动业务的数据库存储、访问、弹性等能力诉求,同时也能有效降低运维和研发团队的管理使用成本。
PolarDB是一款关系型分布式数据库,采用工业界得到广泛验证的计算与存储分离架构,原生兼容MySQL,经历了双11大规模高并发、高可用、扩展性检验,又有基于中国市场的丰富实践,成为包括数云在内很多企业数据库上云的选择。
数云采用PolarDB分布式云原生数据库方案构建了数云核心产品互动赢家和数据赢家,解决了相关挑战:
1、轻松应对大促期间业务流量高峰:在618/双十一等大促期间,PolarDB可以在20分钟内完成10TB级数据的集群升配,快速弹升CPU、内存和IOPS的能力,确保流量突然增加的快速弹性。同时快速弹升能力也大幅度降低了数云大促资源准备的成本,只需要在双十一前夕做数据库弹升即可。
2、降低业务高速发展带来的研发管理成本:数云的产品以数据为核心,品牌客户的数据量较大,在数据库部署层面采用多租户部署模式,单个数据库实例存储的数据量比较大,一般能达到几TB,由于传统MySQL数据库的存储容量有限,存量客户数据量增长和新客户的接入都会带来研发的管理成本,同时上百个MySQL实例也带来了较大的管理成本。PolarDB采用共享存储架构,存储和计算分离,能够最大程度的提供单实例的存储能力,最大可达100TB,可以解决数云多租户数据存储带来的单实例过大无法存储的问题和研发管理成本,也降低了由于单实例存储量限制带来的实例多管理成本高的问题。
3、支撑多个商户的高并发业务诉求:数据赢家和互动赢家在线服务的商户数较多,对高并发读写能力有较强要求。PolarDB通过引擎的优化和超强的IOPS能力提供高并发状态下的超强写能力,32个并发以上OLTP写能力能达到普通MySQL的2-3倍。
4、较低的迁移、接入成本。PolarDB100%兼容MySQL5.6和MySQL8.0,完全兼容MySQL各种生态和中间件开源工具,同时阿里云提供基于DTS的MySQL生态数据库迁移方案,方便数云低成本将现有应用服务和业务数据迁移至PolarDB。
尽管PolarDB的产品能力和阿里云数据库团队的服务得到数云技术团队的初步认可,但是没有经历大考的产品客户心里还是没底,PolarDB在数云正式投产后便面临双十一大考,在2019年PolarDB稳定支持了数云双十一业务,整体表现平稳,真正被数云技术团队彻底认可。
小结:云原生、高弹性,PolarDB值得信赖
从数云数据库架构升级过程中,我们可以看到在云时代的大背景下,企业选择数据库存储产品需要综合考虑性能、稳定性、成本等不同方面,都是企业客户考虑的重点。同时云原生数据库在高并发、高可用、高可靠以及可扩展性方面的优势也再次被证明。
同时由于数云的业务场景有较强的大促属性,存在峰值流量远大于平时流量,对数据库产品的弹性能力有较高的诉求,PolarDB的弹性能力处于业界领先位置,在大促期间的实际效果也符合数云业务场景的诉求,也成为数云选择PolarDB的关键因素。
伴随阿里云技术迭代升级应用而生的云原生数据库PolarDB,已经在云上为众多企业客户提供了稳定可靠的数据库服务。PolarDB的不断完善也需要企业客户的信任和数据库技术爱好者的支持,相信阿里云会持续给企业客户提供更完善、更强大的数据库产品。