案例详解|大数据上云助力新零售企业数智化转型,挖掘数据的价值-阿里云开发者社区

开发者社区> 包邮> 正文

案例详解|大数据上云助力新零售企业数智化转型,挖掘数据的价值

简介: 曾经风光无限的零售大型超市业态--大卖场,当初代表先进零售模式进入中国市场,激起零售行业蓬勃发展的大浪潮,但是近年来,随着人们消费方式的巨大转变以及来自电子商务的冲击,传统大卖场的发展发生逆转。传统的零售技术和模式已经无法满足顾客的需求,同时传统门店面临租金高,成本高,人流量减少等困境,亟需寻求新的发展。本篇文章将以D客户为案例,详解上云带来的核心价值以及上云方案和步骤,希望能给您的业务带来一定帮助。
+关注继续查看

传统大卖场营收持续下滑,必须通过业务创新走出困境

  曾经风光无限的零售大型超市业态--大卖场,当初代表先进零售模式进入中国市场,激起零售行业蓬勃发展的大浪潮,但是近年来,随着人们消费方式的巨大转变以及来自电子商务的冲击,传统大卖场的发展发生逆转。传统的零售技术和模式已经无法满足顾客的需求,同时传统门店面临租金高,成本高,人流量减少等困境,亟需寻求新的发展。
以数字化改造为手段,提升大卖场精细化运营能力成为行业共识。面对新消费时代,商家可以借助大数据和人工智能等技术手段,快速从业务数据中找到业务特点,同时具备千人千面精准营销的能力,从而提升会购物体验,增强复购和会员粘性。数据中台是大数据时代的概念,大量的业务行为数据集中到数据中台做大数据分析,企业可对各类业务行为进行分析,给企业在营收、库存管理、商品管理等各个方面的决策提供数据依据。
  D客户是中国连锁超市领军企业,年销售额过千亿,全国覆盖华东、华南、华中、东北、华北等多个大区,全国门店数四百家左右,单店平均面积在2万平米以上。近年来,在整个商超业绩下行的趋势下,D客户年度净利润保持百分之十几同比增长的同时,单店营收呈现负增长,所以几年前就启动了数字化改造,提升精细化运营能力,寻求新的发展。

为什么上云-数据分析效率低,影响业务分析与决策

  D客户基于商品、会员、仓储、供应商、商户等业务行为产生大量的数据,基于这些数据要做大量的数据分析完成营收分析(成本、损耗、收入、价格等),库存管理(滞销、临保、缺货、周转率等),商品管理和商品竞争(淘汰、品类覆盖、价格指数等)。而D客户在IDC自建的大数据平台,数据吞吐量规模存在瓶颈,查询性能也不够理想,导致数据分析能力弱,效率低,影响业务分析与决策,如全年商品汰换率目标无法达成。
  阿里云为企业大数据实施提供了一套完整的一站式大数据解决方案,覆盖企业数仓、商业智能、机器学习、数据可视化等多个领域,助力企业在DT时代更敏捷、更智能、更具洞察力。通过对客户现状的分析,推荐D客户使用的大数据产品MaxCompute有如下好处:

  1. 数据产生价值周期更快: 阿里云MaxCompute比自建的Hive 2.0+Tez快90%,使得数仓离线计算的数据处理时间不到原来自建方式的1/3。
  2. 托管服务免运维,让企业专注业务:最重要的是采用阿里云Maxcompute,客户将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,相比自建Hadoop物理集群,使用阿里云数加MaxCompute的总成本有较大降低,应用开发效率有很大提高。
  3. 开箱即用提升效率:基于阿里云数加MaxCompute提供的开放接口和各类工具,以及一站式的大数据开发套件,项目实施难度低,让开发者将精力全部放在数据处理、分析和应用上,极大的降低大数据应用开发的技术难度。
  4. 专业服务保驾护航:阿里云平台所提供的7×24小时技术支持服务则可以让客户随时随地获得专业的技术支持,让IT不再成为业务发展的限制。 依托于阿里云在安全性方面有全面考虑的底层平台和众多的安全监控工具,客户的各类应用数据即使放在云端也可以确保万无一失。

为什么上云-云下IDC资源利用率较低,部署冗余,人力支出高,资源弹性和扩展性不足

  D客户通过在自建IDC服务器资源构建大数据平台,资源利用率不高,部署较为冗余,升级和维护困难,运维和基础设备开发人力支出成本比较高,而且随着自建IDC规模的扩大,企业成本大幅上升。
  选择阿里云,可以按需使用云服务,无需人力维护物理设备,相对成本线性,实际TCO更低。

为什么上云-享受技术红利,提升效率

  选择阿里云,阿里巴巴每年数百亿的研发投入带来的技术红利,云上即享。阿里云将达摩院机器智能技术实验室所有的智能技术,如智能语音、NLP、知识图谱、人脸识别、机器翻译等技术通过阿里云官网开放给用户,目前阿里云官网上大约有适用于300多个场景的130多个AI产品供用户使用。D客户上云后就尝试使用了阿里云智能推荐产品,阿里云智能推荐内置大量推荐算法以及模型训练的样本,训练深度、效率和准确率相比D客户原自建的推荐产品有很大的提升。

上云步骤与方案-丰富的解决方案,搬站工具和最佳实践使得企业上云周期短、切换影响小

  阿里云拥有丰富的迁云工具和解决方案,截止2019年4月,阿里云官网已上线200+云产品、200+解决方案,100+上云最佳实践,帮助企业客户快速完成迁云方案评估,迁云实施和生产流量切换,全面提升企业业务的可靠性、安全性。
  下面以D客户大数据平台上云切换为例介绍大数据上云步骤。
TB1Gpd8vkT2gK0jSZFkXXcIQFXa-497-315.png

图1上云前架构示意图


  图1为D客户在上云之前的大数据平台整体架构,大数据平台为自建IDC集群,规模在40+台,数据量近300TB(压缩策略为1:3),整体以Hadoop+Spark生态为架构,另外采购列式存储的MPP数据库Vertica作为上层应用依赖的核心数据库。
TB1KNDvuubviK0jSZFNXXaApXXa-1492-806.png

图2云上架构示意图


  经历1月的POC测试后,D客户项目管理层最终决定,D客户数据中台基于阿里DataWorks+MaxCompute为主要核心来构建,最终解决方案如上图2所示。迁移方案具体说明如下:
  • Hive历史数据(csv、txt、parquet、orc文件)通过MMA进行迁移。
  • MySQL/Oracle业务数据通过DataWorks-数据集成/DataX进行增量方式拉入MaxCompute。
  • Kakfa数据为日志数据,通过DataWorks -DataX脚本模式增量写入。

  成熟的自动化迁移工具在本案例中起到至关重要的作用,大大缩短了迁移进程,并降低了迁移难度。以线下Hadoop的Hive数据迁移到云上MaxCompute为例,通过迁移工具MaxCompute Migration Assist(MMA)来加速迁移工作,如图3所示。
TB1YBV1veT2gK0jSZFvXXXnFXXa-1492-810.png

图3 通过MMA迁移工具迁移Hive数据示意图


  MMA的工作流程主要分为四个步骤:
  1. Metadata抓取
    Meta carrier连接用户的Hive Metastore服务,抓取用户的Hive Metadata并在指定目录下生成一个目录,包含搬站所需的Metadata。用户可自行修改该目录下的文件来自定义搬站工具的一些行为。
  2. MaxCompute DDL与Hive UDTF生成
    利用上述步骤抓取到的Metadata,生成另一个目录,包含用于创MaxCompute表和分区的所有的DDL语句,还包含用于数据迁移的Hive UDTF SQL。
  3. MaxCompute 表创建
    运行上述批量生成的MaxCompute DDL,创建Hive迁移所需映射到MaxCompute的表与分区。
  4. Hive数据迁移
    在用户Hadoop集群上运行上述步骤中所生成的Hive UDTF SQL,进行传输数据。需要注意的是,该UDTF是执行在用户Hadoop集群上,故需要关注到资源占用情况以及Hadoop集群到MaxCompute集群的网络连通性情况。

客户收益

  • 通过大数据平台上云并建立数据中台,整合线上业务和渠道,线下门店和B2B渠道的数据,D客户形成9大数据主题域,建立战略决策、管理决策、门店运营的数据运营体系,为业务提供及时的数据决策支持,效率提升的同时保证商品汰换的效率和频度。
  • 阿里云提供了完善的云上托管的数据处理方案、大规模计算储存、细粒度节点依赖管理等功能,D客户上云后,节省了30%的服务及人力成本。托管服务,无需对复杂作业进行运维,使企业更加专注于业务。
  • 使用成本低,同时提供更高的数据吞吐量和查询性能,可视化编辑界面,方便操作,且与阿里云大数据产品生态融为一体。
  • 电商平台相关单品推荐点击率提升70%到150%

附录

本案例涉及到的最佳实践列表:

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
上云新姿势,阿里云数据库专属集群 MyBase 企业客户交流深圳站圆满结束
阿里云数据库专属集群MyBase于2019年11月正式商业化,历经阿里集团十多年数据库技术经验沉淀,为客户打造稳定可靠的云上专有数据中心。
440 0
阿里大数据产品Dataphin上线公共云,将助力更多企业构建数据中台
日前,由阿里数据打造的智能数据构建与管理Dataphin,重磅上线阿里云-公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。
2331 0
案例详解|大数据上云助力新零售企业数智化转型,挖掘数据的价值
曾经风光无限的零售大型超市业态--大卖场,当初代表先进零售模式进入中国市场,激起零售行业蓬勃发展的大浪潮,但是近年来,随着人们消费方式的巨大转变以及来自电子商务的冲击,传统大卖场的发展发生逆转。传统的零售技术和模式已经无法满足顾客的需求,同时传统门店面临租金高,成本高,人流量减少等困境,亟需寻求新的发展。本篇文章将以D客户为案例,详解上云带来的核心价值以及上云方案和步骤,希望能给您的业务带来一定帮助。
168 0
企业数据创新之旅——高性能NAS助力业务上云
在2018年云栖大会·南京峰会的飞天技术汇专场中,阿里云产品专家王登宇带来了题为《企业数据创新之旅——高性能NAS助力业务上云》的精彩技术分享。在分享中,他首先介绍了企业上云面临的困难和阿里云存储之路;随后对NAS文件存储产品家族的技术架构和适用场景进行了分析;分享最后,他结合基因、视频、AI等具体客户对NAS助力业务上云进行了详细讲解。
8697 0
数据上云,应该选择全量抽取还是增量抽取?
数据抽取是指从源数据抽取所需要的数据, 是构建数据中台的第一步。 数据源一般是关系型数据库,近几年,随着移动互联网的蓬勃发展,出现了其他类型的数据源,典型的如网站浏览日期、APP浏览日志、IoT设备日志从技术实现方式来讲,从关系型数据库获取数据,可以细分为全量抽取、增量抽取2种方式,两种方法分别适用于不用的业务场景 增量抽取 时间戳方式用时间戳方式抽取增量数据很常见,业务系统在源表上新增一个时间戳字段,创建、修改表记录时,同时修改时间戳字段的值。
2344 0
【云栖号案例 | 新零售】银泰上云 打造“从-1到0再到1”数字化成长逻辑
为应对愈加激烈的竞争态势,交易数字化可以进一步提升消费者体验,通过联营、直营的方式,增强控货能力,优化供应链,全面实现“线上线下一盘货”的布局。
1205 0
今日开启! 论道数据价值,阿里云数据库精英与你相约2019数据技术嘉年华
这是一个数据的时代,在互联网技术的推动下,数据在开放融合中正在创造前所未有的价值;创新的数据技术也在不断激发企业业务模式的革新,以数据聚集、数据挖掘、数据运营为驱动的数据企业正在加速成长。有效地组织数据,并利用数据创造价值,已经成为企业竞争的新的制高点。
360 0
案例解析|零售企业如何借助上云完美应对新挑战,把握新机遇
经过了二十多年的粗放式快速发展,中国的制鞋业经历了高速发展阶段,当前以出口为主的制鞋产业,面对国际市场的萎缩,又加上来自主要市场国的反倾销等贸易保护措施下行压力较大,制鞋行业进入调整期。本篇文章将以B集团全面上云为案例,详解上云带来的核心价值以及上云方案和步骤,希望能给您的业务带来一定帮助。
180 0
【云栖号案例 | 新零售】数据库RDS为跨境电商管理平台支撑亿级流水
智赢科技每天面对用户修改价格库存对更新即时性要求高,索引和表结构变更不易。RDS支持数组和分区,降低中间表的数量又可以自动分区,加快开发速度。
1672 0
+关注
6
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载