本地生活行业如何在云上挖掘更多数据价值

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云数据湖解决方案,助力本地生活服务实现精细化运营

行业综述

本地生活市场稳定增长,各场景全面数字转型
本地生活当前已经是一个万亿级市场,包含本地日常生活需求与服务消费场景,如社区服务、生活配送、同城跑腿、餐饮到店团购、美容洗护、酒店民宿、电影/票务、休闲娱乐、智慧出行等。
据统计,在2019年,仅仅生鲜、外卖、社区服务领域市场规模6781.6亿,年增长超过7%,保持稳定的增速。本地生活服务行业在数字化升级推动下,进入万亿元市场。在2020年,尤其在疫情期间,本地生活服务为全民带来了极大的便利,让社会各类资源通过数字化转型得到了高效的分配与使用。而随着一二线城市本地生活服务市场竞争趋于白热化,未来下沉市场和场景拓展将成为本地生活平台竞争的焦点

行业发展方向

面补贴时代已经终结,依托大数据实现精准营销
当前一二线城市市场竞争趋于白热化,简单通过补贴的方式赢得用户与流量的方式投入产出已经远远不够。
一方面随着通信技术、物联网、智能硬件、即时物流等基础设施和服务的不断发展完善,帮助各个服务场景提供服务升级,使得服务体验与效率上全面提升。
另一方面行业的深化也带来了更多的有效数据,能够帮助平台进行精准的用户画像构建与用户圈选。帮助用户与商家高效的匹配,让数据本地化,实现精准运营。

面临的痛点

各类数据存储与计算成难题,低成本与高效率如何兼得
随着场景的多样性与业务规模的提升,数据类型的丰富与数据规模的扩大对于技术架构带来了挑战。
首先大部分的本地生活业务都是LBS服务(Location Based Services)。强依赖与用户的位置信息提供与之配套的周边服务。如何能够快速通过地理信息圈选用户是实现精准营销的基础。
其次随着业务规模增长与时间的积累,势必会带来海量行为数据,数据的增加自
然会带来存储成本的增长。因此在利用数据实现业务价值的同时如何平衡与之而来存储成本,对企业来说也是一个巨大的挑战。
另外本地化生活往往涵盖多个细分领域,包含社区服务、生活配送、餐饮到店团购、美容洗护等。平台与商家往往需要涉及到跨场景的多类型信息存储与计算分析,这里也为技术架构提出了更高的要求。

数据湖解决方案

阿里云数据湖解决方案,助力本地生活服务实现精细化运营
image.png
基于阿里云对象存储OSS与表格存储 Tablestore 构建的数据湖解决方案,可以全面满足数据的存储、离线分析、交互查询等各种业务诉求,帮助解决上面提到的这些难题。
首先,表格存储Tablestore 与对象存储OSS 的可以进行有效的数据分层。近期的位置信息等可以存储在Tablestore 进行快速的圈选与基础位置查询。而各类历史信息可以存储在OSS中实现低成本海量的数据存储。

 其次,阿里云的数据湖解决方案,是一套十分智能的解决方案。其中对象存储OSS,可以对接个多业务系统,存储来自不同业务系统的多种数据源,如些系统的原始数据、游戏日志数据等。等数据汇聚到数据湖之后,它的上层系统可以兼容多种计算引擎,如开源大数据引擎像Hive,Spark,阿里云EMR、DLA等,帮助用户便捷地实现数据处理和分析,不需要再重复拷贝多份。同时采用 Jindofs提供缓存加速方案,还可以获得比使用HDFS更好的体验。

这样一套整体的数据存储、处理分析解决方案,能很大程度地减少系统兼容性问题,管理维护也更加简单,帮助IT人员从复杂且繁琐的运维中解放出来,更加专注在产品创新和业务模式的运营上。

最佳案例实践

客户简介
客户是一款基于精准地理位置和用户标签的商家服务系统,为商家提供精准的场景服务和场景营销功能,进而达到便利消费者、增加收入、品牌曝光等效果。可覆盖的场景包括商场、餐饮、交通、景点、医院、酒店和超市等。产品与多家手机系统合作,每月涉及超过千亿级数据。

业务挑战

  • 平台的数据量在急剧增长,每天用户位置信息与配套的设备信息需要持续记录存储,每月新增的数据量级达到上千亿条,对整个数据处理系统提出了更高的要求。使用自建Hadoop体系成本与运维都是一个极大的负担。
  • 在当前的每月千亿条数据规模下,需要帮助业务能够快速精准圈选用户。涉及到地理围栏的用户搜索,同时也涉及成百上千个字段用户画像标签的组合查询。需要支持足够灵活的的圈选方式,同时需要秒级的响应能力来支撑商场、餐饮、交通、景点、医院、酒店和超市等不同场景的圈选需求。当前使用Hadoop体系,使用HBase来存储每次计算筛选都需要全表扫描,往往一个任务要小时级别,跟不上业务的发展需求。

解决方案

  • 使用表格存储Tablestore来存储近期的数据,包含位置信息与用户画像等。通过表格存储Tablestore 的索引加速能力,实现包含地理围栏筛选等多维度的用户圈选能力,秒级响应满足业务的性能需求。
  • 历史数据等存量海量数据通过对象存储OSS 存储。所有的数据汇集到基于OSS的数据湖,温数据存储在OSS标准存储上,冷数据通过OSS生命周期管理功能自动存储到归档存储上。在解决IT系统数据孤岛的同事,提供了低成本的数据存储方案。
  • 可以兼容原有的Hadoop计算生态,能够使用阿里云提供的EMR针对OSS与Tablestore进行数据计算分析。可以非常便捷的进行用户圈选、历史数据分析、业务报表等不同业务。
  • DLA提供的Serverless的弹性服务为按需收费,不需要购买固定的资源,完全契合业务潮汐带来的资源波动,满足弹性的分析需求,同时极大地降低了运维成本和使用成本。

客户价值

  • 每月的业务存储规模由原来的每月200亿条扩展到1000亿条,扩展500%,同时大体成本无明显上涨。
  • 用户圈选效率从原来的小时级别提升到秒级,速度提高30-100倍。能够极大扩展业务承载能力。
  • 临时业务需求承接率提升200%~300%。即需即用,准备成本低,响应快速。平均任务耗时降低67%。
  • 所有存储介质支持多种计算平台直接SQL访问。支持数据业务无缝迁移。
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
3月前
|
存储 数据采集 机器学习/深度学习
大数据分析:挖掘数据价值的技术和方法
在数字化时代,大数据已经成为企业和科研机构的重要资源之一。然而,对于海量的数据如何进行分析和挖掘却是一个巨大的挑战。本文将介绍大数据分析的基本概念、技术和方法,帮助读者了解如何利用现代技术和工具,挖掘数据中蕴藏的价值。
114 0
|
新零售 数据采集 SQL
如何让数据价值最大化?阿里全域大数据系统深度解读
阿里巴巴目前生态建设包括了核心的电商业务,淘宝、天猫、聚划算等,同时还有文娱板块的优酷、土豆、UC浏览器等,当然还有本地化服务比如口碑、饿了么等。基于业态背后还有蚂蚁、菜鸟、阿里妈妈、阿里云等等。
4471 0
|
存储 大数据 数据安全/隐私保护
|
存储 数据管理 云计算
|
存储 大数据 分布式计算