本地生活行业如何在云上挖掘更多数据价值

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 阿里云数据湖解决方案,助力本地生活服务实现精细化运营

行业综述

本地生活市场稳定增长,各场景全面数字转型
本地生活当前已经是一个万亿级市场,包含本地日常生活需求与服务消费场景,如社区服务、生活配送、同城跑腿、餐饮到店团购、美容洗护、酒店民宿、电影/票务、休闲娱乐、智慧出行等。
据统计,在2019年,仅仅生鲜、外卖、社区服务领域市场规模6781.6亿,年增长超过7%,保持稳定的增速。本地生活服务行业在数字化升级推动下,进入万亿元市场。在2020年,尤其在疫情期间,本地生活服务为全民带来了极大的便利,让社会各类资源通过数字化转型得到了高效的分配与使用。而随着一二线城市本地生活服务市场竞争趋于白热化,未来下沉市场和场景拓展将成为本地生活平台竞争的焦点

行业发展方向

面补贴时代已经终结,依托大数据实现精准营销
当前一二线城市市场竞争趋于白热化,简单通过补贴的方式赢得用户与流量的方式投入产出已经远远不够。
一方面随着通信技术、物联网、智能硬件、即时物流等基础设施和服务的不断发展完善,帮助各个服务场景提供服务升级,使得服务体验与效率上全面提升。
另一方面行业的深化也带来了更多的有效数据,能够帮助平台进行精准的用户画像构建与用户圈选。帮助用户与商家高效的匹配,让数据本地化,实现精准运营。

面临的痛点

各类数据存储与计算成难题,低成本与高效率如何兼得
随着场景的多样性与业务规模的提升,数据类型的丰富与数据规模的扩大对于技术架构带来了挑战。
首先大部分的本地生活业务都是LBS服务(Location Based Services)。强依赖与用户的位置信息提供与之配套的周边服务。如何能够快速通过地理信息圈选用户是实现精准营销的基础。
其次随着业务规模增长与时间的积累,势必会带来海量行为数据,数据的增加自
然会带来存储成本的增长。因此在利用数据实现业务价值的同时如何平衡与之而来存储成本,对企业来说也是一个巨大的挑战。
另外本地化生活往往涵盖多个细分领域,包含社区服务、生活配送、餐饮到店团购、美容洗护等。平台与商家往往需要涉及到跨场景的多类型信息存储与计算分析,这里也为技术架构提出了更高的要求。

数据湖解决方案

阿里云数据湖解决方案,助力本地生活服务实现精细化运营
image.png
基于阿里云对象存储OSS与表格存储 Tablestore 构建的数据湖解决方案,可以全面满足数据的存储、离线分析、交互查询等各种业务诉求,帮助解决上面提到的这些难题。
首先,表格存储Tablestore 与对象存储OSS 的可以进行有效的数据分层。近期的位置信息等可以存储在Tablestore 进行快速的圈选与基础位置查询。而各类历史信息可以存储在OSS中实现低成本海量的数据存储。

 其次,阿里云的数据湖解决方案,是一套十分智能的解决方案。其中对象存储OSS,可以对接个多业务系统,存储来自不同业务系统的多种数据源,如些系统的原始数据、游戏日志数据等。等数据汇聚到数据湖之后,它的上层系统可以兼容多种计算引擎,如开源大数据引擎像Hive,Spark,阿里云EMR、DLA等,帮助用户便捷地实现数据处理和分析,不需要再重复拷贝多份。同时采用 Jindofs提供缓存加速方案,还可以获得比使用HDFS更好的体验。

这样一套整体的数据存储、处理分析解决方案,能很大程度地减少系统兼容性问题,管理维护也更加简单,帮助IT人员从复杂且繁琐的运维中解放出来,更加专注在产品创新和业务模式的运营上。

最佳案例实践

客户简介
客户是一款基于精准地理位置和用户标签的商家服务系统,为商家提供精准的场景服务和场景营销功能,进而达到便利消费者、增加收入、品牌曝光等效果。可覆盖的场景包括商场、餐饮、交通、景点、医院、酒店和超市等。产品与多家手机系统合作,每月涉及超过千亿级数据。

业务挑战

  • 平台的数据量在急剧增长,每天用户位置信息与配套的设备信息需要持续记录存储,每月新增的数据量级达到上千亿条,对整个数据处理系统提出了更高的要求。使用自建Hadoop体系成本与运维都是一个极大的负担。
  • 在当前的每月千亿条数据规模下,需要帮助业务能够快速精准圈选用户。涉及到地理围栏的用户搜索,同时也涉及成百上千个字段用户画像标签的组合查询。需要支持足够灵活的的圈选方式,同时需要秒级的响应能力来支撑商场、餐饮、交通、景点、医院、酒店和超市等不同场景的圈选需求。当前使用Hadoop体系,使用HBase来存储每次计算筛选都需要全表扫描,往往一个任务要小时级别,跟不上业务的发展需求。

解决方案

  • 使用表格存储Tablestore来存储近期的数据,包含位置信息与用户画像等。通过表格存储Tablestore 的索引加速能力,实现包含地理围栏筛选等多维度的用户圈选能力,秒级响应满足业务的性能需求。
  • 历史数据等存量海量数据通过对象存储OSS 存储。所有的数据汇集到基于OSS的数据湖,温数据存储在OSS标准存储上,冷数据通过OSS生命周期管理功能自动存储到归档存储上。在解决IT系统数据孤岛的同事,提供了低成本的数据存储方案。
  • 可以兼容原有的Hadoop计算生态,能够使用阿里云提供的EMR针对OSS与Tablestore进行数据计算分析。可以非常便捷的进行用户圈选、历史数据分析、业务报表等不同业务。
  • DLA提供的Serverless的弹性服务为按需收费,不需要购买固定的资源,完全契合业务潮汐带来的资源波动,满足弹性的分析需求,同时极大地降低了运维成本和使用成本。

客户价值

  • 每月的业务存储规模由原来的每月200亿条扩展到1000亿条,扩展500%,同时大体成本无明显上涨。
  • 用户圈选效率从原来的小时级别提升到秒级,速度提高30-100倍。能够极大扩展业务承载能力。
  • 临时业务需求承接率提升200%~300%。即需即用,准备成本低,响应快速。平均任务耗时降低67%。
  • 所有存储介质支持多种计算平台直接SQL访问。支持数据业务无缝迁移。
相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
JavaScript
vue 语音播报(文字转语音)
vue 语音播报(文字转语音)
893 0
|
7月前
|
监控 搜索推荐 数据挖掘
小红书:对接话题挑战API激发UGC创作,打造爆款内容
小红书话题挑战API助力品牌高效激发UGC,通过自动化创建活动、精准推送与数据分析,降低运营门槛,提升爆款率。结合吸引力主题、激励机制与裂变传播,实现内容生态繁荣,推动品牌增长。
395 0
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
|
消息中间件 存储 API
|
XML 前端开发 JavaScript
深入探究iframe:网页嵌入的魔法盒子(下)
深入探究iframe:网页嵌入的魔法盒子(下)
|
Java 程序员 Linux
Maven的基本安装与使用
Maven的基本安装与使用
502 6
|
前端开发 JavaScript
react18【系列实用教程】useState —— 声明响应式变量(2024最新版)含useState 的异步更新机制,更新的合并,函数传参获取更新值,不同版本异步更新差异,更新对象和数组
react18【系列实用教程】useState —— 声明响应式变量(2024最新版)含useState 的异步更新机制,更新的合并,函数传参获取更新值,不同版本异步更新差异,更新对象和数组
1057 0
|
机器学习/深度学习 数据采集 算法
随机森林算法应用
8月更文挑战第20天
|
Prometheus 监控 Cloud Native
[prometheus]基于consul的服务发现
[prometheus]基于consul的服务发现
365 2
|
安全 Go
Golang深入浅出之-接口(Interfaces)详解:抽象、实现与空接口
【4月更文挑战第22天】Go语言接口提供抽象能力,允许类型在不暴露实现细节的情况下遵循行为约定。接口定义了一组方法签名,类型实现这些方法即实现接口,无需显式声明。接口实现是隐式的,通过确保类型具有接口所需方法来实现。空接口`interface{}`接受所有类型,常用于处理任意类型值。然而,滥用空接口可能丧失类型安全性。理解接口、隐式实现和空接口的使用能帮助编写更健壮的代码。正确使用避免方法,如确保方法签名匹配、检查接口实现和谨慎处理空接口,是关键。
442 1