【云栖号案例 | 互联网】上海鸥新基于大数据平台打造分析商场实时客流分析系统

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 上海鸥新通过实时计算打通线下与线上,免运维、免开发,为商场提供不同维度数据支持,提高运营活动效果,效率高、门槛低、BUG少,系统重构只需一周。

云栖号案例库:【点击查看更多上云案例】
不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

公司介绍

上海鸥新软件有限公司专注于室内定位技术和客流统计与分析的研发,如室内定位引擎、客流统计与分析系统。在用户导入客流系统的同时,为商业零售实体店提供了网络覆盖、微信上网,定时定地点向客户进行精准化商业信息推送等一体化解决方案。

产品介绍

实时客流分析产品主要是基于Wi-Fi的客流统计与分析系统。

  • 实时热力图:通过实时客流分析系统,制作每个楼层的实时热力图,不同颜色代表客流人数的密集程度。

图 1. 上海鸥新:实时热力图

p87681

  • 实时客流统计图:实时客流分析产品主要服务于商场运营方,提供的功能包括:

1.实时客流分析:商场热力图、店铺热力图、客流数、新老客占比、停留时间和 客流时间分布等,为运营决策提供数据支持
2.精准推送:将Wi-Fi 采集到的地址跟现有数据库进行碰撞,针对碰撞出的用户 建立用户画像,根据来店情况进行精准推送
3.位置定向广告:跟商场线下广告屏幕打通,设定地理围栏与规则,命中规则后 个性化推荐广告。

图 2. 上海鸥新:实时客流统计图

p87679

系统架构

整个系统的数据源都是Wi-Fi,Wi-Fi 设备的布点是系统成功的关键。在Wi-Fi 铺设的过程中会预先记录好设备的位置(所属楼层,平面坐标,所属店铺等),且根据 业务情况来Wi-Fi 之间是否重叠:如果要精确,需要多点定位,否则尽量Wi-Fi 的 范围不重叠,防止数据互相污染。

p87684

数据流程:

1.使用Wi-Fi 采集设备信息。
2.把采集的数据经过SLB 发送到接收服务器。
3.接受服务器把数据发送到消息队列(DataHub)。
4.实时计算订阅DataHub 数据。
5.把设备采集到的用户信息跟设备的地理位置信息进行关联。
6.完成处理,然后把结果写出供下游使用。

实时计算的处理:

  • 数据清洗、去重。
  • 维表关联,用户 mac 地址与设备地理信息关联,实时数据与历史数据关联。
  • 手机品牌识别,位置识别,新客识别。
  • 计算停留时间、生成轨迹。

数据收集与清洗部分是整个系统的基础,在这些数据的基础上可再进行精 准推送和位置广告等服务。

上云价值

鸥新商场实时客流分析平台涉及多台线下设备(2000 台设备),实时计算每秒处理输入30K 条数据,每秒输出20K 条处理后的数据,整体延迟为秒级,整体收 益包括:

  • 运维成本:免运维,阿里云提供高保障。
  • 对接上下游:直接注册,免开发。
  • 开发成本:SQL 开发,效率高,门槛低,原来单作业 Java 开发 3 天的工作量 降低到1 天内,且BUG 少,整个系统重构只需一周。

这套系统打通了线下与线上,为商场的运营方得到了不同维度的数据支持,提高 了运营活动的效果,为在顾客打造更好的购物体验的同时也提升商场的整体营收。 商场实时客流分析系统是IoT 技术与大数据实时处理技术结合起来的典型案例。

相关产品

  • 实时计算

实时计算(Alibaba Cloud Realtime Compute,Powered by Ververica)是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时,赋能用户标准实时数据处理流程和行业解决方案;支持 Datastream API 作业开发,提供了批流统一的 Flink SQL,简化 BI 场景下的开发;可与用户已使用的大数据组件无缝对接,更多增值特性助力企业实时化转型。
更多关于实时计算的介绍,参见实时计算产品详情页

【云栖号在线课堂】每天都有产品技术专家分享!
在线课堂地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
34 2
|
10天前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
56 14
|
16天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
51 2
|
17天前
|
数据采集 机器学习/深度学习 搜索推荐
大数据与社交媒体:用户行为分析
【10月更文挑战第31天】在数字化时代,社交媒体成为人们生活的重要部分,大数据技术的发展使其用户行为分析成为企业理解用户需求、优化产品设计和提升用户体验的关键手段。本文探讨了大数据在社交媒体用户行为分析中的应用,包括用户画像构建、情感分析、行为路径分析和社交网络分析,以及面临的挑战与机遇。
|
17天前
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
6天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
51 7
|
6天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
16 2
|
18天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
62 1
|
13天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
32 3