MaxCompute 助力衣二三构建智能化运营工具

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。衣二三作为亚洲最大的共享时装平台,MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢?程异丁通过衣二三数据体系架构,从用户运营应用、商品运营应用以及算法推荐系统三方面给大家剖析了MaxCompute是如何助力衣二三构建智能化运营工具的。

摘要:本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。
衣二三作为亚洲最大的共享时装平台,MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢?程异丁通过衣二三数据体系架构,从用户运营应用、商品运营应用以及算法推荐系统三方面给大家剖析了MaxCompute是如何助力衣二三构建智能化运营工具的。

以下是精彩视频内容整理。

衣二三是谁?

衣二三是亚洲最大的共享时装平台。衣二三提供女性服饰包月租赁制服务,会员们在APP上挑选喜爱的衣服,可以在平台上用固定的月费在一整月内不断地换穿衣服,衣二三通过快递将衣服送到客户手中,客户只要会员期有效,就可以一直穿这件衣服,当会员不想穿的时候,衣二三还会通过快递按照约定的时间地点将衣服收回,这样会员就可以继续下新的订单,可以不断地换穿各种衣服。我们的客户从没有毕业的学生到工作多年的白领,多种类型的客户都能从APP上找到合适自己的衣服。
image.png

如今,电子商务发展非常成熟,线下逛街也是大家喜欢的生活方式,那为什么在这种情况下还要租衣服呢?衣二三为客户解决了以下几个痛点:
1.打开衣橱总是找不到今天想穿的衣服。使用衣二三,用户可以灵活的换装,不断地尝试不同风格;
2.费用高。衣二三标准的月费只有499元,相当于买一件衣服的价格,用户可以用买一件衣服的价格换穿一整月的不同服装。
3.大城市的房屋空间有限,拥有一个衣橱对于很多用户来说更是奢望。衣二三可以回收衣服,帮助用户节约空间,同时还负责清洗衣服,正如宣传语所说的那样——“你负责貌美如花,我负责清洗收发”;
4.卫生问题。衣二三联合福奈特、天天洗衣等共同打造了智能化现代化的洗衣工厂,每一件衣服需要经过多达16道清洗消毒流程,比自己家里洗衣服还要干净;
5.购买和退换问题。衣二三通过体验式的方式帮助用户从款式、尺码等方面找到真正适合自己的衣服,并且允许用户买下来。

为什么使用 MaxCompute?

衣二三的前后端运营比较复杂,前端需要让客户在尽可能短的时间认识我们,了解我们,才能形成转化;后端也是特别复杂,与一般的电商相比,衣二三有明显的异同,常规电商的客户在前端下好单后,会通过订单管理系统,将订单派发到仓储中心,仓储中心会对订单进行拣货、配货、包装、物流等,最终将商品送到客户手中,也可能伴随着一小部分的退货或返修,对于一般电商来讲,整个流程到这里就基本结束了,但是对于衣二三来说,该流程只进行了一半,我们需要对所有的衣服进行回收、清洗和质检,才能够再次上架让客户挑选,如此复杂的运营自然离不开大数据的支持,MaxCompute作为整个数据体系的核心,帮助了衣二三很多。

那么,在未使用MaxCompute前我们遇到了哪些问题呢?主要包括以下几方面:

数据提取速度慢。随着系统不断地变复杂,SQL越跑越慢。
数据口径差异。每个工程师将逻辑都写在SQL里,不同工程师得到的数据结果可能不一样,这就是因为我们没有集中化标准化的数据仓库对每一个数据维度和业务的指标有相应明确的定义,造成所有的逻辑都在SQL中。
Python脚本实现基础ETL。作业调度与依赖难于维护与迭代,运维也是比较令人头疼的,修复时间长。
人工数据提取及报表制作。工程师忙于提供各个业务部门的数据支持。

这些问题促使我们想要做出改变,起初我们想做一套完整的hadoop全家桶进行替代,但评估后发现其运维代价和资源消耗对于我们的数据团队和运维团队来说,都是比较大的负担,而且很难快速体现价值。后来,我们很幸运的遇到了MaxCompute,从试用开始,我们逐渐把数据仓库和数据体系建构在MaxCompute上。

MaxCompute有哪些好处呢?主要从以下几个维度来分析:

1.MaxCompute是基于云端的大数据仓库,无需复杂作业运维工作
2.数据吞吐量大,查询性能好,支持UDF
3.可视化任务编辑界面,易于上手
4.使用成本低,适合初创公司
5.与阿里云大数据产品生态融为一体,比如RDS,应用层的Quick BI,Blink以及日志服务。

如何应用MaxCompute?

image.png

衣二三数据体系架构如图所示,最底层是数据源,包括RDS生产数据库和日志服务等,通过日志服务、DataHub等投递到数据计算层;数据计算层以MaxCompute为核心,同时配合我们自己做的脚本和UDF进行数据存储和计算,生成的结果反馈到前端数据应用层;数据应用层是数据分析展示工具,包括YConsole、QuickBI以及DataV等,我们使用DataV做展示业务全局的看板,让我们快速了解全国各地谁在下单、仓储中心的储备情况等。
我们还有包括用户画像、商品画像、爆款识别、衣二三指数和实时人效监控等。

用户运营应用

image.png

用户运营对于互联网公司来讲,都是极其重要的,它有两个业务指标,一是转化,一是留存。转化是指尽快让客户了解我们的价值,同时形成付费和转化;留存是指让已经成为我们用户的用户在平台上得到好的体验,让用户喜欢这种生活方式并留下来。
我们结合了MySQL数据和用户日志放到MaxCompute中,经过PAI平台,我们自己做了数据分析,包括使用数据挖掘算法和随机森林等的数据维度分析,对我们整个用户运营做了很多量化指标,我们通过邮件日报对运营指标监控,基于这些指标我们开发了自有用户分群体系推进用户精细化运营;基于阿里云机器学习计算平台PAI,我们建立了预测模型,预测用户的转化率等;引入流失预警计算体系后,运营根据用户的流失指数进行精准挽留营销,将会员流失降低了超过50%。

商品运营应用

image.png

衣二三的每一个商品都有结构化的数据,我们专业的买手会给商品打上20+维度的标签。此外,我们会总结用户行为,用户与商品之间的互动都放在MaxCompute中做相关性分析,形成商品的一系列指标,比如爆款识别,通过爆款识别去预测满足哪些属性和维度的衣服会形成爆款,我们的买手会带着数据工具一起进行采购,极大的提高了运营效率。
我们还结合商品各个表现维度,包括库存深度、出租情况等计算出衣二三指数,它可以对商品进行排名。除了给合作伙伴应有的租赁收益外,我们还会提供数据工具,最大化业务模式的价值。

image.png

商品的灵魂就是标签,只要将标签做的足够细,才能从结构化上去理解它,去做一些预测性的指标。我们通过商品不同的标签及风格场景热度指数进行备货指导,通过最终商品空置率进行商品调拨及库存关联,通过衣二三指数反映商品热度排行,根据用户行为促进租售转化,完成商品流动闭环。

算法推荐系统

如何让用户在很短的时间内找到适合一个月穿的衣服呢?这就需要推荐算法的支持。
image.png

衣二三的推荐算法也是基于MaxCompute,把用户对商品的行为通过日志收集到MaxCompute中,对用户进行用户画像,对用户画像进行模型训练,最终落地到商品列表展示给用户。使用推荐系统给我们的业务带来很大提升,选衣页推荐的点击率增加了70%,人均点击数增加了50%;相关单品推荐的点击率增加了150%,人均点击率增加了110%。

总结下来,大数据的魅力大家已经认识到,MaxCompute这样的产品对于初创公司来讲将大数据门槛降的非常低,让大数据能够面向各种各样的公司来贡献力量和发挥价值。谢谢在场各位的倾听,以上就是我的分享。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
16天前
|
分布式计算 DataWorks 关系型数据库
MaxCompute 生态系统中的数据集成工具
【8月更文第31天】在大数据时代,数据集成对于构建高效的数据处理流水线至关重要。阿里云的 MaxCompute 是一个用于处理大规模数据集的服务平台,它提供了强大的计算能力和丰富的生态系统工具来帮助用户管理和处理数据。本文将详细介绍如何使用 DataWorks 这样的工具将 MaxCompute 整合到整个数据处理流程中,以便更有效地管理数据生命周期。
37 0
|
1月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
53 0
|
22天前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
1天前
|
存储 分布式计算 Hadoop
大数据分析的工具
大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型电子商务。
16 8
|
23天前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
|
24天前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
1月前
|
SQL 监控 大数据
"解锁实时大数据处理新境界:Google Dataflow——构建高效、可扩展的实时数据管道实践"
【8月更文挑战第10天】随着大数据时代的发展,企业急需高效处理数据以实现即时响应。Google Dataflow作为Google Cloud Platform的强大服务,提供了一个完全托管的流处理与批处理方案。它采用Apache Beam编程模型,支持自动扩展、高可用性,并能与GCP服务无缝集成。例如,电商平台可通过Dataflow实时分析用户行为日志:首先利用Pub/Sub收集数据;接着构建管道处理并分析这些日志;最后将结果输出至BigQuery。Dataflow因此成为构建实时数据处理系统的理想选择,助力企业快速响应业务需求。
88 6
|
1月前
|
存储 分布式计算 数据处理
面向业务增长的数据平台构建策略
【8月更文第13天】为了构建一个能够支持企业业务增长的数据平台,我们需要考虑几个关键的方面:数据的收集与整合(数据集成)、存储、处理和分析。本文将详细介绍这些步骤,并提供具体的代码示例来帮助理解。
28 1
|
2月前
|
存储 算法 数据可视化
云上大数据分析平台:解锁数据价值,驱动智能决策新篇章
实时性与流式处理:随着实时数据分析需求的增加,云上大数据分析平台将更加注重实时性和流式处理能力的建设。通过优化计算引擎和存储架构等技术手段,平台将能够实现对数据流的高效处理和分析,为企业提供实时决策支持。通过优化计算引擎和存储架构等技术手段,平台将能够实现对数据流的高效处理和分析,为企业提供实时决策支持。
150 8
|
1月前
|
机器学习/深度学习 运维 算法
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
对2021高校大数据挑战赛中智能运维异常检测与趋势预测赛题的赛后总结与分析,涉及赛题解析、不足与改进,并提供了异常检测、异常预测和趋势预测的方法和模型选择的讨论。
71 0
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute