美妆视频小红唇如何打开大数据之门

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 阿里云数加平台为社区电商小红唇打开了大数据之门,从数据同步→数据加工(数仓搭建+工作流定义+定时调度配置)→BI报表展现,小红唇只花了1天就完成了全链路的自动化报表展现,解决了数据运营难题。那么它究竟是怎么从传统技术发展瓶颈中突破的呢?

        小红唇是美妆类的短视频社区电商,各种快速上线的新功能和线上线下的营销活动的效果数据,对于产品计划和公司策略有着决定性的指导意义。但随着业务的快速发展,小红唇面临着如下瓶颈:如何从纷繁的日志、业务数据中提取出有价值的信息,并通过产品数据来指导每一步的运营决策,是小红唇快速发展中亟待解决的问题

TB1EzA8KFXXXXXmXpXXXXXXXXXX-564-305.png

      “在使用数加之前,我们采用报表自开发的模式,随着业务的不断拓展,BI的需求越来越多强烈。”小红唇技术负责人王洋说,报表开发代码量越来越大、也越来越复杂,维护十分吃力,弊端也越来越明显。

       这是因为小红唇的应用服务器主要是由PHP和Node两种语言开发,由于报表需求分散,缺少很好的规划,最后PHP和Node都各自实现了图表绘制、Excel导出等等底层的功能组件,但结果却是重复建设非常耗费人力、可复用性差等。

       其次,数据库本身的选型不够清晰,MySQL、Postgres、Mongo、Redis都有。一张报表的数据散落在多种数据存储上,报表对应的程序也是异常复杂,需要从多个数据源获取。同时,由于没有清晰的数据仓库设计,各种数据表混杂在一起,导致报表背后的查询语句异常复杂,动辄就有几百行的SQL。

TB1fc7TKFXXXXa0XVXXXXXXXXXX-963-209.gif

        那这家美妆类短视频社区电商是如何解决这些瓶颈的呢?小红唇技术负责人王洋说,数加平台大数据开发及Quick BI为他们打开了大数据的大门。

      “本着不侵入现有系统的原则,我们使用阿里开源的离线数据同步工具DataX把大量分散的日志数据同步到MaxCompute(原ODPS)中。通过简单的前缀(ods_、dw_、dim_ ...), 完成对于数仓表和数据挖掘各阶段的表的区分,加上其自身海量数据存储和强大的基于SQL的离线处理能力, 使得大数据的数据挖掘变得简单。”

       王洋指出,他们所有的数据开发都在Data IDE(ODPS在数加上的Web控制台)中完成。这是一站式的开发维护环境,尤其是自定义的可视化工作流,使得ETL计算节点、报表生成过程一目了然;定时调度任务,让整个过程全自动化,使后期的报表维护变得十分便捷。“这是我们在产出BI报表过程中最大的亮点。”他说。

 TB1KOcJKFXXXXcVXVXXXXXXXXXX-865-662.png

        他还表示,本身的Quick BI上手也非常容易,数据表准备好后,几分钟就产出了报表,不仅能够访问到项目中的所有离线表、数据集中的各种产品表,还能使用自定义SQL再加工形成数据集,通过字段构建关联模型。丰富的图表控件使业务有多种展现方式,也方便决策者能够通过仪表盘和丰富的UI元素从多种视角审视业务状况作出决策。

        架构搭建也非常快,从数据同步→数据加工(数仓搭建+工作流定义+定时调度配置)→报表展现,小红唇只花了一天就完成。没错,只花了1天,就完成了整个数据仓库的搭建和全链路自动化的报表展现。有了数仓的基础,后续再新增报表,只花1小时甚至几分钟,就可以产出报表。

      “这使得BI 报表的开发变得十分高效。”小红唇技术负责人王洋说,“而在平常,我们每新增一张报表都需要花费至少1人周的时间,更别提前期已经花费了至少半年时间来做的底层报表组件积累。”

 

        深入地去回顾,小红唇团队发现:跟以前的报表系统比,他们的数据决策能力也有了很大的提升。“一个原因是由于阿里云Quick BI仪表盘方便的将各种报表汇聚到一起,很容易看出一次商业活动或者一次推广对整个产品各个方面的影响,提高了整个团队整体的分析和决策能力;另外个原因是有了基于时间维度划分,我们也能更方便的结合短期和中长期的数据变化趋势,更灵活更敏锐的采取相应的应对策略。” 

       从数据采集,到开发,到最终应用于自身业务的完整闭环。极大的提高了小红唇大数据应用的开发到上线的生产效率,弥补了这家初创公司的技术短板,让他们能够更加专注于业务上的创造。“随着更深入的使用阿里云BI产品线,相信还会给我们带来更多的惊喜。”王洋期待到。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
34 1
大数据Hadoop生态圈体系视频课程
|
8月前
|
SQL 分布式计算 数据可视化
基于MaxCompute Notebook一分钟快速制作热点事件动态视频
本文主要介绍基于MaxCompute Notebook快速制作热点事件动态视频的操作方法。
|
机器学习/深度学习 人工智能 搜索推荐
从百度视频看大数据与人工智能
大数据与人工智能是具体如何应用的。
466 0
从百度视频看大数据与人工智能
|
SQL 分布式计算 DataWorks
【含视频+文字版】《从开源到云原生,你不得不知的大数据实战》| 2020 大数据技术公开课第一季
亲爱的大数据开发者们,新年好!在过去的2019年中,MaxCompute开发者社区共举办了六季大数据技术公开课,也受到广大开发者们的认可和鼓励。2月份我们已经紧锣密鼓的筹备了新年的第一季大数据技术公开课—《从开源到云原生,你不得不知的大数据实战》,欢迎各位开发者们一起参加。
2435 0
【含视频+文字版】《从开源到云原生,你不得不知的大数据实战》| 2020 大数据技术公开课第一季
|
大数据 Apache 分布式计算
【干货合集 视频+资料下载】2019大数据技术公开课第三季 | 阿里巴巴大数据产品最新特性介绍
2019大数据技术公开课第三季将为你带来阿里云飞天大数据平台系列产品的最新特性介绍,四位产品专家,四次主题分享,带你全面了解飞天大数据平台主力产品的最新技术动态。
8002 0
【干货合集 视频+资料下载】2019大数据技术公开课第三季 | 阿里巴巴大数据产品最新特性介绍
|
大数据
【内含分享PPT/视频/文章】阿里云MVP学院MaxCompute技术闭门会线上首播 | 2019大数据技术公开课第二季
数据的价值是解释业务还是预测业务?是支撑业务还是驱动业务?企业级计算服务的核心问题是什么?企业级计算平台要解决的核心问题是什么?商业和技术的平衡点在哪里? 一起直播学习,让数据真正驱动业务。
13453 0
【内含分享PPT/视频/文章】阿里云MVP学院MaxCompute技术闭门会线上首播 | 2019大数据技术公开课第二季
|
Web App开发 分布式计算 大数据
【2019年大数据福利推荐】MaxCompute教程、案例视频合集汇总(持续更新20190121)
本文收录了大量的MaxCompute教程、案例视频,帮助您快速了解MaxCompute/ODPS。
6586 0
|
新零售 人工智能 城市大脑
|
大数据 程序员 开发者
大数据精品视频课程等你来看
大数据直播干货集锦来啦
1267 0