开发者社区> jing.luojing> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

美妆视频小红唇如何打开大数据之门

简介: 阿里云数加平台为社区电商小红唇打开了大数据之门,从数据同步→数据加工(数仓搭建+工作流定义+定时调度配置)→BI报表展现,小红唇只花了1天就完成了全链路的自动化报表展现,解决了数据运营难题。那么它究竟是怎么从传统技术发展瓶颈中突破的呢?
+关注继续查看

        小红唇是美妆类的短视频社区电商,各种快速上线的新功能和线上线下的营销活动的效果数据,对于产品计划和公司策略有着决定性的指导意义。但随着业务的快速发展,小红唇面临着如下瓶颈:如何从纷繁的日志、业务数据中提取出有价值的信息,并通过产品数据来指导每一步的运营决策,是小红唇快速发展中亟待解决的问题

TB1EzA8KFXXXXXmXpXXXXXXXXXX-564-305.png

      “在使用数加之前,我们采用报表自开发的模式,随着业务的不断拓展,BI的需求越来越多强烈。”小红唇技术负责人王洋说,报表开发代码量越来越大、也越来越复杂,维护十分吃力,弊端也越来越明显。

       这是因为小红唇的应用服务器主要是由PHP和Node两种语言开发,由于报表需求分散,缺少很好的规划,最后PHP和Node都各自实现了图表绘制、Excel导出等等底层的功能组件,但结果却是重复建设非常耗费人力、可复用性差等。

       其次,数据库本身的选型不够清晰,MySQL、Postgres、Mongo、Redis都有。一张报表的数据散落在多种数据存储上,报表对应的程序也是异常复杂,需要从多个数据源获取。同时,由于没有清晰的数据仓库设计,各种数据表混杂在一起,导致报表背后的查询语句异常复杂,动辄就有几百行的SQL。

TB1fc7TKFXXXXa0XVXXXXXXXXXX-963-209.gif

        那这家美妆类短视频社区电商是如何解决这些瓶颈的呢?小红唇技术负责人王洋说,数加平台大数据开发及Quick BI为他们打开了大数据的大门。

      “本着不侵入现有系统的原则,我们使用阿里开源的离线数据同步工具DataX把大量分散的日志数据同步到MaxCompute(原ODPS)中。通过简单的前缀(ods_、dw_、dim_ ...), 完成对于数仓表和数据挖掘各阶段的表的区分,加上其自身海量数据存储和强大的基于SQL的离线处理能力, 使得大数据的数据挖掘变得简单。”

       王洋指出,他们所有的数据开发都在Data IDE(ODPS在数加上的Web控制台)中完成。这是一站式的开发维护环境,尤其是自定义的可视化工作流,使得ETL计算节点、报表生成过程一目了然;定时调度任务,让整个过程全自动化,使后期的报表维护变得十分便捷。“这是我们在产出BI报表过程中最大的亮点。”他说。

 TB1KOcJKFXXXXcVXVXXXXXXXXXX-865-662.png

        他还表示,本身的Quick BI上手也非常容易,数据表准备好后,几分钟就产出了报表,不仅能够访问到项目中的所有离线表、数据集中的各种产品表,还能使用自定义SQL再加工形成数据集,通过字段构建关联模型。丰富的图表控件使业务有多种展现方式,也方便决策者能够通过仪表盘和丰富的UI元素从多种视角审视业务状况作出决策。

        架构搭建也非常快,从数据同步→数据加工(数仓搭建+工作流定义+定时调度配置)→报表展现,小红唇只花了一天就完成。没错,只花了1天,就完成了整个数据仓库的搭建和全链路自动化的报表展现。有了数仓的基础,后续再新增报表,只花1小时甚至几分钟,就可以产出报表。

      “这使得BI 报表的开发变得十分高效。”小红唇技术负责人王洋说,“而在平常,我们每新增一张报表都需要花费至少1人周的时间,更别提前期已经花费了至少半年时间来做的底层报表组件积累。”

 

        深入地去回顾,小红唇团队发现:跟以前的报表系统比,他们的数据决策能力也有了很大的提升。“一个原因是由于阿里云Quick BI仪表盘方便的将各种报表汇聚到一起,很容易看出一次商业活动或者一次推广对整个产品各个方面的影响,提高了整个团队整体的分析和决策能力;另外个原因是有了基于时间维度划分,我们也能更方便的结合短期和中长期的数据变化趋势,更灵活更敏锐的采取相应的应对策略。” 

       从数据采集,到开发,到最终应用于自身业务的完整闭环。极大的提高了小红唇大数据应用的开发到上线的生产效率,弥补了这家初创公司的技术短板,让他们能够更加专注于业务上的创造。“随着更深入的使用阿里云BI产品线,相信还会给我们带来更多的惊喜。”王洋期待到。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
计算机视觉中Python如何实现图像操作与处理
学习过flask动画制作或者视频编辑的童鞋应该都知道,我们平时所看到的流畅的视频画面都是由一帧一帧的图像构成的,比如我们以前读书的时候喜欢在书的边角处花一些动作不同的简笔画,当我们快速翻动书本的时候就好像我们的简笔画中的物体活了,就像在看动画一般.所以当我们需要对一个视频文件进行分析时,连续播放的视频并没有那么容易进行采样分析,在计算机视觉中对视频的分析通常都是对视频帧的分析.说白了,其实计算机视觉就是一们研究如何对图像中的信息进行自动提取的学科. 所以学习计算机视觉首先需要学会如何对图像进行处理,那在Python中我们都怎么处理图像的呢? 在Python中处理图像的库有很多,非常丰富,Pyt
59 0
Python爬虫 爬取下载美国科研网站数据
Python爬虫 爬取下载美国科研网站数据
52 0
数据库精选视频
数据库精选视频,赶快来看看吧!
700 0
大数据 第一天 linux入门 及基本操作指令
内容 防火墙 查看状态 service iptables status 关闭 service iptables stop 打开 service iptables start 永久关闭防火墙 chkconfig iptables off 2.常用命令 命令组成 命令+选项+参数 短选项(-):只能修饰一个字符的选项。
1276 0
如何用Python爬数据?(一)网页抓取
你期待已久的Python网络数据爬虫教程来了。本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel。 需求 我在公众号后台,经常可以收到读者的留言。
2223 0
论战大数据----胖子哥的PK之旅(一)
胖子哥(1106110976) 9:35:36 http://www.cnblogs.com/hadoopdev/p/3531963.htmlnosqlt数据库-肖(380594863) 9:38:05 理论啊,没啥干货。
1094 0
+关注
jing.luojing
阿里云ET专家,重点在智能语音、人脸识别、图像识别、OCR等领域。
文章
问答
文章排行榜
最热
最新
相关电子书
更多
智能营销:徐徐展开的画卷
立即下载
世界那么大,谁想去看看——同程旅游带您云端翱翔
立即下载
长安十二时辰背后的技术密集——从智能算法到音视频创新技术
立即下载