【云栖号案例 | 互联网 】美柚上云 致力成为最懂女人的互联网企业

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 美柚大数据之路的初期,遇到平台及运维成本高、扩展性低、人手经验不足等问题。通过数加达到0运维、降低大数据使用门槛,实现常用数据源的全覆盖。

云栖号案例库:【点击查看更多上云案例】
不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

案例背景

美柚以让女人更美更健康为己任,致力成为最懂女人的互联网企业;美柚很早就将大数据作为了解女人、读懂女人、服务女人的最重要利器。大数据在美柚的应用非常广泛,然而在美柚大数据之路的初期,遇到了不少的困难和挑战:

  • 平台成本高:我们粗略的算过这笔账,数加比我们自建的成本要节省30%左右。
  • 扩展性不好:不仅需求提前预见新业务也需要预估资源的消耗量,从而提前申请足够的资源,而数加则可以随时购买所需的资源,甚至可以按量付费,完全不需要担心资源不足的问题。
  • 运维成本高:自建平台需要自己去做很多的配套,例如权限控制、调度、监控、报警,当任务量和数据量到达一定程度时,复杂度成倍增加,不能很好的集中精力解决业务需求。
  • 易用性:数加提供了数据血缘、任务依赖等实用功能,可以让非数据开发人员(例如数据分析师)快速的找到自己想要的数据。
  • 数据应用:提供机器学习算法平台和推荐引擎大大降低了机器学习的门槛,不必关心代码实现,只需要配置相关的参数即可。

关于美柚

厦门美柚信息科技有限公司,创始于2013年4月,是一家专注为女性服务的互联网公司。秉承“让女人更美更健康”的理念,美柚以经期管理为切入点,为女性提供备孕、怀孕、育儿、社区交流等功能服务。目前,美柚用户超过1.5亿,日活跃用户近千万,拥有约160个高活跃的女性话题圈,社区内用户日均互动量超500万帖,日均浏览量超过1.8亿次。

在艾瑞、易观、TalkingData、QuestMobile等第三方机构发布的研究报告均显示,美柚在总用户数、活跃用户数、日均使用时间等关键指标方面远远领先于同类产品,是国内最大的女性健康管理应用,也是移动端最大的女性社区。

美柚大数据团队在对内服务好美柚女性用户的同时,积极举办和参与大数据技术沙龙, 同时参加各种国内重量级大数据峰会例如在阿里云栖大会上分享美柚的大数据架构和应用,影响和带动厦门大数据圈。

挑战

美柚以让女人更美更健康为己任,致力成为最懂女人的互联网企业;美柚很早就将大数据作为了解女人,读懂女人,服务女人的最重要利器。这就要求我们大数据团队需要做好数据治理这块,将零散的日志和业务数据通过科学的方法,将其规整起来,形成合理易用的数据仓库;只有做好数据仓库,才能方便的提供各种数据服务。

为什么使用数加

美柚创始于2013年4月,而在2014年初就组建了大数据团队。当时也是自建了一套大数据平台,当时面临最大的几个问题:

  • 人手不足,经验不足:当时大数据开发团队就3个人,而且还没什么大数据开发经验,对于hadoop及大数据生态等只是停留在理论阶段,并没有什么实操的经验;
  • 时间紧任务重:由于当时美柚处在高速发展的阶段,对大数据的渴望异常强烈,然而大数据平台处在建设的初期,各方面还不太完善,需要同时应付:数据平台的建设,数据仓库的建设,业务数据需求;
  • 平台不稳定:开源的hadoop系统并没有完善的周边配套,例如代码版本控制,资源权限,任务调度,任务监控,失败报警等功能,往往需要等早上发现数据没出来,或数据有问题的时候再一步一步的排查问题,用户体验非常不好,经常遭到业务部门的投诉。

2014年底,美柚从阿里那边请来了一个产品总监,了解到我们的大数据团队的痛点之后,给我们推荐了数加。经过我们调研试用后感觉能够解决我们的痛点,因此决定转向数加平台。

解决方案及架构

image

这是我们DMP的架构,目前数加主要是数据ETL以及数据的导入导出这块。具体ETL的架构如下:

image

上图的datax就是数加的数据集成部分

数据仓库MaxCompute内部分层如下:

image

收益

  • 几乎零运维,极大的降低大数据的使用门槛。所有的代码管理,调度,监控,报警数加都已经帮我们做好了,我们要做的就是使用它。这样我们可以更专注于数据开发,专业的事要交给专业的人做。
  • 数加的数据集成工具能够很方便将不同的数据源的数据,进行导入导出,基本实现常用数据源的全覆盖,从而实现大数据的全链路打通。
  • 方法论的支持。我们遇到的一些问题,其实阿里云之前也遇到过,他们沉淀了一些解决问题的方法能够让我们有效快速的解决遇到的问题。
  • 云栖大会和云栖社区上有不少解决实际问题的案例,也有不少新技术,新理念的介绍,能够拓宽我们的视野。

云栖号案例库:【点击查看更多上云案例】
不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
弹性计算 Cloud Native 小程序
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—蓝犀牛搬家:挑战非标化运营模式,云加速服务体验
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—蓝犀牛搬家:挑战非标化运营模式,云加速服务体验
163 0
|
新零售 安全 搜索推荐
【年终特辑】看见科技创新力量 洞见时代创业精神—新零售—恭喜科技:一站式服务做你的喜事管家
【年终特辑】看见科技创新力量 洞见时代创业精神—新零售—恭喜科技:一站式服务做你的喜事管家
152 0
|
安全 供应链 调度
【云栖号案例 | 制造】齐鲁粮油上云 公益物资捐赠背后的数字化力量
疫情对传统粮油行业带来影响,齐鲁粮油将经销和零售进行线上化和数据化升级,上下游形成协同,实现在线协同和数据智能的能力,全面提升数字化水平。
【云栖号案例 | 制造】齐鲁粮油上云 公益物资捐赠背后的数字化力量
|
数据采集 移动开发 算法
【云栖号案例 | 教育与科研机构】上学帮上云 阿里云助力教育资讯平台防爬虫
上学帮短信接口存在被盗刷情况、平台没有成熟的爬虫情报,担心影响正常的搜索访问。上云后在实现防爬的同时,没有影响业务平台正常使用和搜索排名。
【云栖号案例 | 教育与科研机构】上学帮上云 阿里云助力教育资讯平台防爬虫
|
供应链
【云栖号案例 | 制造】彩生活云上转型 打造全球最大社区服务运营商
传统物业集中管控难度大、物业服务收入提升困难、客户对物业服务的满意度低。云上转型后全面控制预算、人财物事统一集中管控、物业服务互联网化。
【云栖号案例 | 制造】彩生活云上转型 打造全球最大社区服务运营商
|
机器学习/深度学习 新零售 监控
【云栖号案例 | 金融】银河证券上云 打开互联网金融思维的魔盒
银河证券是老牌国企券商,面临通道收费模式受挤压;牌照红利下降,境外机构收入贡献较低。上云后促进银河证券互联网化思维模式构建,通过数据实现智能运营。
【云栖号案例 | 金融】银河证券上云 打开互联网金融思维的魔盒
|
弹性计算 分布式计算 关系型数据库
【云栖号案例 | 互联网】佰腾科技上云 专利大数据的云上裂变之路
佰腾科技急需大数据的处理能力和数据平台的扩展性,快速支撑有需求的应用。上云后提升数据存储和处理的效率、实现自动化编排,一键式处理,很高效。
【云栖号案例 | 互联网】佰腾科技上云 专利大数据的云上裂变之路
|
存储 编解码 安全
【云栖号案例 | 互联网】蛙跳视频上云 帮助更多儿童寻找自己的学习榜样
作为儿童才艺展示的视频平台,存在烧钱抢夺资源、CDN资源稀缺等问题。该架构减少盗播、盗链风险、性价比高,有效控制研发成本、降低开发和时间成本。
【云栖号案例 | 互联网】蛙跳视频上云 帮助更多儿童寻找自己的学习榜样
|
云安全 安全 网络安全
金融安全资讯精选 2017年第一期:云战略下的安全思维转型与新认知
Clutch云安全调查发布,Necurs僵尸网络攻击美国金融机构,账户盗用威胁加剧,英国60%的金融和保险机构将网络安全设为高优先级,阿里云安全负责人肖力谈企业安全的四个“新认知”
5445 0
“广产”B2C企业——“誉购网”启航
 互联网已经深入地影响了我们每一个普通人的日常生活,依靠网络进行的工作就不用多说了,小到购物和缴纳水电费都可以在网络上直接进行,对于我们来说自然是很大的方便。尤其是网购,无论是易趣淘宝的C2C,还是京东新蛋的B2C,我们都可以有很多的选择,通过简单的鼠标点击就能够完成选购、确定以及付款等操作,接下来只需要等送货上门就好,我们无需去担心本地没有这些产品或者价格太贵,而也是因为这样的特点和优势,使得网购在短时间内就迅速席卷整个互联网,尤其是年轻人——几乎不会有从未网购过的年轻人吧。
1081 1