云场景实践研究第65期:五叶草

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 五叶草利用阿里云MaxCompute,为某世界500强快消品零售巨头搭建了企业级数据仓库。依托其强大的海量数据处理能力,有效降低了时间人力成本,提升了工作效率,使客户可以将更多的精力投入到业务升级中去。
更多云场景实践研究案例,点击这里: 【云场景实践研究合集】联合不是简单的加法,而是无限的生态,谁会是下一个独角兽
五叶草利用阿里云MaxCompute,为某世界500强快消品零售巨头搭建了企业级数据仓库。依托其强大的海量数据处理能力,有效降低了时间人力成本,提升了工作效率,使客户可以将更多的精力投入到业务升级中去。

采用的阿里产品
阿里云MaxCompute

为什么使用阿里云
MaxCompute,具有强大的海量数据处理能力,能够有效降低时间人力成本,提升工作效率,使客户可以将更多的精力投入到业务升级中去。

关于五叶草
五叶草大数据有限公司是南京高新区阿里巴巴创新中心基地本地运营商,是南京首家大数据、云计算、人工智能、物联网专业孵化培训基地。阿里云数加(大数据平台)金牌合作伙伴,阿里云职业认证培训体系课程授权合作伙伴和指定运营商。其业务包括:五叶草指数咨询服务、大数据行业解决方案、大数据职业认证培训、阿里云大数据实验室、五叶草大数据私董会、大数据项目孵化加速、大数据生态投资基金、大数据众智生态集市等。

面临的问题
由于部分子系统未打通、业务逻辑繁杂,客户的业务分析工作主要在线下人工完成,分析时间长、统计口径不一、数据质量参差不齐。

为什么选择阿里云
利用MaxCompute,五叶草为某世界500强快消品零售巨头搭建了企业级数据仓库。在将数据存储在MaxCompute后,依托其强大的海量数据处理能力,原先需要花数小时更新的报表只在10分钟左右即可完成, 有效降低了时间人力成本,提升了工作效率,使客户可以将更多的精力投入到业务升级中去

自定义MaxCompute各层数据模型:
1.数据接口层
数据接口层的数据结构应该对应源系统。应当注意的是同步的源数据要避免使用视图,在客户的生产环境上曾经出现过这样的情况:由于存储过程优化不好,同步视图在同步任务发起后仍然没有生成出来,导致同步任务及后续的ETL挂起。所以后续通过客户和第三方接洽,将数据源从视图换为表。
705238898a8544414618120d5926d0d74d997ac4
2.基础数据层
所有清洗、整合、运算工作应当放在基础数据层,避免对同步表里数据进行操作。以增量更新基础表为例,通过使用下面的方法,五叶草实现了每天增量更新数据到全量基础表的新分区,当天增量与昨天全量合并,数据存在冲突时优先保留增量记录
ff042ae3cbc20d1afc76bb275900067538399793
其中dwd_dummy_data为全量基础表,存放昨天的全量数据;ods_dummy_data为增量同步表,存放今天的增量数据。
由于数据更新之后插入了新分区,保留的基础表原始数据就为后面数据比对提供了极大的便利。客户部分数据源是由其他第三方维护的,出现过本月客户及该第三方协商对上月数据进行了修改,但是没有将该操作提前告知五叶草,最终导致上月月报结果与客户BI部门统计有出入。通过与客户提供的数据比对,五叶草发现与原始数据不一致的地方,在测试环境中对历史数据复现了相同的操作,并重跑了之后的任务,最终上月月报结果与客户BI部门结果一致。
3.多维数据层、数据应用层
在基础数据层,通过清洗、整合、运算得到的表为基本的维度表、事实表。需要面向业务,计算出业务指标后生成一张多维度表,并最终展现给客户。根据进销存、人货场财等分析思路,可以沿着某一方向深挖下去,下面展示了几张从人、场、货三个方向可以分析得出的多维度表,以及所需的基础数据。五叶草同时也在打通更多的数据通路。

  ee3ad2e489bacdaa00d8c992c09a2af330e36dac

关于五叶草的更多实践详情: 依托MaxCompute构建零售快消品行业数据仓库  
原文发布日期:2017-07-28
云栖社区场景研究小组成员:董黎明,仲浩。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 人工智能 安全
案例酷 | 浙江大学:打造新型办学空间,“网上浙大2.0”让高校更高效
编者按: 在实施国家教育数字化战略行动中,高等教育尤其是一流大学如何进行数字化转型,是一个重要课题。高等学校需要发挥国家战略科技力量作用,承担好高素质人才供给、高水平创新突破等重要任务,浙江大学提出“网上浙大”的建设目标,为智慧校园的移动化建设打下了良好的基础。 全文约3924字,建议阅读时间10分钟。
612 0
|
分布式计算 监控 算法
云场景实践研究第45期:梦想旅行
作为一家服务于出境自由行用户的公司,梦想旅行在上云之后,实现了海外访问的提速,以及高可用与容灾的架构优化。本文将带领大家一同了解梦想旅行如何借助阿里云达到高速海外访问与高可用、容灾架构的最佳实践。
1961 0
|
敏捷开发 运维 测试技术
云场景实践研究第76期:南京路特
在和阿里的云效平台结合之后,南京路特成功解决了困扰已久的成本问题、管理问题和效率问题,最终年节省20-25万,同时简化了流程、提高了效率。本文将结合南京路特的实践经验带领大家一同了解中小团队持续集成之路。
1912 0
|
运维 关系型数据库 数据库
云场景实践研究第52期:畅游
混合云在安全上有很重要的优势,阿里安全体系很健全,混合云模式既保证了用户线下的场景核心需求,同时依托阿里安全防护体系,将安全堡垒又加固了一层,混合云可能比常规的云上云下打通更实际,优势更明显。借助阿里云提供的混合云解决方案,畅游在游戏的维护成本等各方面都有很大的进步,其故障修复和应用上线的时间速度提升几十倍甚至上百倍。
2516 0
|
新零售 弹性计算 关系型数据库
云场景实践研究第41期:柚子街
作为美柚旗下的电商导购项目,柚子街在上云之后,数据的响应速度得到提升,用户体验得到提高,同时降低了运维成本。本文将带领大家一同了解基于阿里云柚子街所搭建的电商引流的后端架构。
1903 0
|
监控 BI 分布式数据库
云场景实践研究第81期:大搜车
2017云栖大会HBase专场,大搜车高级数据架构师申玉宝带来阿里云云数据库HBase在大搜车金融业务中的应用实践。本文主要从数据大屏开始谈起,进而分享了GPS风控实践,包括架构、聚集分析等,最后还分享了流式数据统计,包括数据流、数据合流和服务监控等。
2035 0
|
新零售 安全 大数据
云场景实践研究第71期:云集微店
11.11全球精品狂欢节的首日,云集微店用日PV过两亿、每秒钟最大并发6万、日销售额超过2亿的惊人数据,展现了新零售的巨大爆发力。从一台服务器到日PV过2亿,一家从一个程序员起步的创业公司,其系统架构如何极速成长以匹配业务的发展?本文介绍了社交电商云集微店的云上架构的挑战、阵痛与成长。
2480 0
|
运维 安全 容灾
云场景实践研究第49期:妈妈帮
作为专为妈妈们服务的社区,中国每天新增孕妇中有1/3会成为妈妈帮的注册会员。为了维护如此庞大的用户系统,妈妈帮选择了落地阿里云,借助阿里云的力量搭建安全稳定用户系统。本文将为大家介绍妈妈帮的上云实践之路,云上架构设计、数据库选型、安全运维实践以及在这个过程中阿里云如何帮助妈妈帮解决遇到的问题。
1879 0
|
安全 NoSQL 大数据
云场景实践研究第51期:趣店
对于像趣店这样的创业团队而言,由于成本问题,自建IDC显然是不现实的,所以趣店在创业之初就选择了上云。如今,趣店对于阿里云存在着深度依赖的关系,只要有需求一来,技术团队首先会去思考阿里云有没有这样的服务,这样的方式帮助趣店将精力集中在自己的业务本身,使得产品能够迅速得以迭代。
2124 0