O2O数据仓库实践:应对快速变化业务模型

简介:
文章讲的是 O2O数据仓库实践:应对快速变化业务模型2014年4月10日-12日,第五届中国数据库技术大会(DTCC 2014)在北京五洲皇冠国际酒店拉开序幕。今天是12日下午的专场8:数据仓库设计和管理。来自美团网的数据仓库架构师徐章给大家带来了《O2O数据仓库实践——应对快速变化的业务模型》。

优酷土豆杜长嵘:视频网站数据分析实践
▲点击进入中国数据库技术大会报道专题

  O2O这个增长迅猛,快速变化的行业,对如何建立数据仓库提出了很多挑战——快速变化, 快速处理, 快速应用是三个最核心的需求。美团作为国内最大的本地服务电子商务公司,在支撑前线的数据仓库设计上面临哪些挑战?又有哪些方案?美团数据仓库架构师徐章,他目前负责美团数据仓库的建设和数据仓库工具的开发。他介绍了美团数据仓库的架构和核心工具,以及在数据建模和管理上的探索、实践和创新。

O2O数据仓库实践:应对快速变化业务模型
▲美团数据仓库架构师徐章

  数据仓库的构建离不开业务场景

  解析团购行业的特点:1、团购?业低?利,要求?效率,百度8%,美团5%。2、业务复杂. 订单、财务、供应链、客服等,近20个业务部?,关系复杂需求多。3、业务变化快. ?业?速发展,形式不断更新。

  团购行业对数据仓库的要求:快速建模: 全?地覆盖所有业务、业务模型灵活变更: 可?且响应周期短、?便使?: 每个?都能使?数据资源。

  快速粗放式增长之痛:1、指标管理混乱: 重复定义, ?径不?致, 变更困难。2、元数据过于松散: 找不到数据, 业务知识零散。3、依赖关系过于复杂: 层次过深, 指标来源不明。4、规范执?困难: ??审核,建模?法论难以贯彻,还容易将精?耗费在业务?关的细节上。

  数据仓库的构建思路

  1、形式化模型定义:精确表达业务逻辑、?处定义,各处复?、模型即?档。

  2、简化处理层级

  3、模型驱动数据?产

  总线图的方法

O2O数据仓库实践:应对快速变化业务模型

  多维度模型视角主要包括:1、按事实?度(纵向): 星型多维。2、按主题组织(横向): 维度层级组合合并

  模型元素:1、实体/事实: 名称,物理表名,属性/度量列表;2、属性: 名称,对应字段/表达式,属性字典;3、度量: 聚合?法; 4、层级关系: 各层级属性

  简化处理层级:目标

O2O数据仓库实践:应对快速变化业务模型

  模型驱动?动化?作流:1、??成聚合表流程。2、?动创建主题表流程。3、?动部署上线并注册任务调度。

  驱动数据?产:聚合计划:1、选定事实。2、指定维度层级组合。3、?成Hive SQL (Multi Groupby)

  驱动数据?产:主题定义:1、选定维度层级组合。2、指定事实列表。3、?成Hive SQL (FULL OUTER JOIN)。

  达成的效果:1、关注于业务建模, ?具执?规范和?产。2、业务知识和指标查找变得可能。3、减少混乱的指标定义带来的沟通?作。4、快速响应模型变更。5、便于快速铺开到新的产品线(电影,酒店,外卖…)

O2O数据仓库实践:应对快速变化业务模型

  经验总结

  最后,美团数据仓库架构师徐章总结了自己的经验,主要包括了三点:1、元数据管理的形式: 档< wiki < 字典系统< 形式化模型。2、对开放数据产的态度: 平衡治和统。3、动化,助化,平台化。


作者:景保玉

来源:IT168

原文链接:O2O数据仓库实践:应对快速变化业务模型

相关文章
|
8月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍(图文解释 超详细)
1179 0
|
2月前
|
机器学习/深度学习 存储 SQL
数据仓库革新:Snowflake在云数据平台中的创新实践
【10月更文挑战第27天】Snowflake作为云原生数据仓库的领导者,以其多租户、事务性、安全的特性,支持高度可扩展性和弹性,全面兼容SQL及多种数据类型。本文探讨了Snowflake在现代化数据仓库迁移、实时数据分析、数据存储与管理及机器学习集成等领域的创新实践和应用案例,展示了其在云数据平台中的强大优势和未来潜力。
62 2
|
2月前
|
存储 运维 Cloud Native
数据仓库革新:Snowflake在云数据平台中的创新实践
【10月更文挑战第26天】随着大数据时代的到来,数据仓库正经历重大变革。本文探讨了Snowflake在云数据平台中的创新应用,通过弹性扩展、高性能查询、数据安全、多数据源接入和云原生架构等最佳实践,展示了其独特优势,帮助企业提升数据处理和分析效率,保障数据安全,降低运维成本,推动业务快速发展。
78 2
|
3月前
|
存储 小程序 Apache
10月26日@杭州,飞轮科技 x 阿里云举办 Apache Doris Meetup,探索保险、游戏、制造及电信领域数据仓库建设实践
10月26日,由飞轮科技与阿里云联手发起的 Apache Doris 杭州站 Meetup 即将开启!
74 0
|
6月前
|
SQL 存储 关系型数据库
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
数字化转型的浪潮中,高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库,实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍,为智能化、高效化转型指明了方向。
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
|
6月前
|
存储 数据采集 分布式计算
阿里巴巴数据仓库实践:从离线到实时的一体化探索
阿里巴巴的数据仓库实践从离线到实时的一体化探索,不仅为企业自身业务的快速发展提供了有力支撑,也为行业树立了标杆。通过不断优化技术架构、提升数据处理能力、加强数据治理和安全管理,阿里巴巴的实时数仓将为企业创造更大的价值,推动数字化转型的深入发展。未来,随着技术的不断进步和业务的持续拓展,阿里巴巴的实时数仓实践将展现出更加广阔的应用前景和发展空间。
|
6月前
|
数据采集 存储 数据管理
OneData:阿里巴巴的数据仓库之旅与统一数据治理实践
OneData 为解决大数据时代的挑战提供了一条可行的道路,对于其他企业和组织来说具有重要的参考意义。随着技术的不断进步和应用场景的扩展,OneData 的未来发展值得期待。
|
7月前
|
存储 运维 OLAP
抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。
抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践
|
8月前
|
SQL 大数据 BI
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
|
8月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
391 0

热门文章

最新文章