Hologres+Flink+MaxCompute 的流批一体实时数仓建设架构有什么好处?
新架构带来的好处有:
• 数据结构化更清晰:对于不同层级的数据,它们的作用域不相同,每一个数据分层都有其作用域,这样业务在使用表的时候能更方便地定位和理解;
• 数据血缘追踪:提供给业务使用的是一张业务表,但是这张业务表可能来源很 多张表。如果有一张来源表出问题了,我们可以快速准确的定位到问题,并清 楚每张表的作用范围;
• 减少重复发:数据分层规范化,开发一些通用的中间层数据,能够减少重复 计算,提高单张业务表的使用率;
• 简化复杂的问题:把一个复杂的业务分成多个步骤实现,每一层只处理单一的步骤,比较简单和容易理解。而且便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的步骤开始修复。有点类似Spark RDD 的容错机制;
• 减少业务的影响:业务可能会经常变化,这样做就不必改一次业务就需要重新接入数据;
• 数据更加实时,业务决策更加迅速;
• 数据与第三方进行解耦,稳健性更强。
以上内容摘自《大数据&AI实战派 第1期》电子书,点击https://developer.aliyun.com/ebook/download/7722 可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。