主要的挑战包括四个方面:
首先是高吞吐的实时写入,这是实时数仓的一个核心前置条件。数据只有能够快速的进入分析系统,实时才具备可行性。因此,可以认为高吞吐的实时写入是 Fast Data 的基础。
其次是在离线混合工作负载。企业数字化分析是多元化的,涵盖了实时的 BI 决策,实时报表、数据 ETL、数据清洗以及 AI 分析。传统数仓方案是通过组合多套数据库与大数据产品,利用各自不同的优势来解决不通的分析场景,而带来的问题就是整个数据冗余,同时需要维护多个异构系统管理的代价。
第三是冷数据低成本、热数据高性能的一体化存储。在解决了一套系统同时支持在离线分析后,那么带来的核心问题是:如何既能够支持在线分析高性能,同时又可以支持冷数据的低成本存储。因此,动态的数据管理机制和灵活的缓存策略也将是一个很大的挑战。
最后是弹性可扩展。数仓中分析类查询对资源的灵活需求,由于业务变化而不断变化的数据体量,都对弹性这一云原生的核心特征提出了诉求。
资料来源:《数据库:从趋势到实践》,链接:https://developer.aliyun.com/topic/download?id=1113
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。