传统数据仓库演进为实时数仓最主要的困难点是什么？
已解决传统数据仓库演进为实时数仓最主要的困难点是什么？
写回答
-
推荐回答• 任务重复建设：常用的做法就是按照业务场景分拆实例，按照保障等级分拆实例，按照不 同服务形式路由到不同的引擎，比如KV/OLAP。任务不得不重复建设，需要在重复建设 和稳定性上做出权衡。在实践中，我们往往选择了第二或者第三种方式来优先保障稳定 性，由于在同一任务中增加多个 到不同实例，任何一个实例有问题，都会造成整个任 务背压或者failover，会影响到其它实例的稳定性。 • 数据存储冗余：实际场景中，我们需要提供Point Query，Ad hoc Query，O Query 等多种服务形式，我们需要至少在KV存储和MPP存储中存放两份，造成非常多不必要存 储，存储成本也只增不降。
• 元数据管理：在传统的KV引擎上，由于 的特点，我们无法友好并且高效的 管理我们的表及字段的元数据信息。
• 加工链路复杂：其中两个典型场景是，一是对于DWD层宽表的字段对齐问题，目前只能 通过Lindorm的KV特性，可以多个不同的流根据同一PK进行更新，然后通过Hlog捕捉到 对应PK的每次变化，然后触发流对Lindorm宽表的反查，再将整行记录下发。二是写入 到MPP引擎的数据，往往由于MPP引擎不支持写入数据的重新订阅消费，造成必须在上游 任务增加 ，写入到消息中间件，然后才能支持二次消费，一定程度上也增加了链路的 复杂度。以上内容摘自《阿里云实时数仓Hologres最佳实践合集》电子书，点击https://developer.aliyun.com/topic/download?id=996 可下载完整版
2022-09-26 23:49:18赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等，也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975
