离线改实时,那数据从hive 迁移到 hbase 还是 mysql 还是 doris , 还是 不迁移?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
根据您的需求,将离线数据改造成实时数据处理场景时,选择合适的数据存储目标很关键。从提供的参考资料来看,直接进行实时同步HBase到MySQL的工具服务目前并不直接支持。而关于数据迁移的方案,有以下几点可以参考:
Hive到其他数据库迁移:
是否需要迁移:
综上所述,是否迁移及迁移至何处需综合考量。若追求实时性,建议评估引入实时计算框架结合支持实时查询的数据库(如Doris、StarRocks),或利用工具如DataX进行离线数据到MySQL的迁移以提升查询效率,同时考虑是否有必要建立实时数据流处理体系来满足更高级别的实时性需求。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。