问题一:计算逻辑口径一致的关键是什么?
参考答案:
计算逻辑口径一致的关键不在于使用了相同的代码,而是基于相同的代码,计算引擎内部将其翻译成批任务和流任务时,在语义、编程模型等方面达到了统一。如果计算引擎内部没有做到这一点,即便写了相同的代码也是无济于事的。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/616743
问题二:有没有流批一体与Lambda架构结合示例图?
参考答案:
你看看这个图。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/616744
问题三:什么是数据管道型应用?
参考答案:
数据管道型应用主要是指进行数据迁移、同步等操作的应用类型,例如将一个线上数据库中的数据迁移到另一个数据库中。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/616745
问题四:传统的数据同步方式有何问题?
参考答案:
传统的数据同步方式往往需要先通过一个离线同步工具同步全量数据,再通过另一个增量同步工具不断地同步新增数据。这个过程中选择从哪一时刻开始增量同步是一大难点,同时,如果在同步过程中需要对数据进行清洗或转换,操作难度会进一步增加。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/616746
问题五:如何通过计算引擎的流批一体能力和对应的connector解决数据同步问题?
参考答案:
我们可以直接通过写SQL的方式声明数据转换的逻辑,配合connector的能力,计算引擎会先批量读取数据,然后在某一时刻自动切换成流任务增量读取后续数据,计算引擎内部的流批一体能力则保证了语义的相同,从而解决数据同步问题。
关于本问题的更多回答可点击进行查看: