问题一:Flink实时数仓是如何构建的?
Flink实时数仓是如何构建的?目前使用Flink CDC 构建实时ODS层,但是DWD和DWS是如何构建的?除了依赖于OLAP 引擎的View,还有哪些方式啊 ?
参考答案:
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/649389
问题二:flink啥时候考虑下 支持脚本方式提交任务?
flink啥时候考虑下 支持脚本方式提交任务?
参考答案:
后边有selectdb connector做sync,MySQL CDC做source。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/660421
问题三:Flink如何在ALTER操作我们这边能正常修改目标表结构?
目前我们这边是使用flink DataStreamAPI读取kafka的数据,其中投递到kafka的数据是分库分表过来的,目前我们已经实现了 INSERT、DELETE、UPDATE的操作,现在的问题是,Flink如何在ALTER操作我们这边能正常修改目标表结构,并且 还未消费完的kafka 历史数据还能正常同步?
参考答案:
只要是一对多的关系,修改表结构,必须要修改完所有涉及的表,要不然就会出现数据类型或字段不一致的错误
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/632207
问题四:Flink如果需要对历史跨多天的数据进行汇总,状态是否必须要一直保留?
Flink如果需要对历史跨多天的数据进行汇总,状态是否必须要一直保留?
参考答案:
是要保留的
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/620512
问题五:Flink如果想从checkpoint启动支持吗?
Flink如果想从checkpoint启动支持吗?
参考答案:
Flink支持从checkpoint启动。
Flink的Checkpoint机制是为了在任务失败时能够恢复任务的状态,确保数据的正确处理。Checkpoint可以存储在JobManager的内存中,也可以配置存储在文件系统或数据库中,具体取决于状态后端的配置。Flink支持从checkpoint恢复任务状态,这意味着如果任务因为某种原因中断,可以从中断点继续执行,而不是从头开始。此外,Flink还支持从Savepoint恢复,Savepoint是Checkpoint的一个特殊形式,它提供了更细粒度的恢复选项,允许用户指定一个具体的恢复点。
在Flink中,可以通过配置参数来启用和配置Checkpoint和Savepoint的使用。例如,可以通过设置env.enableCheckpointing()来启用Checkpoint,并通过设置CheckpointingMode.EXACTLY_ONCE来确保数据的一致性。对于Savepoint,可以在任务取消时自动创建,或者在需要时手动创建,并通过指定savepointDir来设置Savepoint的存储位置。在任务重启时,可以通过设置resumeFromSavepoint为true来从Savepoint恢复任务。
此外,Flink CDC(Change Data Capture)也支持从指定的checkpoint启动数据同步任务,这进一步扩展了Flink在处理实时数据变化时的恢复能力。通过设置参数如--fromSavepoint或--fromSpecificSavepoint,可以指定从最近的checkpoint或特定的Savepoint恢复任务。
总的来说,Flink提供了灵活的机制来支持从checkpoint或Savepoint恢复任务,确保了任务的高可用性和数据的可靠性
关于本问题的更多回答可点击进行查看: