问题一:Flink sql修改ddl能通过savepoint重启吗?
Flink sql修改ddl能通过savepoint重启吗?
参考答案:
要看修改的字段有没有shuffle过 比如keyby ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607526
问题二:Flink有人解析过这种josn吗?
Flink有人解析过这种josn吗?用flink sql解析kafka的数据{
"id": "7bb19111441384948ef4c1af1403",
"decodeData": "{'IC_Mileage': 2.7, 'IC_TotalMileageValid': 0, 'IC_1C9_RollingCounter': 10, 'IC_1C9_CheckSum': 222}", "channelNo": 0
}
decodeData这个里面的key,value不固定,如能能把这一条数据转换成多行数据呢?比如最后我想要的结果是4列:
id,decode的key,decode的value,channelno
参考答案:
hive里可以处理 用 LATERAL VIEW 和 explode 函数
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607525
问题三:flink作业数据来源是kafka ,配置偏移量策略是earlest,有什么办法吗?
flink作业数据来源是kafka ,配置偏移量策略是earlest,而且作业使用了rockdb状态后端,状态的生命周期是1个月, 目前kafka中的数据只能存3天,但是作业需要停7天 ,想重启作业时尽可能的多消费数据 且 停止作业时的保存点中的状态不丢数 ,有什么办法吗? 是直接就保存保存点 然后停止作业,7天后直接从保存点启动作业吗?
参考答案:
earliest就没有偏移量的事了,都已经把数据拉过来了,还要停作业7天再启动用flink的意义不大,直接用跑批就能实现,作业启动就为了持续不断地处理数据从而保证数据完整性,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607522
问题四:为啥flink 官网没有看到hudi 的connector呀?
为啥flink 官网没有看到hudi 的connector呀?
参考答案:
你得去hudi官网看,flink没有
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607521
问题五:Flink CDC里3.0对比2.4只用cdc的source包有提升吗?
Flink CDC里3.0对比2.4只用cdc的source包有提升吗?不用pipeline包
参考答案:
具体请参考官方文档。
关于本问题的更多回答可点击进行查看: