问题一:flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢?
flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢?
本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。
参考回答:
你用的是阿里的产品吧,如果是目标表需要自己创建的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/260556?spm=a2c6h.14164896.0.0.3088d9dfv2rd2u
问题二:flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢?
flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢?
本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。
参考回答:
你用的是阿里的产品吧,如果是目标表需要自己创建的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/260556?spm=a2c6h.14164896.0.0.3088d9dfv2rd2u
问题三:flink用于风控场景下如何在线对接各种外部数据源而不用重新部署流处理?
flink用于风控场景下如何在线对接各种外部数据源而不用重新部署流处理?通过写sql udf方式能支持吗?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/129870?spm=a2c6h.14164896.0.0.3088d9dfv2rd2u
问题四:FLink SQL读取source的时候去指定水位线的时间字段,如果指定的这个字段中格式不满足要求的格式,在不改变源数据格式的前提下,有什么办法可以清洗成想要的类型吗?
求问各位大佬,FLink SQL读取source的时候去指定水位线的时间字段,如果指定的这个字段中格式不满足要求的格式,在不改变源数据格式的前提下,有什么办法可以清洗成想要的类型吗?
参考回答:
可以使用Flink SQL的类型转换函数来实现。例如,如果指定的时间字段格式不满足要求,可以使用cast函数将其转换为正确的格式。例如,如果指定的时间字段为yyyy-MM-dd HH:mm:ss.SSS格式,但实际格式为yyyy-MM-dd HH:mm:ss格式,可以使用以下代码将其转换为正确的格式:
sql Copy code SELECT event_time AS water_level, cast(event_time AS TIMESTAMP(3)) AS water_level_timestamp FROM source_table; 在这个例子中,我们使用cast函数将event_time字段转换为TIMESTAMP(3)类型,这样就可以满足水位线时间字段的要求。另外,如果指定的时间字段格式为yyyy-MM-dd HH:mm:ss.SSS格式,但实际格式为yyyy-MM-dd HH:mm:ss格式,可以使用以下代码将其转换为正确的格式:
sql Copy code SELECT event_time AS water_level, cast(event_time AS TIMESTAMP(3)) AS water_level_timestamp FROM source_table; 在这个例子中,我们使用cast函数将event_time字段转换为TIMESTAMP(3)类型,这样就可以满足水位线时间字段的要求。另外,如果指定的时间字段格式为yyyy-MM-dd HH:mm:ss.SSS格式,但实际格式为yyyy-MM-dd HH:mm:ss格式,可以使用以下代码将其转换为正确的格式:
sql Copy code SELECT event_time AS water_level, cast(event_time AS TIMESTAMP(3)) AS water_level_timestamp FROM source_table; 在这个例子中,我们使用cast函数将event_time字段转换为TIMESTAMP(3)类型,这样就可以满足水位线时间字段的要求。另外,如果指定的时间字段格式为yyyy-MM-dd HH:mm:ss.SSS格式,但实际格式为yyyy-MM-dd HH:mm:ss格式,可以使用以下代码将其转换为正确的格式:
sql Copy code SELECT event_time AS water_level, cast(event_time AS TIMESTAMP(3)) AS water_level_timestamp FROM source_table; 在这个例子中,我们使用cast函数将event_time字段转换为TIMESTAMP(3)类型,这样就可以满足水位线时间字段的要求。另外,如果指定的时间字段格式为yyyy-MM-dd HH:mm:ss.SSS格式,但实际格式为yyyy-MM-dd HH:mm:ss格式,可以使用以下代码将其转换为正确的格式:
sql Copy code SELECT event_time AS water_level, cast(event_time AS TIMESTAMP(3)) AS water_level_timestamp
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/446486?spm=a2c6h.14164896.0.0.3088d9dfv2rd2u
问题五:flink sql如何处理脏数据?
业务上游数据源发出来的数据有可能会有脏数据导致数据无法解析成源表的结构,如kafka json topic映射成源表。 请问这种情况下flink sql要如何处理? 期望的是将脏数据发到一个专门的topic,是不是要自己写个connector? 标准kafka connector支持这种需求么?*来自志愿者整理的flink邮件归档
参考回答:
Flink代码里Json反序列化里有2个参数应该对你有帮助,你到官网上查询下怎么使用
上述2个配置项的参数名字分别是:
format.fail-on-missing-field format.ignore-parse-errors
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/361338?spm=a2c6h.14164896.0.0.3088d9dfv2rd2u