问题一:关于jdbc connector扩展问题
hi all我这里有个需求需要从sql里面写数据到clickhouse里面,但是看源码,发现并不好扩展,https://github.com/apache/flink/blob/d04872d2c6b7570ea3ba02f8fc4fca02daa96118/flink-connectors/flink-connector-jdbc/src/main/java/org/apache/flink/connector/jdbc/dialect/JdbcDialects.java#L30, 这里我看直接写死仅支持DerbyDialect、MySQLDialect、PostgresDialect,而且这个类不支持注册jdbc新驱动,如果想在SQL里面支持其他类型的数据库的话,该怎么弄
参考回答:
目前 flink-connector-jdbc 还不支持注册
dialect,社区有这方面的计划,但是目前还没有资源做这一块,这是个比较复杂的功能,需要对接口做细致的设计。
目前你可以拿 flink-connector-jdbc 源码,加一个自己的 Dialect 类,在 JdbcDialects 中注册进你的
dialect,然后编译打包就可以了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/372060
问题二:Flink从SavePoint启动任务,修改的代码不生效
背景:Flink版本1.6.4,数据源为Kafka的主题A,B,消费者组相同 操作步骤:1.使用SavePoint取消任务。 2.修改代码将B去掉,只消费A主题。 3.从SavePoint启动任务,发现消费者组在B主题下的偏移量也回到了任务停止时的偏移量,之后偏移量马上变成了最新并继续消费。 想知道为什么修改代码不生效。
参考回答:
估计你是用同一个 Kafka Source 消费 A B 两个 Topic? 如果是,看起来像是 Kafka Connector 早期的一个问题。
作业停止的时候,Topic B 的 partition offset 被存储到 Savepoint 中,然后在恢复的时候,尽管代码中 Topic B 已经被移除,但它的 partition offset 还是被恢复了。
这个问题在后来的版本,估计是 1.8 或 1.9,被修复了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/372058
问题三:Flink状态调试
Hi, 各位大佬们,请教一下: Flink的checkpoint怎么调试啊,我想看程序目前的状态,拿到了checkpoint的文件,打开后有一些东西是乱码,没有结构性,有方法吗?
参考回答:
想 debug checkpoint 文件的话,可以参考下这个 UT[1]
[1]
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/372057
问题四:Flink sql 主动使数据延时一段时间有什么方案
我们有这样一个场景,双流join,一个快流,一个慢流,想让快流等一段时间,目的是能提高join的命中率。
FLink sql有什么方案实现吗?
参考回答:
我们也遇到过类似场景。
如果你的数据里面有事件时间,可以写个udf来判断下,如果事件时间-当前时间 小于某个阈值,可以sleep一下。
如果没有事件时间,那就不太好直接搞了,我们是自己搞了一个延迟维表,就是保证每条数据进到维表join算子后等固定时间后再去join。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/372055
问题五:Flink SQL 关键字 user?
我发现我创建表 字段名为 user会报错。 user是关键字吗,还是其他原因
"CREATE TABLE ods_foo (\n" +
" id INT,\n" +
" user ARRAY<ROW >\n" +
") WITH (
Exception in thread "main" org.apache.flink.table.api.SqlParserException: SQL parse failed. Encountered "user" at line 3, column 5.
Was expecting one of:
参考回答:
是的,user是关键字,关键字列表可以参考[1].
如果遇到关键字,可以使用 ` 来处理,比如:
CREATE TABLE user
(...) WITH (...);
[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/#reserved-keywords
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/372053