问题一:flink-1.11 在 windows 下怎样启动
我看 flink-1.11 发布包 bin 目录没有 windows 启动所需的 .bat 文件了。 那在 windows 下怎样启动呢?
谢谢 王磊*来自志愿者整理的flink邮件归档
参考答案:
社区已经不再维护windows版本的脚本了,建议你可以使用docker的方式[1]来运行 这样会更方便一些
[1]. https://ci.apache.org/projects/flink/flink-docs-master/ops/deployment/docker.html*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371519?spm=a2c6h.13066369.question.46.6ad26382mfiRpQ
问题二:flink row 类型
hi、 我这面定义row数据,类型为ROW<rule_key STRING>,可以通过 row.getField(i)获取到对应的值,但是我想获取对应的row_name名称要怎么操作,貌似没有报漏获取名称的接口
rule_key 转换为rule_key1,rulekey2 1 2*来自志愿者整理的flink邮件归档
参考答案:
你可以看看是不是可以把这个字段声明成 MAP,这样就可以 map['rule_key1'] 的方式通过字段名去获取了。
Best, Jark*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371521?spm=a2c6h.13066369.question.47.6ad263825DjYoA
问题三:flink1.11日志上报
hi、 我这面想实现一个日志上报的功能,就是flink任务启动后,让flink主动将当前任务日志打到外部存储系统,想问一下flink有对应的接口吗,具体要实现哪一个类哪*来自志愿者整理的flink邮件归档
参考答案:
这个可以用配置文件实现,利用kafka appender将日志打到kafka中,然后自己去消费kafka处理即可,1.11中支持log4j2了,建议使用log4j2*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371523?spm=a2c6h.13066369.question.50.6ad26382Tmb8CX
问题四:application模式提交操作hive的任务相关疑问
大家好: 我现在有一个flink的程序要读写hive的数据,在程序中构造HiveCatalog的时候需要有一个hiveConfDir,如果我使用的是新的application模式去提交任务,这个任务的解析应该是放到了master端,这个时候hadoop集群上没有hive的相关配置,那么这个hiveConfDir该怎么配置呢?*来自志愿者整理的flink邮件归档
参考答案:
可以使用-Dyarn.ship-directories=/path/of/hiveConfDir把hive的配置ship到JobManager端,hiveConfDir默认会在 当前目录下,同时这个目录也会自动加入到classpath,不太清楚这样是否可以让hive正常加载到*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371524?spm=a2c6h.13066369.question.49.6ad26382oqiQSZ
问题五:在flink 1.11.1 使用mysql作为维表进行temporal join时,出问题
在flink 1.11.1 使用mysql作为维表进行temporal join时,大部分时间都能正常join,偶尔会出现mysql连接超时的情况,此时程序直接抛出异常,这条数据就不能被正确的更新到sink 表里面,请问对于这个情况有解决方案吗?*来自志愿者整理的flink邮件归档
参考答案:
我理解这边有 2 个问题: 1. “偶尔会出现连接超时”,这个的话有具体的堆栈吗。如果是因为长时间没有数据的查询导致 connection invalid 话,这个在1.12,1.11.3 中应该是解决了[1]. 2. 你的 source 是什么组件呢?程序抛异常的话,自动重启或者手动重启话,如果是 “最少一次” 语义的话,应该还是会 join 上 sink 到下游的;或者可以开启 checkpoint,保证 flink 内部的 “精确一次”。
[1] https://issues.apache.org/jira/browse/FLINK-16681*来自志愿者整理的flink邮件归档
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/371526?spm=a2c6h.13066369.question.50.6ad2638209Fy6D