问题一:有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗?
有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗?
参考答案:
可以,没影响
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/611394
问题二:Flink有个大json文件,一个文件1,2g,请教下这种flink sql咋读出来?
Flink有个大json文件,一个文件1,2g,文件里面是一个json列表[],里面每行是一条数据,[ ]中括号是单独两行,请教下这种flink sql咋读出来?
参考答案:
这种直接用json格式读都会报OOM吧,之前用spark sql遇到过相同场景一个文件2g,指定特殊分割符,按照txt格式读取,把数组中的json对象拆分成一行,然后在把一行行数据解析成json,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/611393
问题三:StreamAPI中的flatmap算子,在flinksql中怎么实现?
StreamAPI中的flatmap算子,在flinksql中怎么实现?看了遍官网好像没有特别合适的函数
参考答案:
可以试一试explode函数 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/610806
问题四:flink1.12,1.19有没有办法办法,打开sql-client即默认进入myhive呢?
flink1.12,配置conf/sql-client.defaults.yaml的hive catalog之后,sql-client启动后,就直接可以查看myhive下面的表。
flink1.19,配置conf/sql-client.defaults.yaml的hive catalog之后,sql-client启动后,无法查看myhive,执行create catalog的sql后,才可以查看mysql下的表。关闭并重新启动sql-client,还是会提示myhive不存在。
1.19有没有办法办法,打开sql-client即默认进入myhive呢?
参考答案:
-i 指定初始化 SQL ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/610805
问题五:Flink把hdfs集群里的core-启动集群说找不到hdfs,如何解决?
Flink把hdfs集群里的core-site.xml hdfs.xml两个文 件放到flink/conf/目录下,启动集群说找不到hdfs?
参考答案:
不是那样配置的env.hadoop.conf.dir,在那个flink配置加这个参数,后面参数是你那些配置
关于本问题的更多回答可点击进行查看: