暂无个人介绍
可以用web ui看一下吧,看一下数据传输,是否是数据倾斜造成的。此回答整理自钉钉群”【③群】Apache Flink China社区“
你的job也要占用一个。此回答整理自钉钉群”【③群】Apache Flink China社区“
看这包的体积就知道是依赖类冲突, 全家桶打包不清楚里边flink打的啥版本的 都不管和集群是否冲突,依赖最小化原则。此回答整理自钉钉群”【③群】Apache Flink China社区“
不会,默认false。此回答整理自钉钉群”【③群】Apache Flink China社区“
sink并行度是1的话,写kafka会有问题的,不能命中分区写,可以按照kafka分区设置并行。此回答整理自钉钉群”【③群】Apache Flink China社区“
2个办法试一下 此回答整理自钉钉群”【③群】Apache Flink China社区“
flink cep可以在不停任务的情况下动态修改规则:修改或者新增规则,你可以找找思路。此回答整理自钉钉群”【③群】Apache Flink China社区“
如果用阿里云的全托管,好像是可以动态调整的。不过应该还是先savepoint,然后根据新参数重启,只是给你封装好了。此回答整理自钉钉群”【③群】Apache Flink China社区“
MDC(Mapped Diagnostic Context)是Log4j2中的一个功能,用于在同一个日志消息中添加额外的诊断信息。在Flink中,要添加MDC日志,需要在log4j2.xml配置文件中添加MDC拦截器,如下所示:
<Appenders>
<Console name="Console" target="SYSTEM_OUT">
<PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n">
<MDC key="mdcKey" />
</PatternLayout>
</Console>
</Appenders>
上面的配置将在每条日志消息中添加MDC诊断信息,其中mdcKey是MDC中的一个键。此回答整理自钉钉群”【③群】Apache Flink China社区“
检查一下是不是sink 算子 单独设置了。此回答整理自钉钉群”【③群】Apache Flink China社区“
不要create view as的语法,把两个sql合并在一起。如果要debug排查,改写成table api排查问题(只调用udf函数)。此回答整理自钉钉群”【③群】Apache Flink China社区“
建议改conf目录的配置文件试试。此回答整理自钉钉群”【③群】Apache Flink China社区“
代码里指定org.apache.kafka.common.serialization.StringDeserializer反序列化。此回答整理自钉钉群”【③群】Apache Flink China社区“
可以尝试排查一下有没有脏数据或者数据不规则,或者格式、序列化的问题。此回答整理自钉钉群”【③群】Apache Flink China社区“
建议考虑一下是不是某一个源很长时间没有数据来,另外一个源数据来了,由于是barra 对齐,多以在join 的时候,等待barria 超时了。此回答整理自钉钉群”【③群】Apache Flink China社区“
可能kafka里面混入了脏数据,导致那一条的格式跟你其他的格式不一样。此回答整理自钉钉群”【③群】Apache Flink China社区“
这要看你配置,但是总觉得 hive的并发支持应该不是很好 毕竟是做批处理的。此回答整理自钉钉群”【③群】Apache Flink China社区“
大概率就是原始数据是乱码,可以从上游看看。此回答整理自钉钉群”【③群】Apache Flink China社区“
是线程dump不是报错。此回答整理自钉钉群”【③群】Apache Flink China社区“