问题一:我现在用的是flink1.19.0 执行命令的时候 出现could 这个是为什么呢?
我现在用的是flink1.19.0 执行命令的时候 出现could not connect to Blobserver at address localhost/127.0.0.1:36989 这个是为什么呢?
参考答案:
在 Flink 1.19.0 版本中,如果你是在 YARN 集群上提交任务,设置 TaskManager 的个数通常是通过 YARN 的配置来间接实现的,而不是直接通过 Flink 提交任务的命令行参数。具体来说,Flink 本身不直接提供一个命令行参数来指定 TaskManager 的数量,这一配置通常是在 YARN 的资源配置请求中体现。
你可以在提交 Flink 任务时,通过 YARN 的资源配置参数来影响 YARN 分配给应用程序的容器数量,从而间接控制 TaskManager 的个数。比如,可以使用 -ytm 参数来设置每个 TaskManager 的内存,YARN 根据你申请的总内存和每个容器的内存大小,决定分配多少个容器(即TaskManager)给你。
但要注意,直接指定 TaskManager 数量的参数在 Flink 命令行提交任务时是不具备的。你可能需要通过调整 YARN 的资源配置或者在 Flink 配置文件(如 flink-conf.yaml)中设置如 taskmanager.numberOfTaskSlots 来影响 TaskManager 的行为,但这不直接决定 TaskManager 的实例数量。
总结来说,在 Flink 1.19.0 版本中提交到 YARN 上的任务,没有直接的命令行参数来设置 TaskManager 的个数,而是需要通过 YARN 的资源请求配置来间接控制 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/630105
问题二:我把Flink任务停掉了,但是在监控那里还是能看到相关的指标信息,为什么?
我把Flink任务停掉了,但是在监控那里还是能看到相关的指标信息,为什么?
参考答案:
大概率是监控系统的数据刷新或者清理有一定的延迟,所以短时间内还能看到之前运行的任务指标。但作业本身不会再继续处理数据或产生新的状态更新。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/620515
问题三:我按照Flink要求写,为啥还是报我这个字段是非时间水位字段?
我按照Flink要求写,为啥还是报我这个字段是非时间水位字段?想取update时间最新的一条
参考答案:
1、order by排序一下,然后取第一条
2、直接使用max
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/624525
问题四:我按照Flink CDC 文档操作,提交mysql到doris Job时提示这个,如何解决?
我按照Flink CDC 文档操作,提交mysql到doris Job时提示这个,如何解决?
“Exception in thread "main" java.lang.RuntimeException: Cannot find factory with identifier "mysql" in the classpath”
参考答案:
升级版本试试。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/641793
问题五:问一下flink批处理,join超20张表会报空指针,这边是不是有什么限制在里面?
问一下flink批处理,join超20张表会报空指针,这边是不是有什么限制在里面?
参考答案:
可能产出了笛卡尔积的问题。
表的 join 顺序是在 FROM 从句指定的。可以通过把更新频率最低的表放在第一个、频率最高的放在最后这种方式来微调 join 查询的性能。需要确保表的顺序不会产生笛卡尔积,因为不支持这样的操作并且会导致查询失败。
——参考链接。
关于本问题的更多回答可点击进行查看: