Flink这个是需要手动创建的吗?

我这边想用hdfs来做checkpoint和savepoint的文件终端,现在已经把相应的jar包和core-site.xml、hdfs-site.xml配置打进镜像里了,现在jobmanager已经启动,但是拉起taskmanager的时候,9158be4042430aad056f7fbfbad0c8cf.png
提示找不到hadoop-config-volume7a6a8c318bc0a7cc01bd545db9c67c11.png
Flink这个是需要手动创建的吗?

展开
收起
三分钟热度的鱼 2023-11-15 19:50:49 63 分享 版权
1 条回答
写回答
取消 提交回答
  • 从你的描述来看,你正在尝试使用HDFS作为Flink的Checkpoint和Savepoint的存储介质。然而,你遇到了一些问题,具体的问题你没有详细说明。

    首先,你需要确保你的HDFS集群是可用的,并且你已经正确地配置了Flink的HDFS连接信息。这包括HDFS的NameNode地址、用户名和密码等信息。这些信息应该在你的core-site.xmlhdfs-site.xml配置文件中。

    其次,你需要确保你的Flink集群已经正确地加载了HDFS相关的JAR包。这些JAR包应该包含在Flink的类路径中。

    如果你的TaskManager无法启动,可能是因为以下几个原因:

    1. HDFS集群不可用或者配置错误。
    2. Flink的HDFS连接信息配置错误。
    3. HDFS相关的JAR包没有正确地加载。

    你可以通过查看日志信息来确定问题的具体原因。

    2023-11-30 09:54:15
    赞同 1 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理