flink 1.9 1.10 在cdh上怎么搭建一个客户端。 我需要一个客户端启动flink on yan. 1.7版本 是正常的。 但是1.9 和1.10 启动了on yarn 任务。我的环境是cdh hadoop。 谢谢回答
来自志愿者整理的flink邮件归档来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
针对您在CDH Hadoop环境下,尝试使用Flink 1.9或1.10版本在YARN上搭建客户端并启动任务遇到的问题,以下是一些建议步骤和注意事项:
确认Hadoop版本兼容性:确保您的CDH Hadoop版本与Flink 1.9或1.10版本兼容。Flink官方文档通常会列出推荐的或已测试过的Hadoop版本范围。
Flink二进制包选择:下载对应版本的Flink二进制分发包(例如,flink-1.9.0-bin-scala_2.11.tgz 或 flink-1.10.0-bin-scala_2.12.tgz),解压至您计划部署的目录。
配置Flink环境变量:编辑~/.bashrc
或相应的shell配置文件,添加Flink的bin目录到PATH中,以便于全局调用Flink命令。
修改Flink配置以适应YARN:
flink-conf.yaml.template
为flink-conf.yaml
。yarn.application-id
、yarn.queue
等,根据您的YARN集群实际情况调整。jobmanager.rpc.address
、taskmanager.numberOfTaskSlots
等基本配置。Hadoop配置集成:将CDH Hadoop的配置文件(如core-site.xml
、hdfs-site.xml
、yarn-site.xml
)复制到Flink的conf目录下,确保Flink作业能正确连接到YARN集群。
启动Flink YARN客户端:在准备好上述配置后,您可以直接从命令行启动Flink YARN客户端来提交任务。示例命令如下:
./bin/flink run -m yarn-cluster -yn <numTaskManagers> -ys <slotsPerTaskManager> <your-jar-with-main-class> [program-args]
其中,-yn
指定TaskManager的数量,-ys
指定每个TaskManager的Slot数量,后面跟您的jar包路径及程序主类和参数。
监控与日志:提交任务后,可以通过YARN Web UI监控任务状态,并查看Flink JobManager和TaskManager的日志以诊断问题。
由于具体错误信息未提供,以上步骤是基于通用情况的指导。如果在执行过程中遇到特定错误,请提供详细的错误日志以便进一步分析和解决。