请教一下大家,在本地直接python demo.py是可以运行的,但是提交到集群就会报错
flink 版本:1.11 flink on yarn集群模式部署, per-job模式提交,三台机器
提交命令:flink run -m yarn-cluster -ynm demo -ys 2 -ytm 2048 -p 2 -py demo.py
代码截图地址:https://s3.ax1x.com/2020/12/15/rKIwE6.png
报错截图地址:https://s3.ax1x.com/2020/12/15/rKIlNT.png
requestments.txt: IPy==1.0 cache_dir: IPy-1.00.tar.gz
自定义udf代码:
@udf(input_types=[DataTypes.STRING()], result_type=DataTypes.STRING())
def judge_ip(ip):
import IPy
if ip in IPy.IP('192.168.112.0/28'):
return 'in'
return 'out'*来自志愿者整理的flink邮件归档
光看报错,不知道是哪一步的权限不足导致的,你要不尝试wheel包传上去试试看吧,tar包源码安装会执行setup.py,可能会读写yarn上某些没有权限的目录啥的。*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。