开发者社区> 问答> 正文

pyflink 引用第三库的文件出现安装权限的问题

请教一下大家,在本地直接python demo.py是可以运行的,但是提交到集群就会报错 

flink 版本:1.11 flink on yarn集群模式部署, per-job模式提交,三台机器 

提交命令:flink run -m yarn-cluster -ynm demo -ys 2 -ytm 2048 -p 2 -py demo.py 

代码截图地址:https://s3.ax1x.com/2020/12/15/rKIwE6.png 

报错截图地址:https://s3.ax1x.com/2020/12/15/rKIlNT.png 

requestments.txt: IPy==1.0 cache_dir: IPy-1.00.tar.gz 

自定义udf代码: 

@udf(input_types=[DataTypes.STRING()], result_type=DataTypes.STRING()) 

def judge_ip(ip): 

import IPy 

if ip in IPy.IP('192.168.112.0/28'): 

return 'in' 

return 'out'*来自志愿者整理的flink邮件归档

展开
收起
又出bug了-- 2021-12-02 13:16:34 559 0
1 条回答
写回答
取消 提交回答
  • 光看报错,不知道是哪一步的权限不足导致的,你要不尝试wheel包传上去试试看吧,tar包源码安装会执行setup.py,可能会读写yarn上某些没有权限的目录啥的。*来自志愿者整理的FLINK邮件归档

    2021-12-02 14:19:57
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载