开发者社区> 问答> 正文

如何注册永久性spark udf?

社区小助手 2018-12-19 15:45:31 556

如何注册永久性spark udf?
我想在其他会话或视图中使用我的udf,那么有没有办法注册用Python或scala编写的永久Spark UDF?

分布式计算 Scala Spark Python
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:22:58

    不能。Spark没有与资源管理器(Yarn / Kubernetes / Mesos)交谈的“服务器”,并且每次工作都会重新部署。您需要将代码作为您提交的package 的一部分,或者包含在作业中包含的jar / zip文件中的预包装中。在这两种情况下,您都需要注册udfs。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程