无法理解Spark是否支持任何语言的2.3+版本的UDT(Scala,Python,Java,R)?
我有类似这样的类
Class Test{
string name;
int age;
}
我的UDF方法是:
public Test UDFMethod(string name, int age){
Test ob = new Test();
ob.name = name;
ob.age = age;
}
示例Spark查询
Select *, UDFMethod(name, age) From SomeTable;
现在UDFMethod(name, age)将返回Test对象。那么在使用SQLUserDefinedType标记和扩展UserDefinedType类之后,这将在Spark SQL中工作吗?
因为UserDefinedType类在Spark 2.0中是私有的。我只是想知道Spark 2.3+是否支持UDT。如果是,最好使用什么UserDefinedType或UDTRegisteration。截至目前,两者都是私人的spark
目前没有这样的选项供公众使用。
你可以绕过访问限制(通过反射,将您自己的代码放在Spark命名空间中),但它绝对不受支持,如果它失败或将来中断,这也没办法。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。