开发者社区> 问答> 正文

Spark SQL 2.3+是否支持UDT?

社区小助手 2018-12-06 13:54:18 540

无法理解Spark是否支持任何语言的2.3+版本的UDT(Scala,Python,Java,R)?

我有类似这样的类

Class Test{

string name;
int age;

}
我的UDF方法是:

public Test UDFMethod(string name, int age){

   Test ob = new Test();
   ob.name = name;           
   ob.age = age; 

}
示例Spark查询

Select *, UDFMethod(name, age) From SomeTable;
现在UDFMethod(name, age)将返回Test对象。那么在使用SQLUserDefinedType标记和扩展UserDefinedType类之后,这将在Spark SQL中工作吗?

因为UserDefinedType类在Spark 2.0中是私有的。我只是想知道Spark 2.3+是否支持UDT。如果是,最好使用什么UserDefinedType或UDTRegisteration。截至目前,两者都是私人的spark

SQL 分布式计算 Java Scala Spark Python
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:18:31

    目前没有这样的选项供公众使用。

    你可以绕过访问限制(通过反射,将您自己的代码放在Spark命名空间中),但它绝对不受支持,如果它失败或将来中断,这也没办法。

    0 0

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题