开发者社区> 隐林> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

MaxCompute UDF系列之拼音转换

简介: 汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306,在地名中输入“WH”,就会出现“武汉”“芜湖”“威海”等地名,输入“WUHU”就会出现“芜湖”。 我们在MaxCompute开发中也会遇到此类问题,今天为大家提供一个转换的UDF,下载地址见附件。
+关注继续查看

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306,在地名中输入“WH”,就会出现“武汉”“芜湖”“威海”等地名,输入“WUHU”就会出现“芜湖”。


我们在MaxCompute开发中也会遇到此类问题,今天为大家提供一个拼音转换的UDF,下载地址见附件。


效果如下:




MaxCompute UDF代码如下:


package com.yinlin.udf.dev;

import com.aliyun.odps.udf.UDF;
import net.sourceforge.pinyin4j.PinyinHelper;  
import net.sourceforge.pinyin4j.format.HanyuPinyinCaseType;  
import net.sourceforge.pinyin4j.format.HanyuPinyinOutputFormat;  
import net.sourceforge.pinyin4j.format.HanyuPinyinToneType;  
import net.sourceforge.pinyin4j.format.HanyuPinyinVCharType;  
import net.sourceforge.pinyin4j.format.exception.BadHanyuPinyinOutputFormatCombination;  
  
public class pinyin extends UDF { 
      
    public String evaluate(String inputString,String xtype) {
          
        HanyuPinyinOutputFormat format = new HanyuPinyinOutputFormat();  
        format.setCaseType(HanyuPinyinCaseType.LOWERCASE);  
        format.setToneType(HanyuPinyinToneType.WITHOUT_TONE );  
        format.setVCharType(HanyuPinyinVCharType.WITH_U_UNICODE);  

        if (inputString == null) inputString = "";
        char[] input = inputString.trim().toCharArray();  
        StringBuffer output = new StringBuffer("");  

        try {  
            for (int i = 0; i < input.length; i++) {  
                if (Character.toString(input[i]).matches("[\u4E00-\u9FA5]+")) {  
                    String[] temp = PinyinHelper.toHanyuPinyinStringArray(input[i], format);
                    if (temp != null & xtype.equals("1")){
                        output.append(temp[0]);
                    }
                    if (temp != null  & xtype.equals("2")){
                        char[] ctemp=temp[0].toCharArray();
                        output.append(ctemp[0]);
                    }
                    //output.append(" ");
                } else  
                    output.append(Character.toString(input[i]));  
            }  
        } catch (BadHanyuPinyinOutputFormatCombination e) {  
            e.printStackTrace();  
        }  
        return output.toString();  
    }
}  


注意:依赖拼音pinyin4j.jar;


使用方法:

1、通过Eclipse将pinyin.java编译成Jar包。


2、通过大数据开发套件,上传资源pinyin4j.jar和pinyin_udf.jar;



3、通过大数据开发套件,引用第二步上传的pinyin4j.jar和pinyin_udf.jar资源,注册pinyin函数;


4、通过大数据开发套件新建SQL脚本,输入SQL函数进行测试。


--创建虚拟表,插入一条记录
CREATE TABLE IF NOT EXISTS dual (id STRING);
insert into table dual select '1' from (select count(1) from dual) t;


---pinyin 汉字转拼音,参数'1'为全拼,参数'2'为首字母
select pinyin('隐林','2') from yinlin_demo.dual limit 1;



到此为止,实验完成。


常见问题

Q:无结果?

我们在创建虚拟dual表的时候,一定要保证表中有数据。


Q:无法找到pinyin函数?

利用大数据开发套件注册pinyin函数的时候需要包名+类名,否则会找不到类。


阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……

bba01b493e1c5d904e882b1c380673c6ebe49a98

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

附件下载:https://developer.aliyun.com/topic/download?id=446

相关文章
【MaxCompute 常见问题】 UDF
查看资源信息 假设资源名称为 pyudf_test.py,在 odpscmd 客户端执行 desc resource pyudf_test.py;,或在 datastudio 中新建 SQL 节点后输入 desc resource pyudf_test.py;执行。
0 0
MaxCompute中Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写
MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。
0 0
MaxCompute UDF配置汇总
MaxCompute UDF为数据开发人员提供了较SQL更加灵活的数据处理方式,使得在数据处理过程中,不再只是局限在SQL提供的能力,可以根据自己的需求对功能进行定制,也可以引入其他优秀的程序包简化开发的难度和工作量。
1522 0
在 MaxCompute UDF 中运行 Scipy
新版 MaxCompute Isolation Session 支持 Python UDF。也就是说,Python UDF 中已经可以跑二进制包。刚才以 Scipy 为例踩了一下坑,把相关的过程分享出来。
3422 0
MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发
2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF,万众期待的功能终于支持啦,我怎么能不一试为快,今天就分享如何通过Studio进行Python udf开发。
5852 0
Python on MaxCompute之UDF操作命令行
语法: add py [comment 'cmt'][-f]; 说明:local_file.py:.py文件 注册函数 语法: CREATE FUNCTION AS USING ; 说明: function_name:UDF函数名,这个名字就是SQL中引用该函数所使用的名字。
2999 0
Python实现MaxCompute UDF/UDAF/UDTF
参数与返回值类型 参数与返回值通过如下方式指定: @odps.udf.annotate(signature) Python UDF目前支持ODPS SQL数据类型有:bigint, string, double, boolean和datetime。
7320 0
北京云栖大会MaxCompute又出大招,Python UDF抢先体验!
2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF。 小编第一时间申请到了公测资格,下面就为大家做个简单演示,通过DataWorks注册MaxCompute Python UDF(字符串大小写转换),完成数据处理。
7106 0
MaxCompute Studio使用心得系列5——一个工具完成整个JAVA UDF开发
一个JAVA UDF要想发布到MaxCompute服务端供生产使用,要经历JAVA相关工具编码、打包 -> 上传 -> 注册几个步骤,跨至少2个工具(平台)。对此,通过MaxCOmpute Studio工具,从环境准备到JAVA代码开发、调试、打jar包/添加MaxCompute resource/注册函数整个过程一气呵成。
4683 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
文章
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
MaxCompute SQL 2.0 全新的计算引擎
立即下载
数据进入MaxCompute的N种方式
立即下载
MaxCompute SQL介绍
立即下载