Apache Hive--了解 transform| 学习笔记

开发者学堂课程【大数据 Hive 教程精讲：Apache Hive--了解 transform】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/90/detail/1383

Apache Hive--了解transform

内容介绍：

一、Transform 实现（了解）

一、Transform 实现（了解)

Hive 的 TRANSFORM 关键字提供了在 sQL 中调用自写脚本的功能

适合实现 Hive 中没有的功能又不想写 UDF 的情况。

使用示例1:

下面这句sql就是借用了 weekday_mapper.py 对数据进行了处理

add FlLE weekday_mapper.py;

INSERT OVERWRITE TABLE u_data_new

SELECT

TRANSFORM(movieid , rate, timestring,uid)

USING 'python weekday_mapper.py'

AS (movieid, rating, weekday,userid)

FROM t_rating;

其中 weekday_mapper.py内容如下

#!/bin/python

import datetime

for line in sys.stdin:

line = line.strip()

movieid, rating, unixtime,userid = line.split('\t')

weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()

print "\t'.join([movieid , rating, str(weekday),userid])

import sys