用python实现Hive UDF

因为项目需要，最近研究了一下如何用python写udf；

• python部分：（通过stdin和stdout进行数据交互)

  #!/usr/bin/python
  import sys
  for line in sys.stdin:
    print(...)

• 将写好的脚本上传到HDFS：

  $ hadoop fs -put -f xxx.py [PATH]

• 在HIVE上：

  ADD FILE hdfs:///[PATH];
  set hive.execution.engine=mr;
  SELECT TRANSFORM(...)
  USING 'python jr_collect_list_udf.py'
  AS (...)
  FROM
    ...

• P.S.:

  • 在python脚本中，接收到的数据为str类型，如果TRANSFROM(…)中有多个字段，则接收到的是用\t分隔的字符串；
  • 无论返回的是什么类型的数据，写在表里都是str；
  • 需要返回多个字段的话在return时用\t.join()就可以；