将一行中的每个列传递到Spark SQL中的哈希函数-问答-阿里云开发者社区-阿里云

开发者社区> 社区小助手> 正文

将一行中的每个列传递到Spark SQL中的哈希函数

2018-12-06 15:14:57 2290 1

我有一个包含N列的表,我想将它们连接到一个字符串列,然后在该列上执行哈希。我在Scala中发现了类似的问题。

我想在Spark SQL中完全做到这一点,理想情况下,我已经尝试过,HASH(*) as myhashcolumn但由于有些列有时为null,我无法按照我的预期使其工作。

如果我必须创建一个UDF并注册它以实现这一点,我需要使用Python而不是Scala,因为我的所有其他代码都在Python中。

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:18:33

    试试下面的代码。

    df.select([hash(col) for col in df.columns]).show()

    0 0
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123663浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120219浏览量 回答数 10

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 141638浏览量 回答数 38

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146753浏览量 回答数 22

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118442浏览量 回答数 5

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 126215浏览量 回答数 2

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 121113浏览量 回答数 8

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 135470浏览量 回答数 42

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 302568浏览量 回答数 249

23

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471292浏览量 回答数 23
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载