没有规定在Scala中将Spark DataFrame转换为AWS Glue DynamicFrame-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

没有规定在Scala中将Spark DataFrame转换为AWS Glue DynamicFrame

2018-12-11 18:00:19 1577 1

没有相应的以下代码可以从Spark DataFrame转换为Glue DynamicFrame,有什么解决方法?

Convert to a dataframe and partition based on "partition_col"
partitioned_dataframe = datasource0.toDF().repartition(1)

Convert back to a DynamicFrame for further processing.
partitioned_dynamicframe = DynamicFrame.fromDF(partitioned_dataframe, glueContext, "partitioned_df")

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:19:57

    用这个:

    Convert Spark's DataFrame to Glue's DynamicFrame

    val partitioned_dynamicframe = DynamicFrame(partitioned_dataframe, glueContext)

    0 0
相关问答

5

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 130221浏览量 回答数 5

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 123839浏览量 回答数 10

37

回答

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20220424)

亢海鹏 2020-05-29 15:10:00 89216浏览量 回答数 37

2

回答

Blink计算引擎 【精品问答集锦】

管理贝贝 2016-07-21 17:03:19 29605浏览量 回答数 2

20

回答

【阿里云产品公测】简单日志服务SLS使用评测含教程

mr_wid 2014-10-09 07:18:30 42310浏览量 回答数 20

8

回答

问几个小白问:服务器重置?数据恢复?及其他?

ap6681c6b 2012-08-15 20:47:42 38833浏览量 回答数 8

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 120860浏览量 回答数 5

3

回答

2020年05月编程排行榜-C语言继2015年,重新成为编程排行榜第一名

huc_逆天 2020-05-06 13:43:42 37182浏览量 回答数 3

18

回答

MaxCompute百问集锦(持续更新20171011)

隐林 2017-06-30 18:30:36 53451浏览量 回答数 18

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 63796浏览量 回答数 11
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
问答排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载