没有规定在Scala中将Spark DataFrame转换为AWS Glue DynamicFrame-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

没有规定在Scala中将Spark DataFrame转换为AWS Glue DynamicFrame

2018-12-11 18:00:19 1656 1

没有相应的以下代码可以从Spark DataFrame转换为Glue DynamicFrame,有什么解决方法?

Convert to a dataframe and partition based on "partition_col"
partitioned_dataframe = datasource0.toDF().repartition(1)

Convert back to a DynamicFrame for further processing.
partitioned_dynamicframe = DynamicFrame.fromDF(partitioned_dataframe, glueContext, "partitioned_df")

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:19:57

    用这个:

    Convert Spark's DataFrame to Glue's DynamicFrame

    val partitioned_dynamicframe = DynamicFrame(partitioned_dataframe, glueContext)

    0 0
相关问答

1

回答

函数计算只支持Node.js,我用C++写的程序怎么运行?

2022-08-02 17:10:20 198浏览量 回答数 1

0

回答

请问我在节点中是用pyodps的dataframe去操作数据的 这个要如何设置hints参数呢

2022-06-29 12:02:45 59浏览量 回答数 0

1

回答

云计算的应用可观测能力分为几种类型?

2022-01-11 22:40:44 135浏览量 回答数 1

1

回答

Spark MLlib中的DataFrame的作用是什么?

2021-12-09 20:22:16 91浏览量 回答数 1

1

回答

Pandas DataFrame中累计统计函数某一个位置的值来自哪里?

2021-12-02 18:06:59 82浏览量 回答数 1

1

回答

pandas DataFrame中如何获取某一行某一列的值?

2021-11-29 20:12:21 132浏览量 回答数 1

1

回答

函数计算只支持Node.js,我用C++写的程序怎么运行?

2020-03-27 17:50:58 735浏览量 回答数 1

1

回答

在Spark Streaming Python中将RDD转换为Dataframe

2018-12-21 13:36:36 2182浏览量 回答数 1

1

回答

计算`Spark Dataframe的连续行上的编辑距离

2018-12-12 15:05:54 2413浏览量 回答数 1

1

回答

node.js开发之express4.0使用mongoose连接mongodb的问题

2016-02-27 14:46:08 1975浏览量 回答数 1
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载