开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks pyodps dataframe能转成转成mars吗?

DataWorks pyodps dataframe能转成转成mars吗?

展开
收起
真的很搞笑 2023-08-27 14:26:44 79 0
1 条回答
写回答
取消 提交回答
  • pyodps dataframe 可以通过 to_mars 方法转换成 mars dataframe。

    df = odps.get_table('table_name')
    mars_df = df.to_mars()
    

    转换完成后,mars_df 就可以像普通的 mars dataframe 一样进行操作了。

    需要注意的是,如果 df 是 odps.DataFrame 对象,则 to_mars 方法会将 df 中的数据原样复制到 mars 中,并创建一个新的 mars.DataFrame 对象。如果 df 是 odps.Table 对象,则 to_mars 方法会将 df 中的所有数据从 odps 中拉取到本地,并创建一个新的 mars.DataFrame 对象。

    所以,如果 df 的数据量很大,则 to_mars 方法可能会比较耗时,因此在使用 to_mars 方法时,需要根据实际情况进行选择。

    2023-09-18 15:54:38
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    大模型驱动DataWorks数据开发治理平台智能化升级 立即下载
    重磅发布—DataWorks全链路数据治理系列新品 立即下载
    一站式大数据开发治理DataWorks使用宝典 立即下载