开发者社区> 问答> 正文

pyflink和pyspark中引用包不兼容

pyflink和pyspark中引用包不兼容,li例如pyspark 中pandas版本1.1.4 而pyflink是>=0.23<0.25 pyflink和pyspark中引用包不兼容,li例如pyspark 中pandas版本1.1.4 而pyflink是>=0.23<0.25. 官方有没有升级pandas版的计划。 为了能让pyflink和pyspak兼容。在某些主版本上的包能保持一致嘛?*来自志愿者整理的flink

展开
收起
毛毛虫雨 2021-12-06 15:26:42 564 0
1 条回答
写回答
取消 提交回答
  • Hi, pyspark对pandas版本的限制是>=0.23.2,你安装的话就默认安装了最新的版本的pandas,这是有很大的潜在风险的。 在pyflink 1.11版本的时候pdandas的版本限制是pandas>=0.23.4,<=0.25.3,使用更稳定的pandas的版本可以规避很多风险。而且这个版本范围也在pyspark的范围内,是能一起用的。*来自志愿者整理的flink

    2021-12-06 16:00:59
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Just Enough Scala for Spark 立即下载
《Apache Flink-重新定义计算》PDF下载 立即下载
TensorFrames: Google Tensorflow with Apache Spark 立即下载