Python如何将pyspark数据框列转换为numpy数组
我正在尝试将具有大约9000万行的pyspark dataframe列转换为numpy数组。
我需要数组作为scipy.optimize.minimize函数的输入。
我尝试了转换为Pandas和使用collect（）的方法，但是这些方法非常耗时。
我是PySpark的新手，如果有更快更好的方法，请提供帮助。
谢谢
这就是我的数据框的样子。
- ---------- + |青少年| + ---------- + | 0.0 | | 0.0 | | 0.0 | | 0.0 | | 0.0 | | 0.0 | | 0.0 | | 0.0 | | 0.0 | | 0.0 | + ---------- +
展开
收起
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
