开发者社区> 问答> 正文

是否有一个使用常规文件系统的简单Python map-reduce框架?

我有一些问题可以很好地应用于Map-Reduce模型。我想尝试实现它们,但是在此阶段,我不想麻烦地安装像Hadoop或Disco这样的重量级系统。

是否有用于map-reduce的轻量级Python框架,该框架使用常规文件系统进行输入,临时文件和输出?

展开
收起
祖安文状元 2020-02-21 17:34:49 526 0
1 条回答
写回答
取消 提交回答
  • 专门针对大数据的Coursera课程建议使用以下轻量级python Map-Reduce框架:

    http://code.google.com/p/octopy/ https://github.com/michaelfairley/mincemeatpy 为使您快速入门,请尝试以下示例:

    https://github.com/michaelfairley/mincemeatpy/zipball/v0.1.2

    (提示:对于本例中的[服务器地址],请使用localhost)

    2020-02-21 17:34:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载