开发者社区 问答 正文

是否有一个使用常规文件系统的简单Python map-reduce框架?

我有一些问题可以很好地应用于Map-Reduce模型。我想尝试实现它们,但是在此阶段,我不想麻烦地安装像Hadoop或Disco这样的重量级系统。

是否有用于map-reduce的轻量级Python框架,该框架使用常规文件系统进行输入,临时文件和输出?

展开
收起
祖安文状元 2020-02-21 17:34:49 545 分享 版权
1 条回答
写回答
取消 提交回答
  • 专门针对大数据的Coursera课程建议使用以下轻量级python Map-Reduce框架:

    http://code.google.com/p/octopy/ https://github.com/michaelfairley/mincemeatpy 为使您快速入门,请尝试以下示例:

    https://github.com/michaelfairley/mincemeatpy/zipball/v0.1.2

    (提示:对于本例中的[服务器地址],请使用localhost)

    2020-02-21 17:34:55
    赞同 展开评论