开发者社区> 问答> 正文

mapreduce、odps与xlab之间的关系,以及如何使用python语言读取ali数据

RT
希望大神能够解答下面的疑惑:


1.简明描述下MapReduce 、Odps跟xlab的关系;
2.如何在odps工程中嵌入python代码,以及如何用python读取ali的用户数据。


不胜感激!



展开
收起
universewill 2014-04-26 16:10:45 15856 0
6 条回答
写回答
取消 提交回答
  • 回8楼sinzero的帖子
    请问,我解压不了,请问你是怎么解压的呢
    2014-05-04 11:39:11
    赞同 展开评论 打赏
  • Remapreduce、odps与xlab之间的关系,以及如何使用python语言读取ali数据
    这一切都是java 和jython。。解压xlab/lib/*.jar 有惊喜。
    2014-05-01 17:42:52
    赞同 展开评论 打赏
  • jxu
    回 4楼(小斯never) 的帖子
    ODPS不支持类似Hadoop的Streaming形式的Job,所以楼主想要的比较难实现,可以通过Python写的UDF和UDAF实现部分。
    2014-05-01 11:06:15
    赞同 展开评论 打赏
  • Remapreduce、odps与xlab之间的关系,以及如何使用python语言读取ali数据

    同问
    2014-04-28 12:13:42
    赞同 展开评论 打赏
  • 回 1楼(halcyon) 的帖子
    python呢?

    -------------------------

    回 3楼(halcyon) 的帖子
    多谢,我主要是想问……如何用python读取ali的用户数据,读完并且处理之后再怎么插回去。

    因为这里好像不支持逐条插入

    -------------------------

    回 6楼(jxu) 的帖子
    嗯,多谢
    2014-04-27 17:54:35
    赞同 展开评论 打赏
  • 回楼主universewill的帖子
    好问题,回头我会发个帖子解释给大家。请关注。

    -------------------------

    回2楼小斯never的帖子
    xlib里的算法都是通过python函数的形式提供的。
    xlab工具不提供odps的所有功能。
    访问odps的数据也不只xlab一种,
    从工具上来说,通过console也可以。
    从功能上来说,xlib,sql,mr都可以访问、处理odps的数据。

    希望我的回答对你有帮助。
    2014-04-27 10:30:18
    赞同 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载