开发者社区> 问答> 正文

关于MapReduce,sql官方内部使用方法的问题

最近一直在纠结到底应该是用什么处理数据,MR感觉复杂了一点,但是官方的sql提供的函数或者接口又不全面,比如像mysql中的loop等都没有,
以至于不能随心所欲的处理数据。
所以这里想了解下官方是怎么处理数据的?有什么建议?

展开
收起
ly 2014-05-05 00:29:29 8933 0
2 条回答
写回答
取消 提交回答
  • ly
    回1楼jxu的帖子
    我们现在就想构造一些简单的特征,首先建立一个最基本的(user,brand)对的表格,表格包含了所有user,brand对,然后每一行就是每天该用户对于该品牌的四种行为,假设共有120天,那么就有120*4维的数据,每一维对应于当天点击,购买,收藏或者加入购物车的次数。如果粗暴的建立的话,我们也能建立出来,但是想用点简单的方法,比如循环什么的,但是ODPS貌似没有,不知有什么办法解决类似的问题?现在和数据作斗争的时间远远超过算法时间啊,自己想做的完全实现不了,很是尴尬。
    2014-05-05 19:57:15
    赞同 展开评论 打赏
  • jxu
    回 楼主(ly) 的帖子
    绝大部分的数据处理都可以通过SQL来实现(MR就更加灵活了)。

    具体什么场景下的数据操作是ODPS SQL实现不了的,可以发到论坛里。
    2014-05-05 19:18:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载