E-mapreduce中用spark streaming 读取Loghub的问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

E-mapreduce中用spark streaming 读取Loghub的问题

2017-03-14 10:40:57 3616 3

大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时,遇到点问题。
我用Loghub监控一个文本文件,采用的是极简模式。该文本文件,每隔三秒生成一个1到10的随机数,如下图所示。
_

我修改了EMR集群提供的Loghubsample.scala去采集,batch interval设置为1秒,代码如下所示。

    loghubStream.foreachRDD { rdd =>
      val num = rdd.count()
      println("this round received: " + num + " data lines.")
      if (num > 0){
        rdd.foreach { x:Array[Byte] =>
          for (y <- x){
            println("result is "+ y)
          }
        }
      }
    }

但是现在每次打印出的并不是我想要的1到10的随机数,而是一串数字。请问这是因为我的调用方法不对吗?能否给我些帮助,感谢大家。
_

取消 提交回答
全部回答(3)
  • jimmywalker
    2019-07-17 20:55:04
    已采纳

    后来咨询了工单的技术人员,得到了提示:先取出来rdd是一个byte对象,把它转成string,这个string是一个json对象,因为日志服务的数据是json格式的。然后用json的工具类转一下,最后取里面的key就能拿到value了。
    终于解决了问题。
    非常感谢帮助。

    0 0
  • 梅熙
    2019-07-17 20:55:04

    emr专业问题,可以在emr客户交钉钉流群里面讨论,响应速度会更快。
    1075534903

    1 0
  • 开源大数据EMR
    2019-07-17 20:55:04

    你可以先去logstore看下收到的究竟是些什么内容,然后再对比下spark streaming消费到的数据。

    0 0
添加回答
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 127248浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120871浏览量 回答数 10

37

回答

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20220112)

亢海鹏 2020-05-29 15:10:00 66629浏览量 回答数 37

37

回答

阿里官方Java代码规范标准《阿里巴巴Java开发手册》下载

管理贝贝 2017-02-10 15:14:36 77763浏览量 回答数 37

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 337099浏览量 回答数 8

19

回答

终于发现服务器流量被大量占用的原因,原来就是阿里云的问题!!!!!

neowo 2015-08-19 08:33:40 69211浏览量 回答数 19

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118924浏览量 回答数 5

1

回答

在flink集群模式下,能不能指定某个节点的solt来执行一个task?

孙goku 2019-07-01 15:19:09 115865浏览量 回答数 1

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 124039浏览量 回答数 8

22

回答

Flink Forward Asia 2021 有奖问答

阿里云实时计算Flink 2021-12-29 17:30:44 425789浏览量 回答数 22
+关注
0
文章
2
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载