E-mapreduce中用spark streaming 读取Loghub的问题-问答-阿里云开发者社区-阿里云

开发者社区> jimmywalker> 正文

E-mapreduce中用spark streaming 读取Loghub的问题

2017-03-14 10:40:57 3573 3

大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时,遇到点问题。
我用Loghub监控一个文本文件,采用的是极简模式。该文本文件,每隔三秒生成一个1到10的随机数,如下图所示。
_

我修改了EMR集群提供的Loghubsample.scala去采集,batch interval设置为1秒,代码如下所示。

    loghubStream.foreachRDD { rdd =>
      val num = rdd.count()
      println("this round received: " + num + " data lines.")
      if (num > 0){
        rdd.foreach { x:Array[Byte] =>
          for (y <- x){
            println("result is "+ y)
          }
        }
      }
    }

但是现在每次打印出的并不是我想要的1到10的随机数,而是一串数字。请问这是因为我的调用方法不对吗?能否给我些帮助,感谢大家。
_

取消 提交回答
全部回答(3)
  • jimmywalker
    2019-07-17 20:55:04
    已采纳

    后来咨询了工单的技术人员,得到了提示:先取出来rdd是一个byte对象,把它转成string,这个string是一个json对象,因为日志服务的数据是json格式的。然后用json的工具类转一下,最后取里面的key就能拿到value了。
    终于解决了问题。
    非常感谢帮助。

    0 0
  • 梅熙
    2019-07-17 20:55:04

    emr专业问题,可以在emr客户交钉钉流群里面讨论,响应速度会更快。
    1075534903

    1 0
  • 开源大数据EMR
    2019-07-17 20:55:04

    你可以先去logstore看下收到的究竟是些什么内容,然后再对比下spark streaming消费到的数据。

    0 0
添加回答
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123744浏览量 回答数 4

11

回答

在阿里云上安装和运行Node.js全功略

ycwong 2013-09-18 15:17:30 64040浏览量 回答数 11

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120271浏览量 回答数 10

37

回答

阿里官方Java代码规范标准《阿里巴巴Java开发手册》下载

管理贝贝 2017-02-10 15:14:36 74963浏览量 回答数 37

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333900浏览量 回答数 8

19

回答

终于发现服务器流量被大量占用的原因,原来就是阿里云的问题!!!!!

neowo 2015-08-19 08:33:40 68874浏览量 回答数 19

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118487浏览量 回答数 5

1

回答

在flink集群模式下,能不能指定某个节点的solt来执行一个task?

孙goku 2019-07-01 15:19:09 113364浏览量 回答数 1

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 121184浏览量 回答数 8

19

回答

萌妹来袭!《经典云案例》第二期崩坏学园2-APP STORE付费榜NO.1

pittman03 2014-04-03 11:07:02 63483浏览量 回答数 19
+关注
0
文章
2
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载