E-mapreduce中用spark streaming 读取Loghub的问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

E-mapreduce中用spark streaming 读取Loghub的问题

2017-03-14 10:40:57 4013 3

大家好。我在测试使用E-mapreduce中的spark streaming来采集Loghub的数据时,遇到点问题。
我用Loghub监控一个文本文件,采用的是极简模式。该文本文件,每隔三秒生成一个1到10的随机数,如下图所示。
_

我修改了EMR集群提供的Loghubsample.scala去采集,batch interval设置为1秒,代码如下所示。

    loghubStream.foreachRDD { rdd =>
      val num = rdd.count()
      println("this round received: " + num + " data lines.")
      if (num > 0){
        rdd.foreach { x:Array[Byte] =>
          for (y <- x){
            println("result is "+ y)
          }
        }
      }
    }

但是现在每次打印出的并不是我想要的1到10的随机数,而是一串数字。请问这是因为我的调用方法不对吗?能否给我些帮助,感谢大家。
_

取消 提交回答
全部回答(3)
  • jimmywalker
    2019-07-17 20:55:04
    已采纳

    后来咨询了工单的技术人员,得到了提示:先取出来rdd是一个byte对象,把它转成string,这个string是一个json对象,因为日志服务的数据是json格式的。然后用json的工具类转一下,最后取里面的key就能拿到value了。
    终于解决了问题。
    非常感谢帮助。

    0 0
  • 梅熙
    2019-07-17 20:55:04

    emr专业问题,可以在emr客户交钉钉流群里面讨论,响应速度会更快。
    1075534903

    1 0
  • 开源大数据EMR
    2019-07-17 20:55:04

    你可以先去logstore看下收到的究竟是些什么内容,然后再对比下spark streaming消费到的数据。

    0 0
添加回答
相关问答

0

回答

请教一个问题。我在用spark读取hbase数据时,默认是一个regoin一个task。发现有些re

2022-11-09 22:16:05 60浏览量 回答数 0

1

回答

我现在用开源spark读取hive是这样配置的 用EMR 内置的spark想读取hive数据该怎么弄

2022-09-07 14:39:48 135浏览量 回答数 1

1

回答

Spark 读取Maxcompute 中的表进行处理,怎么弄?

2022-08-18 17:42:31 192浏览量 回答数 1

1

回答

Spark 支持读取的数据源都有哪几类?

2022-04-15 12:38:42 439浏览量 回答数 1

13

回答

通过 Spark 读取或写入数据至 Hologres 对版本有什么要求吗?

2022-04-15 12:40:13 6350浏览量 回答数 13

1

回答

Spark使用JindoFS计算加速读取parquet数据的前提是什么?

2021-12-09 21:14:30 215浏览量 回答数 1

1

回答

Spark程序中使用SQL语句读取ORC文件的方法是什么?

2021-12-09 20:17:07 180浏览量 回答数 1

1

回答

如何实现Spark Streaming读取flume中的数据?

2021-12-06 01:01:16 165浏览量 回答数 1

1

回答

flink可以像spark一样正则读取hdfs目录下的文件吗?

2021-12-04 19:25:07 234浏览量 回答数 1

0

回答

spark 读取ssl的rds

2021-11-08 18:32:16 229浏览量 回答数 0
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
spark替代HIVE实现ETL作业
立即下载
Comparison of Spark SQL with Hive
立即下载
From Spark Streaming to Structured Streaming
立即下载