没找到怎么贴图片-------
tf.filter(!_.contains(str1)).filter(!_.contains(str2)).map(_.replaceAll(""", "")).map(_.split(",")).filter(_.length == 7)
.map(p => (p(0).substring(3), p(1), p(4), p(5), p(6))).map(line => {
val put = new Put(Bytes.toBytes(line._1.reverse + MD5Util.stringMD5(UUID.randomUUID().toString)))
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("DeviceID"), Bytes.toBytes(line._1))
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("DeviceName"), Bytes.toBytes(line._2))
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("CollectionTime"), Bytes.toBytes(line._3))
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("GranularityPeriod"), Bytes.toBytes(line._4))
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("cpuUsage"), Bytes.toBytes(line._5))
}).foreachPartition(line => { val conn = ConnectionFactory.createConnection(HBaseConfiguration.create)
val table = conn.getTable(TableName.valueOf("eSight_cpu")) import scala.collection.JavaConversions._
table.put(seqAsJavaList(line.toSeq))
})
以上是代码。
以下是错误信息:
java.io.IOException: Bad response ERROR for BP-983455033-190.15.119.7-1525777063721:blk_1077688664_3948006
from datanode DatanodeInfoWithStorage[190.15.119.10:25009,DS-cc5cf8be-f909-4651-9afa-113776e46d16,DISK]
at org.apache.hadoop.hdfs.DataStreamer$ResponseProcessor.run(DataStreamer.java:1148)
然后就是一直:
[Stage 1998:============================> (1 + 1) / 2]
[Stage 1998:============================> (1 + 1) / 2]
[Stage 1998:============================> (1 + 1) / 2]
卡在这里。
你这个报错应该和 Spark 、HBase 关系不大吧,看看集群的 HDFS 磁盘是否有问题。特别是 190.15.119.10 j节点
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。