报错解决:Flume实现多节点Avro Source报错

简介: 报错解决:Flume实现多节点Avro Source报错

实操背景:其实很简单,就是想要使用 Avro Source ,在 master 上启动 FlumeAgent ,然后让 slave1 节点发送信息过来,让 master 采集到。

有小伙伴报了以下错误:


org.apache.flume.FlumeException: Failed to set up server socket
  at org.apache.flume.source.AvroSource.start(AvroSource.java:248)
  at org.apache.flume.source.EventDrivenSourceRunner.start(EventDrivenSourceRunner.java:44)
  at org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:249)
  at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
  at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
  at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
  at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)
Caused by: org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.128.132:4141
  at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
  at org.apache.avro.ipc.NettyServer.<init>(NettyServer.java:106)
  at org.apache.flume.source.AvroSource.start(AvroSource.java:243)
  ... 9 more
Caused by: java.net.BindException: Cannot assign requested address
  at sun.nio.ch.Net.bind0(Native Method)


微信图片_20220619202347.png


打开 slave1

启动 avro-client ,报错如下:

22/02/25 16:31:26 WARN api.NettyAvroRpcClient: Using default maxIOWorkers
22/02/25 16:31:26 ERROR avro.AvroCLIClient: Unable to open connection to Flume. Exception follows.
org.apache.flume.FlumeException: NettyAvroRpcClient { host: master, port: 4141 }: RPC connection error
  at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:181)
  at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:120)
  at org.apache.flume.api.NettyAvroRpcClient.configure(NettyAvroRpcClient.java:638)


解决办法:

1、检查 master 的配置,ip地址和端口是否配置错了,应该配的是监听自己 master 的ip地址和端口。

2、先启动Agent,再启动 avro-client 就可以了。

就这样,完美解决,Nice!!!

相关文章
|
数据采集 缓存 监控
Apache Flume-案例-监控采集文件夹变化 (exec source)|学习笔记
快速学习 Apache Flume-案例-监控采集文件夹变化 (exec source)
380 0
Apache Flume-案例-监控采集文件夹变化 (exec source)|学习笔记
|
6天前
|
监控 Apache
【Flume】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
【4月更文挑战第4天】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
|
6天前
flume之avro实践
flume之avro实践
|
9月前
|
存储 Java 分布式数据库
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
|
11月前
|
数据采集 存储 缓存
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Sink的Avro Sink
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Sink模块是实现数据输出和存储的核心模块之一。本文将介绍Flume中的Avro Sink,讲解其数据采集流程。
138 0
|
11月前
|
消息中间件 数据采集 存储
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Kafka Source
在Flume中,Kafka Source是一种常见的Source类型。它可以从Kafka的Topic中采集数据,并将其转换成Flume事件进行处理和存储。本文将介绍Kafka Source的配置和数据采集流程。
121 0
|
11月前
|
数据采集 存储 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Avro Source
在Flume中,Avro Source是一种常见的Source类型。它可以通过Avro协议进行数据采集和传输,并将数据转换成Flume事件进行处理和存储。本文将介绍Avro Source的配置和数据采集流程。
149 0
|
11月前
|
数据采集 存储 SQL
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的HTTP Source
在Flume中,Source是数据采集的第一步。HTTP Source是其中一个比较常见的Source类型,它可以监听并处理HTTP请求,并将其转换成Flume事件进行传输和处理。本文将介绍HTTP Source的数据采集流程及相关注意事项。
124 0
|
12月前
|
存储 数据采集 JSON
大数据数据采集的数据采集(收集/聚合)的Flume之基本组件的Source:数据的收集端
在Flume中,Source是数据采集和传输过程中的一个重要组件。它负责从生产者获取数据并将其发送到Channel缓冲区中,为后续的数据处理和存储提供支持。
151 0
|
中间件 Java 数据库连接
【Flume中间件】(13)自定义Source
【Flume中间件】(13)自定义Source
120 0