无法使用Flink-nifi连接器从Nifi输出端口读取数据-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

无法使用Flink-nifi连接器从Nifi输出端口读取数据

2018-11-28 16:25:43 2906 1

"我在具有暴露端口的虚拟机上的docker中有一个Nifi实例:8080和10000.在瘦实例上,我创建了一个带有输出端口名为“flink”的简单管道,我想使用flink-nifi连接器读取这些数据:

SiteToSiteClientConfig clientConfig = new SiteToSiteClient.Builder()

            .url(""http://vm-address:8080/nifi"")
            .portName(""flink"")
            .requestBatchCount(100)
            .buildConfig();
    DataStream<NiFiDataPacket> nifi = environment.addSource(new NiFiSource(clientConfig));

    nifi.map(new MapFunction<NiFiDataPacket, JsonNode>() {
        @Override
        public JsonNode map(NiFiDataPacket value) throws Exception {
            return DataConverter.byte2Json(value.getContent());
        }
    }).print();

在这种情况下我得到错误: Exception in thread ""main"" org.apache.flink.runtime.client.JobExecutionException: java.net.UnknownHostException 如果我在配置中添加localAddress:

SiteToSiteClientConfig clientConfig = new SiteToSiteClient.Builder()

            .url(""http://vm-address:8080/nifi"")
            .localAddress(InetAddress.getByName(""vm-address""))
            .portName(""flink"")
            .requestBatchCount(100)
            .buildConfig();

我收到了这个错误: Exception in thread ""main"" org.apache.flink.runtime.client.JobExecutionException: java.net.BindException: Cannot assign requested address: JVM_Bind

我从Windows上的本地PC运行此代码,flink以独立模式启动。此外,我试图直接在虚拟机上运行它,但我得到了同样的错误。

在日志中有很多重试:

execchain.RetryExec:处理/ vm-address请求时捕获的I / O异常(java.net.BindException) - > {} - > http:// vm-address:8080:无法分配请求的地址:JVM_Bind
"

取消 提交回答
全部回答(1)
  • flink小助手
    2019-07-17 23:16:51

    问题出在你的docker配置中。这样运行nifi: docker run --name nifi -p 8008:8080 -p 10000:10000 -d apache/nifi:1.7.1 默认情况下,网络是bridge。在这种情况下,你的容器有一些随机主机名,不直接与容器通信,而是通过docker。当选择network = host时: docker run --name nifi --network host -d apache/nifi:1.7.1一切顺利。也许,可以用另一种方式解决它(也许,显式解析容器主机名),但这是最简单的方法

    0 0
相关问答

1

回答

flink cdc上游是不是不支持Hbase?

2022-07-09 20:42:01 283浏览量 回答数 1

1

回答

Flink CDC 入湖架构具有哪些优势?

2022-01-19 16:17:13 455浏览量 回答数 1

1

回答

Flink CDC 入湖架构图是什么?

2022-01-19 16:16:32 430浏览量 回答数 1

1

回答

Flink CDC 的上游支持了哪些数据源?

2022-01-19 16:08:57 689浏览量 回答数 1

1

回答

Flink CDC connectors方案有哪些优点?

2022-01-19 15:51:23 600浏览量 回答数 1

1

回答

Flink CDC Connectors是什么技术?

2022-01-19 15:39:18 583浏览量 回答数 1

1

回答

Flink CDC 在生产环境项目背景是怎么样的?

2022-01-19 16:34:13 1346浏览量 回答数 1

1

回答

Flink CDC项目运行环境与现状是什么样的?

2022-01-19 16:35:29 1355浏览量 回答数 1

1

回答

Flink SQL中的CDC格式是什么?

2021-12-08 21:55:34 215浏览量 回答数 1

1

回答

Flink CDC connectors 替换 Debezium+Kafka 的数据采集模块, 实现

2021-11-24 19:18:30 1181浏览量 回答数 1
+关注
flink小助手
flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。
0
文章
377
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载