开发者社区> 问答> 正文
1
0
分享

Flink1.12 批处理模式,分词统计时单词个数为1的单词不会被打印怎么处理?

代码: val env = StreamExecutionEnvironment.getExecutionEnvironment

env.setRuntimeMode(RuntimeExecutionMode.BATCH) // 在DataStream API上以批处理方式执行

// 本地测试文件 val inputStream = env.readTextFile(getClass.getResource("/hello.txt").getPath)

// 分词统计,问题:批处理模式的时候,sum 为 1 的单词不会被打印 val resultStream = inputStream .flatMap(.split(",")) .filter(.nonEmpty) .map((, 1)) .keyBy(._1) .sum(1) resultStream.print() env.execute("word count")

测试文件的数据内容: hello,flink hello,flink hello,hive hello,hive hello,hbase hello,hbase hello,scala hello,kafka hello,kafka

测试结果:hello/flink/hive/hbase/kafka的和大于1,会打印出来;但是 scala的个数为1,不会被打印出来*来自志愿者整理的flink邮件归档

展开
收起
JACKJACK 2021-12-08 10:57:23 938 0
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
实时计算 Flink 版
5000CU*H 3个月
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • 对的是我!

    你用的应该是 1.12.0 版本吧。这是一个已知问题 ,升级到 1.12.1 有修复。*来自志愿者整理的flink邮件归档

    2021-12-08 11:17:17 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等