flink消费kafka的数据写入到hdfs中,我采用了BucketingSink 这个sink将o-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

flink消费kafka的数据写入到hdfs中,我采用了BucketingSink 这个sink将o

2020-04-23 19:32:31 2648 1

flink消费kafka的数据写入到hdfs中,我采用了BucketingSink 这个sink将operator出来的数据写入到hdfs文件上,并通过在hive中建外部表来查询这个。但现在有个问题,处于in-progress的文件,hive是无法识别出来该文件中的数据,可我想能在hive中实时查询进来的数据,且不想产生很多的小文件,这个该如何处理呢

取消 提交回答
全部回答(1)
  • 黄二刀
    2020-04-23 19:32:47

    flink可以自定义文件名字, 这样hive就能读出来了

    0 0
相关问答

1

回答

flink sink 如何做到数据准确性?

2018-10-18 13:59:26 2888浏览量 回答数 1

1

回答

flink cdc上游是不是不支持Hbase?

2022-07-09 20:42:01 272浏览量 回答数 1

1

回答

Flink CDC 入湖架构图是什么?

2022-01-19 16:16:32 420浏览量 回答数 1

1

回答

Flink CDC 入湖架构具有哪些优势?

2022-01-19 16:17:13 447浏览量 回答数 1

1

回答

Flink CDC 的上游支持了哪些数据源?

2022-01-19 16:08:57 678浏览量 回答数 1

1

回答

Flink CDC Connectors是什么技术?

2022-01-19 15:39:18 575浏览量 回答数 1

1

回答

Flink CDC connectors方案有哪些优点?

2022-01-19 15:51:23 589浏览量 回答数 1

1

回答

Flink CDC 在生产环境项目背景是怎么样的?

2022-01-19 16:34:13 1338浏览量 回答数 1

1

回答

Flink SQL中的CDC格式是什么?

2021-12-08 21:55:34 210浏览量 回答数 1

1

回答

Flink CDC connectors 替换 Debezium+Kafka 的数据采集模块, 实现

2021-11-24 19:18:30 1168浏览量 回答数 1
+关注
黄一刀
Java菜鸟一只,基层法律工作者。
0
文章
1270
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载