flink落地到hdfs的文件，在hive中读不到数。查看对应路径下文件为.inprogress文件。
原因：.inprogress文件为未完成文件，hive读取不到点开头的文件
flink写hdfs，正在写的文件会是.inprogress的，写完成会滚动为正常文件
通过withRollingPolicy的DefaultRollingPolicy设置合理的最大文件大小和滚动时间。
注意：文件大小如果设置过大，则一直是不可见文件；设置过小，则会产生很多小文件
flink写hdfs inprogress文件问题
2021-08-17
2647
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
flink落地到hdfs的文件，在hive中读不到
目录
相关文章
|
3月前
|
SQL
存储
API
Flink实践：通过Flink SQL进行SFTP文件的读写操作
虽然 Apache Flink 与 SFTP 之间的直接交互存在一定的限制，但通过一些创造性的方法和技术，我们仍然可以有效地实现对 SFTP 文件的读写操作。这既展现了 Flink 在处理复杂数据场景中的强大能力，也体现了软件工程中常见的问题解决思路——即通过现有工具和一定的间接方法来克服技术障碍。通过这种方式，Flink SQL 成为了处理各种数据源，包括 SFTP 文件，在内的强大工具。
175
15
15
|
2月前
|
Java
|
2月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战！详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示（二）
Hadoop-09-HDFS集群 JavaClient 代码上手实战！详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示（二）
43
3
3
|
2月前
|
分布式计算
Java
Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战！详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示（一）
Hadoop-09-HDFS集群 JavaClient 代码上手实战！详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示（一）
41
2
2
|
2月前
|
分布式计算
Hadoop
网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
38
1
1
|
2月前
|
存储
机器学习/深度学习
缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
48
1
1
|
2月前
|
消息中间件
资源调度
大数据
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
43
0
0
|
4月前
|
存储
分布式计算
Hadoop
|
4月前
|
Prometheus
监控
Cloud Native
实时计算 Flink版产品使用问题之怎么关闭HDFS的Web界面
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
68
0
0
|
4月前
|
分布式计算
流计算
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
美团 Flink 大作业部署问题之Checkpoint Replicate Service 跨 HDFS 集群的副本制作是如何实现的
56
0
0
热门文章
最新文章
1
HDFS－Architecture剖析
2
Hadoop 2.x HDFS和YARN的启动方式
3
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
4
HDFS的linux下开发环境准备
5
Hadoop大象之旅009-通过Shell操作hdfs
6
给 admin 新建的 hdfs 文件的权限
7
Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包（二十）
8
HDFS的文件操作
9
使用oracle的大数据工具ODCH访问HDFS数据文件
10
HDFS块文件和存放目录的关系
1
10分钟了解Flink SQL使用
355
2
基于OceanBase+Flink CDC，云粒智慧实时数仓演进之路
22758
3
Blink实时计算：Explorer大基数表的写入性能优化
93
4
Flink DataStream API 批处理能力演进之路
614
5
人工智能平台PAI 操作报错合集之在集群上提交了包含alink相关功能的flink任务，但是却报错如何解决
98
6
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
620
7
[尚硅谷flink] 检查点笔记
189
8
[尚硅谷 flink] 状态管理 笔记
76
9
[尚硅谷flink学习笔记] 实战案例TopN 问题
185
10
[尚硅谷 flink] 基于时间的合流——双流联结
82