将table 查询结果写到csvtablesink，文件大小始终为0
已解决
在job ui上看任务是跑起来的，也有数组生成
对应的hdfs上的文件大小size一直为0
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
个人博客: http://wuchong.me采纳回答
CsvTableSink 用在无限流的场景下的话，不会马上写出去，会 buffer 起来，在结束的时候会 flush 出去。所以一般常用在测试场景。在真实线上的话，建议用 StreamingFileSink 或者 RollingFileSink。
使用的时候：
res.toAppendStream[Row].addSink(new StreamingFileSink(...))2019-07-17 23:18:12赞同 1 展开评论
相关问答