开发者社区> 问答> 正文

在将table的查询结果写到HDFS上,StreamingFileSink使用疑惑

将table的查询结果写到hdfs上,使用StreamingFileSink,但是在使用的过程中有几点疑惑:
(1)将查询结果转化为DataStream的时候,该使用什么类型?用DataStream是否合适?
image

转化为DataStream的话上面得代码写的是否正确?
(2)将上面的DataStream写到hdfs上,使用StreamingFileSink,但是在使用StreamingFileSink的时候不明白这个类是怎么用的?能否给个例子参考下
image
(3)如果将结果写为parquet文件,能否给个例子参考下,万分感谢

展开
收起
lbjj 2018-12-05 15:41:08 3691 0
2 条回答
写回答
取消 提交回答
  • 个人博客: http://wuchong.me

    window 不输出的还有一个可能是watermark 有问题,即 watermark 一直没有前进。 你可以进 watermark 页面看看 watermark 是否正常。

    2019-07-17 23:18:25
    赞同 展开评论 打赏
  • 补充:
    将代码修改如下:
    image
    MyEncoder定义如下:
    image
    依旧没有写hdfs文件成功;
    image
    image

    2019-07-17 23:18:25
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
HBase Rowkey设计要点 立即下载
HBase源码解析 立即下载