开发者社区> 问答> 正文

flinksql写入hive有问题是怎么回事?

咨询一个flink问题。flinsql,能写入数据到hive表。但是hive表中的数据,都是基于 ".part,,,,inprogress,,,,"类似的文件。flink1.12.0 基于cdh6.2.0编译的,hive版本是2.1.1、hadoop-3.0.0. 问题截图如下: 创建hive表:::: SET table.sql-dialect=hive; CREATE TABLE hive_table ( user_id STRING, order_amount DOUBLE ) PARTITIONED BY (dt STRING, hr STRING) STORED AS parquet TBLPROPERTIES ( 'partition.time-extractor.timestamp-pattern'='$dt $hr:00:00', 'sink.partition-commit.trigger'='partition-time', 'sink.partition-commit.delay'='1 min', 'sink.partition-commit.policy.kind'='metastore,success-file' ); 插入数据:::: INSERT INTO TABLE hive_table SELECT user_id, order_amount, DATE_FORMAT(log_ts, 'yyyy-MM-dd'), DATE_FORMAT(log_ts, 'HH') FROM kafka_table;

文件始终不落地,一直都是 ".part-。。。。inprogress。。。"。文件。*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-02 11:32:07 742 0
1 条回答
写回答
取消 提交回答
  • 分区的提交需要开启checkpoint,要配置下

    *来自志愿者整理的FLINK邮件归档

    2021-12-02 11:47:39
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Comparison of Spark SQL with Hive 立即下载
Hive Bucketing in Apache Spark 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

相关实验场景

更多