AI 助理
备案控制台
开发者社区 问答 正文

我发现写入hive只能根据checkpoint去提交分区？可以按照文件大小或者间隔时间来生成吗？

  1. Create hive表(...)with(...) 我发现写入hive只能根据checkpoint去提交分区？可以按照文件大小或者间隔时间来生成吗？

  2. Create table (connector=filesystem，format=json) with(…) 这种方式format只能等于json？ 我怎么按照分隔符写入hdfs？*来自志愿者整理的flink邮件归档

展开
收起
游客sadna6pkvqnz6 2021-12-07 16:41:28 595 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 毛毛虫雨

    1.  为了保证数据正确性 stream 写文件依赖了 checkpoint 机制，你可以将你的间隔时间和 checkpoint 时间保持一致 2. 按逗号分隔是说 CSV format ?*来自志愿者整理的flink

    2021-12-07 20:15:51
    赞同 展开评论
问答分类：
SQL JSON HIVE 流计算 数据格式 实时计算 Flink版
问答标签：
Hive分区 Hive checkpoint
问答地址：
开发者社区 > 大数据 > 问答
相关问答
大数据计算MaxCompute里面使用分区字段关联会和hive里面一样提升效率吗？
128
2
0
在Flink CDC中如下是这个参数控制保留hive 多久的分区吗？
95
0
0
在Flink CDC中这种配置，会自动删除超过30天前的hive分区吗？
82
0
0
在Dataphin中数据集成中，hive输出组件支持动态分区吗?
101
2
0
云数据仓库ADB_mysql的分区不能想hive那样使用吗？
74
0
0
DataWorks同步数据到hive 我想用业务字段做为分区键 这个可以设置吗？
152
4
0
删除，和变动的数据，hive分区要怎么处理呢？
241
2
0
OceanBase数据库目前支持像hive那样的动态分区吗？
140
1
0
DataWorks中hive是分区表，是需要一个分区一个分区同步吗？
141
4
0
哈喽大家有遇到Flink一个问题么？我hive catalog单元测试用hive方言在hive建分区
102
1
0