AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

flink sql 写hive ，很多小文件，有啥解决方法吗？

flink sql 写hive ，很多小文件，有啥解决方法吗？ 图片.png

展开
收起
wenti 2023-03-13 12:56:35 426 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 离原

    调整一下这个参数sink.partition-commit.delay,表示的是提交作业时间,默认是0ms,或者你就调整代码为批处理,稍微聚合一下写入到hive

    2023-03-13 13:12:43
    赞同 展开评论
问答分类：
SQL HIVE 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版文件 实时计算 Flink版hive flink SQL 实时计算 Flink版SQL SQL文件
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
在Flink CDC中这种方式必须是hive的用户创建的表，创建的hdfs文件才能挂载没有其他方法?
97
0
0
E-MapReduce使用hue上传本地excel文件到hive表中报错'metastore'...
104
1
0
flink cdc写hdfs文件的时候，如果开启文件合并的话，最终的文件不能通过hive映射读取吗？
125
0
0
DataWorks因为hive表分区文件已存在，会报错，如何解决？
334
2
0
大数据计算MaxCompute 执行 Hive Sql 时，用的什么引擎啊，是Spark 吗？
100
1
0
Flink CDC中有用flink sql连接hive的吗？
96
0
0
druid解析hive数据库sql不支持set
195
1
0
我如何将一个oss 挂载到emr集群。 以便通过hive sql 查询oss 里的日志数据？
105
0
0
DataWorks执行hive sql 报错 AuthDetail is invalid是什么问题？
78
1
0
Flink CDC中 sql server 部分最近发现一个问题，还有别的解决方法么？
99
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • MySQL分区表：大规模数据管理的解决方案
  • MySQL权限管理：用户与权限控制详解
  • mysql是什么来的
  • MySQL备份策略：全面保障数据安全
  • ​​告别AI“纸上谈兵”？解锁LangGraph+OceanBase数据融合构建Agent蓝图

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • 在斗鱼，实时计算发展的历程如何？
  • flink sql 可不可以实现 过滤某种操作事件
  • 2018spark技术问答集锦，希望能给喜欢spark的同学一些帮助
  • flink怎么能够快速消费kafka数据，需要设置什么参数呢？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink-CDC 文档网站地址是什么？
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
    • 展开全部
  • 实时计算 Flink SQL 核心功能解密
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 接着！！Apache Flink 全领域干货合集（持续更新）
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
  • Apache Flink 漫谈系列(04) - State
  • 基于Flink的实时日志分析系统实践
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • Flink: 实时规则引擎助力新零售发展
    • 展开全部
    还有其他疑问?
    咨询AI助理