AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

flinkcdc直接写入HDFS设置好的分区文件夹，hive要如何读取呢？

flinkcdc直接写入HDFS设置好的分区文件夹，hive要如何读取呢？

展开
收起
wenti 2023-01-08 20:22:27 243 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 665661

    flink cdc消费数据后，写入hive表吧，而不是写hdfs 还有cdc只是source端，和写入到哪没关系哦——该回答整理自钉群“Flink CDC 社区“

    2023-01-08 21:01:50
    赞同 展开评论
问答分类：
SQL HIVE 实时计算 Flink版
问答标签：
文件存储HDFS版文件夹 文件存储HDFS版hive hdfs Hive Hive分区 文件存储HDFS版设置
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
在Flink CDC中这种方式必须是hive的用户创建的表，创建的hdfs文件才能挂载没有其他方法?
64
0
0
在你们的湖仓一体架构中，Iceberg是如何与Hive和HDFS集成的？
134
1
0
为什么需要将伸缩容后的资源设置持久化到zk和HDFS？
23
1
0
业务方如何将冷数据存储在HDFS或Hive中，并通过ADB访问？
65
1
0
通过flink sql把数据写入hdfs，如何设置对生产的文件进行压缩？
282
1
0
大数据计算MaxCompute是可以用hdfs和hive和mapreduce的吗？
48
0
0
flinkcdc本地启动一个flink集群，但是我flink集群的启动用户已经设置为hdfs了呢？
61
1
0
各位，Flink 的离线计算的数据是怎么存放的？是存在 HDFS（或Hive）上的吗？
1698
6
0
flink1.16不支持hive2.1了吗？
812
1
0
flink CDC可以直接将mysql中的数据直接写入到hive中吗？
745
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199210
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • 常见的网络攻击形式
  • 网络安全防御矩阵：从云防火墙流量清洗到WAF语义分析的立体化防护
  • SelectDB 实时分析性能突出，宝舵成本锐减与性能显著提升的双赢之旅
  • 常见的框架漏洞
  • Invicti v25.3.0 发布，新增功能概览

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink cdc 有没得官方介绍文档？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 在Flink为什么遇到这个报错后，作业虽然RUNNING，但是却HANG死了？会有什么隐形的坑吗？
  • Flink-CDC 文档网站地址是什么？
  • web-ui 加载会非常慢是什么原因呢？
  • FlinkKafkaConsumer 1.11的clientId什么的看不到这个怎么解决吗？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 基于Flink的实时日志分析系统实践
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • 阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点
  • 深入了解 Flink 网络栈（二）：监控、指标和处理背压
  • 【对话科技】Flink技术介绍和新功能展望
    • 展开全部
    还有其他疑问?
    咨询AI助理