开发者社区 问答 正文

问一个问题哈 flink可以读到hive中的库名和表名以及每张表的表结构 但是却不能读取hive表中

问一个问题哈 flink可以读到hive中的库名和表名以及每张表的表结构 但是却不能读取hive表中数据 ?有什么地方会导致这种现象呢?各位大佬

展开
收起
真的很搞笑 2023-04-19 22:01:07 230 分享 版权
1 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    Flink可以通过HiveCatalog或Hive Metastore来读取Hive中的元数据(包括库名、表名和表结构),但是不能直接读取Hive表中的数据。这是因为Flink和Hive在数据存储和查询上使用了不同的引擎和技术栈。

    如果您想在Flink中读取Hive表的数据,您可以使用Flink的Hive Streaming Connector,它可以从Hive表中读取数据,并将数据流式传输到Flink中进行处理。使用该Connector需要先将Hive表转换为Kafka Topic,然后使用Flink的Kafka Connector将数据流式传输到Flink中进行处理。

    另外,如果您使用的是Hive 3.x版本,则需要将Flink的Hive Catalog升级为3.0版本以上,并且配置正确的JDBC连接参数和Hive Metastore URI,才能正确访问Hive中的元数据。

    2023-04-21 10:39:46
    赞同 展开评论