开发者社区> 问答> 正文

如何为Spark SQL设置元数据数据库?

Hive可以拥有其元数据并在那里存储表,列,分区信息。如果我不想使用hive.Can我们创建一个与hive相同的spark元数据。我想查询spark SQL(不使用数据帧),如Hive(select,from和where)我们可以这样做吗?如果是,我们可以将哪个关系数据库用于元数据存储?

展开
收起
社区小助手 2018-12-19 16:47:19 3239 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    我们可以为hive创建与spark相同的元数据。

    Spark为您做到了这一点,您不必单独安装Hive,也不必使用其中的一部分(例如Hive Metastore)。

    无论您使用何种安装的Apache Spark,Spark SQL都会在内部使用Hive Metastore,其目的与Hive相同(但Metastore现在是Spark SQL的一部分)。

    如果是,我们可以使用哪个关系数据库进行元数据存储?

    Hive支持的任何东西,例如Oracle,MySQL,PostgreSQL。配置与使用单独的Hive安装(在这种企业安装中通常就是这种情况)非常相似。

    2019-07-17 23:23:02
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载