如何为Spark SQL设置元数据数据库?-问答-阿里云开发者社区-阿里云

开发者社区> 社区小助手> 正文

如何为Spark SQL设置元数据数据库?

2018-12-19 16:47:19 2088 1

Hive可以拥有其元数据并在那里存储表,列,分区信息。如果我不想使用hive.Can我们创建一个与hive相同的spark元数据。我想查询spark SQL(不使用数据帧),如Hive(select,from和where)我们可以这样做吗?如果是,我们可以将哪个关系数据库用于元数据存储?

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:23:02

    我们可以为hive创建与spark相同的元数据。

    Spark为您做到了这一点,您不必单独安装Hive,也不必使用其中的一部分(例如Hive Metastore)。

    无论您使用何种安装的Apache Spark,Spark SQL都会在内部使用Hive Metastore,其目的与Hive相同(但Metastore现在是Spark SQL的一部分)。

    如果是,我们可以使用哪个关系数据库进行元数据存储?

    Hive支持的任何东西,例如Oracle,MySQL,PostgreSQL。配置与使用单独的Hive安装(在这种企业安装中通常就是这种情况)非常相似。

    0 0
相关问答

17

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 965217浏览量 回答数 17

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157061浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333828浏览量 回答数 8

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 141642浏览量 回答数 38

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292254浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146764浏览量 回答数 22

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 256853浏览量 回答数 38

21

回答

请教一下数据量有100万条左右要什么配置?

易网网络 2013-03-27 15:18:02 192320浏览量 回答数 21

23

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126281浏览量 回答数 23

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 203994浏览量 回答数 2
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载