开发者社区> 问答> 正文

Databricks Delta和Hive Transactional Table

我看到Databricks发布了一个名为Databricks Delta的Transactional功能。现在可以使用此功能阅读HIVE交易表吗?

展开
收起
社区小助手 2018-12-21 13:48:46 2363 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    不是Hive Transactional表。您创建了一种名为Databricks Delta Table(Parquets的Spark表)的新类型的表,并利用Hive Metastore来读取/写入这些表。

    它是一种外部表,但更像是架构数据。更多Spark和Parquet。

    您的问题的解决方案可能是在Databricks笔记本中读取配置单元文件并相应地设置架构,然后将其另存为数据库delta表。像这样:df.write.mode('overwrite').format('delta').save(/mnt/out/put/path) 你仍然需要写一个指向该位置的DDL。只有FYI DELTA表是Transactional。

    2019-07-17 23:23:25
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Comparison of Spark SQL with Hive 立即下载
Hive Bucketing in Apache Spark 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载