开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

Transaction Log设计目标是什么?

Transaction Log设计目标是什么?

展开
收起
游客lmkkns5ck6auu 2022-07-28 16:20:31 337 0
1 条回答
写回答
取消 提交回答
  • Transaction Log的整体设计目标,是实现单一信息源(Single Source of Truth,通过跟踪记录用户所有的表操作,从而为用户提供在任意时刻准确的数据视图。

    同时,因为Delta Lake是基于Apache Spark构建的,依托Spark来管理维护事务日志,所以相比通过Metastore使用单一的数据库管理元数据,Delta Lake具备高可扩展的元数据处理能力,能够支持上百PB的Delta表读写访问。

    除此之外,Delta Lake的事务日志也是其它重要数据管理特性实现的基础,比如数据版本回溯(Time Travel)等。

    以上内容摘自《Databricks数据洞悉》电子书,点击https://developer.aliyun.com/topic/download?id=8545可下载完整版

    2022-07-29 10:33:08
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载