开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

Delta Lake表操作示例是怎么样的?

Delta Lake表操作示例是怎么样的?

展开
收起
游客lmkkns5ck6auu 2022-07-28 16:20:59 376 0
1 条回答
写回答
取消 提交回答
  • 使用PySpark创建Delta Lake表,并执行表读写操作。 、 (1)Delta Lake Starter一启动PySpark 启动PySpark并加载Delta相关依赖:

    (2)Delta Lake Startee一DML准备 创建表并执行若干Update/Delete/Merge操作。 通过PySpark Datafram API创建一张Delta表,表的名称是random_num,表中只包含一列数字;接下来往表中执行几条简单的修改操作语句

    (3)Delta Lake文件系统目录结构 Delta Lake表的物理存储目录下,既包括自身的表数据文件,也包括记录表Schema及表变化的Delta Logs。 Delta数据文件:Parquet文件; Delta事务日志_delta_log包含Meta Data 以及事务操作历史。

    以上内容摘自《Databricks数据洞悉》电子书,点击https://developer.aliyun.com/topic/download?id=8545可下载完整版

    2022-07-29 10:33:08
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
Blink_Data_Lake 立即下载
MODERNISE YOUR EDW – DATA LAKE 立即下载
低代码开发师(初级)实战教程 立即下载