大佬们有谁用过iceberg 这个

Iceberg 是一个开源的表格式，设计用于大规模的数据分析，特别强调数据湖场景中的可伸缩性和可靠性。它支持事务、 schema 演进以及数据版本控制，能够很好地与大数据处理引擎如 Spark 集成，适用于需要高性能读写和复杂数据管理的场景。

在阿里云E-MapReduce（EMR）集群中使用Iceberg时，您需要注意以下关键点和操作步骤：

前提条件

• 确保您的EMR集群是Hadoop类型，并且版本为EMR-5.3.0或之后的版本。

登录集群

• 使用SSH登录到您的EMR集群。

配置Spark SQL以操作Iceberg

配置命令会根据您的EMR集群版本有所不同，例如对于EMR-5.6.0及后续版本，您可以使用如下命令启动Spark SQL：

spark-sql \
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.catalog.iceberg=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.iceberg.catalog-impl=org.apache.iceberg.aliyun.dlf.hive.DlfCatalog

具体配置请参照您EMR集群的实际版本进行调整。

基础操作示例

• 创建数据库:

  CREATE DATABASE IF NOT EXISTS <catalog_name>.iceberg_db;
  

• 创建表:

  CREATE TABLE IF NOT EXISTS <catalog_name>.iceberg_db.sample(
    id BIGINT COMMENT 'unique id', 
    data STRING
  ) 
  USING iceberg;
  

• 还可以执行诸如插入数据、查询数据、更新数据和删除数据等操作。

注意事项

• Iceberg Spark SQL Extensions不兼容Spark 2.4，因此在特定版本的EMR集群上需使用DataFrame API操作Iceberg。
• 在配置Iceberg时，确保正确设置了OSS仓库路径、访问密钥等参数，以保证数据能正确存储和访问。

综上所述，Iceberg是一个功能强大的数据湖存储格式，通过遵循上述步骤，您可以在阿里云EMR集群中有效利用其特性进行数据分析和管理。