1. 引入
最近社区活跃贡献者：Raymond Xu & OpenOpened，给Hudi贡献了一个非常实用的工具：HoodieSnapshotExporter，该实用程序旨在促进导出（如备份复制和转换格式）Hudi数据集的任务。
2. 备份成Hudi格式数据集
与现有的 HoodieSnapshotCopier相似，导出器将扫描源数据集，然后将其复制到目标输出路径。
spark-submit \ --jars "packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-0.6.0-SNAPSHOT.jar" \ --deploy-mode "client" \ --class "org.apache.hudi.utilities.HoodieSnapshotExporter" \ packaging/hudi-utilities-bundle/target/hudi-utilities-bundle_2.11-0.6.0-SNAPSHOT.jar \ --source-base-path "/tmp/" \ --target-output-path "/tmp/exported/hudi/" \ --output-format "hudi" #Export as Hudi
3. 备份成Json/Parquet格式数据集
导出器还可以将源数据集转换为其他格式，当前仅支持json和parquet。
spark-submit \ --jars "packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-0.6.0-SNAPSHOT.jar" \ --deploy-mode "client" \ --class "org.apache.hudi.utilities.HoodieSnapshotExporter" \ packaging/hudi-utilities-bundle/target/hudi-utilities-bundle_2.11-0.6.0-SNAPSHOT.jar \ --source-base-path "/tmp/" \ --target-output-path "/tmp/exported/json/" \ --output-format "json" # or "parquet"
2.1 Re-partitioning
当导出为其他格式（json/parquet）时，导出器将使用该参数进行一些自定义重新分区。默认情况下，如果以下两个参数均未给出，则输出数据集将没有分区。
2.1.1 --output-partition-field
此参数使用现有的非元数据字段作为输出分区。在导出时，所有 _hoodie_*元数据字段都将被删除。
spark-submit \ --jars "packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-0.6.0-SNAPSHOT.jar" \ --deploy-mode "client" \ --class "org.apache.hudi.utilities.HoodieSnapshotExporter" \ packaging/hudi-utilities-bundle/target/hudi-utilities-bundle_2.11-0.6.0-SNAPSHOT.jar \ --source-base-path "/tmp/" \ --target-output-path "/tmp/exported/json/" \ --output-format "json" \ --output-partition-field "symbol" # assume the source dataset contains a field `symbol`
输出目录如下所示：
_SUCCESS symbol=AMRS symbol=AYX symbol=CDMO symbol=CRC symbol=DRNA ...
2.1.2 --output-partitioner
此参数表示实现 HoodieSnapshotExporter.Partitioner类的全路径名。此参数的优先级高于 --output-partition-field，如果提供该参数， --output-partition-field配置将被忽略。
一个示例实现如下所示：
package com.foo.bar; public class MyPartitioner implements HoodieSnapshotExporter.Partitioner { private static final String PARTITION_NAME = "date"; @Override public DataFrameWriter<Row> partition(Dataset<Row> source) { // use the current hoodie partition path as the output partition return source .withColumnRenamed(HoodieRecord.PARTITION_PATH_METADATA_FIELD, PARTITION_NAME) .repartition(new Column(PARTITION_NAME)) .write() .partitionBy(PARTITION_NAME); } }
将此类放在 my-custom.jar中之后，然后将其放在作业类路径中，submit命令将如下所示:
spark-submit \ --jars "packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-0.6.0-SNAPSHOT.jar,my-custom.jar" \ --deploy-mode "client" \ --class "org.apache.hudi.utilities.HoodieSnapshotExporter" \ packaging/hudi-utilities-bundle/target/hudi-utilities-bundle_2.11-0.6.0-SNAPSHOT.jar \ --source-base-path "/tmp/" \ --target-output-path "/tmp/exported/json/" \ --output-format "json" \ --output-partitioner "com.foo.bar.MyPartitioner"
请注意，其不会删除 _hoodie_*元数据字段；它留给用户处理元数据字段。
3. 总结
相信有这个工具后，大家可以非常方便地备份Hudi数据集或者对初始数据集的格式进行特定的转换、转储。这个特性将会包含在Hudi的下一个版本0.6.0中。如果有小伙伴迫不及待想使用这个特性，也可以checkout master分支上的代码到本地，自己编译打包。
