G-SCD on DeltaLake 方案是如何实现SCD Type2场景的？

G-SCD on DeltaLake 方案通过对 DeltaLake 的升级，结合 SparkSQL 和 Spark Streaming 的适配，实现了SCD Type2场景。它对接上游的Kafka数据，在Streaming端按照配置的业务快照粒度将Batch数据进行切分并commit，同时附带业务快照的值。DeltaLake保存当前snapshot和业务快照的关系，并在下一个业务快照到达时，对前一个snapshot做savepoint，永久保留该版本。用户查询时，通过指定的业务快照值识别到具体的snapshot，然后通过time-travel的方式实现查询。

G-SCD on DeltaLake 通过DeltaLake的版本控制和事务特性来实现SCD Type2（慢变维度）场景。它会跟踪维度表的历史版本，并为每个维度记录添加有效的开始和结束时间戳，以反映数据的变化。当有更新时，G-SCD不是直接覆盖旧记录，而是插入新记录，从而保留历史信息。用户可以配置规则来管理这些变更，确保数据的一致性和可追溯性。可参考文档