数据和模型版本控制是 DVC 的基础层用于管理大型文件、数据集和机器学习模型。使用常规的 Git 工作流程,但不要在 Git 库中存储大文件。 大数据文件单独存储,来实现高效共享。想象一下,让 Git 以与处理小代码文件相同的性能来处理任意大的文件和目录,该有多酷?例如,使用git clone
并在工作区查看数据文件和机器学习模型。或者使用 git checkout
在不到一秒的时间内切换到 100Gb
文件的不同版本。
DVC 的基础由一些命令组成,通过与 Git 一起运行以跟踪大文件、目录或 ML 模型文件。 简而言之,DVC 就是“用于管理数据的Git”。
在我的上一篇文章快速入门DVC(二):安装及初始化中创建了一个Git项目,并进行了初始化。现在,我们使用dvc add
来跟踪文件或目录。
下载文件(dvc get
)
跟踪文件之前,我们使用dvc get
预先下载数据文件。
# 进入到之前初始化好的项目目录下 $ cd example-get-started $ dvc get https://github.com/iterative/dataset-registry \ get-started/data.xml -o data/data.xml 复制代码
跟踪文件(dvc add
)
接下来,跟踪文件。
dvc add data/data.xml 复制代码
通过以上命令,DVC 将关于添加的文件(或目录)的信息存储在名为 data/data.xml.dvc
的特殊 .dvc
文件中(这是一个人类可读格式的小文本文件)。这个元数据文件是原始数据文件的占位符,这样就可以像使用 Git 的源代码一样轻松地进行版本控制。同时,原始数据文件会被放在 .gitignore
文件中。
$ cat data/.gitignore /data.xml 复制代码
将元数据文件添加到Git中进行跟踪。
$ git add data/data.xml.dvc data/.gitignore $ git commit -m "Add raw data" 复制代码
dvc add
会将数据移动到项目的缓存中,并将其链接回工作区。
$ tree .dvc/cache ../.dvc/cache └── a3 └── 04afb96060aad90176268345e10355 复制代码
我们刚刚添加的data.xml
文件的hash值(a304afb...
)决定了上面的缓存路径。
如果你检查 data/data.xml.dvc
,你也会在这里发现它:
$ cat data/data.xml.dvc outs: - md5: a304afb96060aad90176268345e10355 path: data.xml 复制代码
存储数据文件到远程存储库(dvc push
)
您可以使用 dvc push
上传 DVC 跟踪的数据或模型文件,以便安全地远程存储它们。 这也意味着后面您可以使用 dvc pull
在其他环境中恢复它们。
首先,我们需要设置一个远程存储库的地址,DVC 支持许多远程存储类型,包括 Amazon S3
、SSH
、Google Drive
、Azure Blob Storage
和 HDFS
,从上图我们也可以看到,代码与模型和数据文件是分开存储的。
# 配置远程Git仓库 $ git remote add origin https://gitee.com/xxxx/dvc-samples.git # 配置远程数据存储库(注:简单起见,这里我用的是本地的其他文件夹作为远程存储库,不推荐) $ mkdir -p /home/lgd/dvc/local_remote_data_register $ dvc remote add -d local_remote /home/lgd/dvc/local_remote_data_register # 查看配置 $ cat .dvc/config [core] remote = local_remote ['remote "local_remote"'] url = /home/lgd/dvc/local_remote_data_register # 添加dvc配置文件到本地Git仓库 $ git add .dvc/config $ git commit -m "Configure local remote storage" # 或者使用以下命令代替上面两条命令 # git commit .dvc/config -m "Configure local remote" 复制代码
DVC 远程可让您将 DVC 跟踪的数据副本存储在本地缓存之外(通常是云存储服务)。
注意: 我这里Demo使用的是“本地远程”,虽然“本地远程”看起来似乎自相矛盾,但其实并非必须如此。 “本地”指的是文件位置为本地文件系统中的另一个文件夹。 “远程”就是我们所说的 DVC 项目的远程存储。 它本质上是一个本地数据备份。
然后,我们使用dvc push
将本地缓存的数据复制到我们之前设置的远程存储中。
$ dvc push 复制代码
您可以使用以下命令检查数据是否已存储在 DVC 远程存储库中:
$ ls -R /home/lgd/dvc/local_remote_data_register /home/lgd/dvc/local_remote_data_register/: a3 /home/lgd/dvc/local_remote_data_register/a3: 04afb96060aad90176268345e10355 复制代码
通常,我们也需要 git commit
和 git push
对应的 .dvc
文件,将.dvc
元数据文件提交本地仓库并推送到Git远程仓库,示例如下:
$ git push origin main 复制代码
下载与恢复数据(dvc pull
)
将 DVC 跟踪的数据和模型文件存储在远程仓库之后,我们可以在需要时使用 dvc pull
将其下载到该项目的其他副本中。 通常,我们在 git clone
和 git pull
之后运行它。
在其他环境下载项目的数据,示例如下:
$ git clone https://gitee.com/xxxx/dvc-samples.git $ cd dvc-samples $ git pull origin main $ dvc pull 复制代码
在本项目中恢复数据,示例如下:
$ cd example-get-started # 假设我们删除了本地缓存的数据 $ rm -rf .dvc/cache $ rm -f data/data.xml # 恢复数据 $ dvc pull origin main 复制代码
修改数据文件
当您对文件或文件夹进行更改时,再次运行 dvc add
以跟踪最新版本。
# 通过将数据集加倍来模拟修改数据 $ cp data/data.xml /tmp/data.xml $ cat /tmp/data.xml >> data/data.xm # 跟踪最新版本 dvc add data/data.xml 复制代码
通常情况下,我们还需要运行 git commit
和 dvc push
来保存更改。
$ git commit data/data.xml.dvc -m "Dataset updates" $ dvc push 复制代码
在版本之间进行切换(dvc checkout
)
通常的工作流程是先使用git checkout
(切换分支或切换.dvc
文件版本),然后运行dvc checkout
以同步数据。
# 首先,获取数据集的先前一个版本,让我们回到数据的原始版本 $ git checkout HEAD~1 # 同步数据 $ dvc checkout 复制代码
之后,让我们提交.dvc
文件到本地Git仓库(这次不需要做 dvc push
,因为这个原始版本的数据集已经保存在本地缓存和远程存储库了)。
$ git commit data/data.xml.dvc -m "Revert dataset updates" $ git push origin main 复制代码
总结
其实,从技术上来讲,DVC 甚至不是版本控制系统! .dvc
元数据文件内容定义了数据文件的版本,本质上是通过 Git 来提供版本控制。 DVC 反过来创建这些 .dvc
文件,然后更新它们,并有效地同步工作空间中 DVC 跟踪的数据以匹配它们。