Docker容器数据卷与数据共享持久化

本文涉及的产品
数据可视化DataV,5个大屏 1个月
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
简介: Docker容器数据卷与数据共享持久化

【1】Docker容器数据卷

Docker的理念:


  • 将运用与运行的环境打包形成容器运行 ,运行可以伴随着容器,但是我们对数据的要求希望是持久化的
  • 容器之间希望有可能共享数据

Docker容器产生的数据,如果不通过docker commit生成新的镜像,使得数据做为镜像的一部分保存下来,那么当容器删除后,数据自然也就没有了。


为了能保存数据在docker中我们使用数据卷,主要为了容器的持久化与容器间继承+共享数据(主机和容器数据共享)。


卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性。


卷的设计目的就是数据的持久化,完全独立于容器的生存周期,因此Docker不会在容器删除时删除其挂载的数据卷。


数据卷特点:

1:数据卷可在容器之间共享或重用数据
2:卷中的更改可以直接生效
3:数据卷中的更改不会包含在镜像的更新中
4:数据卷的生命周期一直持续到没有容器使用它为止

【2】命令添加数据卷

在容器内添加数据卷主要有两种方式:直接V命令添加和DockerFile添加


① 命令添加数据卷实例

命令如下:

 docker run -it -v /宿主机绝对路径目录:/容器内目录      镜像名
 #如docker run -it -v /宿主机目录:/容器内目录 centos /bin/bash
 docker run -it -v /myDataVolume:/dataVolumeContainer centos /bin/bash


② 查看数据卷是否挂载成功

docker inspect 容器ID

如下图红箭头标识,容器内部已经标记了数据卷对应宿主目录:

③ 容器和宿主机之间数据共享

如下所示在容器内/dataVolumeContainer目录创建文件。

容器内操作如下:

[root@a35e55bafcab dataVolumeContainer]# echo "i'm a container " > test.txt
[root@a35e55bafcab dataVolumeContainer]# ls
test.txt
[root@a35e55bafcab dataVolumeContainer]# cat test.txt
i'm a container

宿主机操作如下(宿主机追加内容到test.txt):

[root@localhost ~]# cd /myDataVolume/
[root@localhost myDataVolume]# ll
total 4
-rw-r--r--. 1 root root 17 Feb 12 11:46 test.txt
[root@localhost myDataVolume]# cat test.txt
i'm a container
[root@localhost myDataVolume]# echo "host update" >> test.txt
[root@localhost myDataVolume]# cat test.txt
i'm a container
host update


无论是容器还是宿主机,都可以看到文件修改后的内容,说明二者之间数据是共享的。


④ 容器停止退出后,主机修改后数据同步

验证步骤:


  • 容器先停止退出
  • 主机修改test.txt
  • 容器重启进入
  • 查看主机修改的test.txt


主机操作:

[root@localhost myDataVolume]# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
[root@localhost myDataVolume]# echo "host update again" >> test.txt
[root@localhost myDataVolume]# cat test.txt
i'm a container
host update
host update again


容器操作:

[root@localhost /]# docker start a35e55bafcab
a35e55bafcab
[root@localhost /]# docker exec -it a35e55bafcab  /bin/bash
[root@a35e55bafcab /]# cd /dataVolumeContainer/
[root@a35e55bafcab dataVolumeContainer]# cat test.txt
i'm a container
host update
host update again //这里标明容器看到了主机修改的内容

⑤ 设置目录权限

##ro表示read only 即容器内的数据只允许读
docker run -it -v /宿主机绝对路径目录:/容器内目录:ro 镜像名

⑥ 宿主与容器数据卷文件同步实验


宿主机创建文件,查看容器内会发现有文件,容器内删除文件会导致宿主机文件也被删除。

容器创建文件,查看宿主机同步目录发现有文件,宿主机删除文件会导致容器内同步目录文件也被删除。


【3】DockerFile添加数据卷

这里以一个实例来说明。


① 根目录下新建mydocker文件夹并进入

mkdir /mydocker
cd /mydocker

② 在Dockerfile中使用VOLUME指令来给镜像添加一个或多个数据卷

格式如下:

VOLUME["/dataVolumeContainer","/dataVolumeContainer2","/dataVolumeContainer3"]

出于可移植和分享的考虑,用-v主机目录:容器目录这种方法不能够直接在Dockerfile中实现。由于宿主机目录是依赖于特定宿主机的,并不能够保证在所有的宿主机上都存在这样的特定目录。

构建File:

[root@localhost /]# cd /mydocker/
[root@localhost mydocker]# ll
total 0
[root@localhost mydocker]# vim DockerFile

文件内容如下:

# volume test
FROM centos
VOLUME ["/dataVolumeContainer1","/dataVolumeContainer2"]
CMD echo "finished,--------success1"
CMD /bin/bash

③ build后生成镜像

命令如下:

docker build -f DockFile路径 -t 镜像名 .[这里有个.不可少,标明在当前目录下面]

实例如下(注意当前在/mydocker路径下,命令最后面有个.):

docker build  -f /mydocker/DockerFile -t jane/centos  .

使用docker images检测如下:


④ 创建新的容器并运行

docker run -it b3a32e0a2930 /bin/bash

⑤ 查看容器目录对应的主机目录

首先检测运行的容器:

docker ps

使用命令查看容器内部情况:

docker inspect 9ae9239b6cf7
 "Volumes": {
        "/dataVolumeContainer1": "/var/lib/docker/volumes/8ebcee3e258a367b2869c326bc7c032b544e061830490ce866ef6a72299a6999/_data",
        "/dataVolumeContainer2": "/var/lib/docker/volumes/396815bd66ac143ed2bff3f2ad8ac6439116d5fbbae53327c52b883eb6ec6d6a/_data"
    },
    "VolumesRW": {
        "/dataVolumeContainer1": true,
        "/dataVolumeContainer2": true
    }

使用命令在容器内创建文件,然后在宿主机对应目录查看:

Docker挂载主机目录Docker访问出现cannot open directory .: Permission denied。解决办法:在挂载目录后多加一个--privileged=true参数即可


【4】数据卷容器

命名的容器挂载数据卷,其它容器通过挂载这个(父容器)实现数据共享,挂载数据卷的容器,称之为数据卷容器。


① 查看此时镜像与容器概况

② 先启动一个父容器dc01

docker run -it --name dc01 jane/centos

检测如下:

在容器dc01 内部/dataVolumeContainer2/路径下创建文件dc01.txt:

[root@41ad254d8e05 /]# cd dataVolumeContainer2/
[root@41ad254d8e05 dataVolumeContainer2]# touch dc01.txt
[root@41ad254d8e05 dataVolumeContainer2]# ls
dc01.txt


③ 创建容器dc02、dc03并继承自dc01

#继承自某个容器--volumes-from 容器名/容器ID
docker run -it --name dc02 --volumes-from dc01 jane/centos

然后同样在容器dc02的/dataVolumeContainer2/路径下创建文件:

[root@a5f21105d3e7 /]# cd dataVolumeContainer2/
[root@a5f21105d3e7 dataVolumeContainer2]# ls
dc01.txt
[root@a5f21105d3e7 dataVolumeContainer2]# touch dc02.txt
[root@a5f21105d3e7 dataVolumeContainer2]# ls
dc01.txt  dc02.txt

dc03操作同上:

[root@[root@localhost myDataVolume]# docker run -it --name dc03 --volumes-from dc01 jane/centos
[root@132abc66899c /]# cd dataVolumeContainer2/
[root@132abc66899c dataVolumeContainer2]# ls
dc01.txt  dc02.txt
[root@132abc66899c dataVolumeContainer2]# touch dc03.txt
[root@132abc66899c dataVolumeContainer2]# ls
dc01.txt  dc02.txt  dc03.txt

④ 返回查看容器dc01

检测此时容器运行概况:

检测容器dc01路径dataVolumeContainer2概况(会发现多了dc02.txt dc03.txt):


⑤ 删除dc01然后分别在dc02/dc03下查看dataVolumeContainer2路径

#进入dc02
docker exec -it a5f21105d3e7  /bin/bash
#进入dc03
docker exec -it 132abc66899c  /bin/bash

可以看到尽管dc01容器已经删除了dc01.txt,但是dc02/dc03容器下还有dc01.txt


⑥ dc02新增数据然后删除dc02再进入dc03查看

dc02下操作:

[root@a5f21105d3e7 /]# cd dataVolumeContainer2
[root@a5f21105d3e7 dataVolumeContainer2]# ls
dc01.txt  dc02.txt  dc03.txt
#新增数据
[root@a5f21105d3e7 dataVolumeContainer2]# touch dc02_update.txt
[root@a5f21105d3e7 dataVolumeContainer2]# ls
dc01.txt  dc02.txt  dc02_update.txt  dc03.txt
[root@a5f21105d3e7 dataVolumeContainer2]# [root@localhost ~]#
#删除dc02容器
[root@localhost ~]# docker rm -f a5f21105d3e7
a5f21105d3e7

dc03下操作:

[root@localhost ~]# docker exec -it 132abc66899c  /bin/bash
[root@132abc66899c /]# cd dataVolumeContainer2
[root@132abc66899c dataVolumeContainer2]# ls
dc01.txt  dc02.txt  dc02_update.txt  dc03.txt

可以发现尽管dc02与dc03无继承关系,但是已经建立了共享关系,故而dc02删除后,dc03仍然可以拿到dc02创建的文件。

结论:容器之间配置信息的传递,数据卷的生命周期一直持续到没有容器使用它为止。

问题:


  • 如果两个独立的容器映射了同一个主机目录会怎样?
  • 如果dc01 dc02 dc03三个没有关系还会出现上面的实验情况吗?
相关实践学习
DataV Board用户界面概览
本实验带领用户熟悉DataV Board这款可视化产品的用户界面
阿里云实时数仓实战 - 项目介绍及架构设计
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
目录
相关文章
|
9天前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
40 2
|
7天前
|
运维 Cloud Native 虚拟化
一文吃透云原生 Docker 容器,建议收藏!
本文深入解析云原生Docker容器技术,涵盖容器与Docker的概念、优势、架构设计及应用场景等,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
一文吃透云原生 Docker 容器,建议收藏!
|
6天前
|
持续交付 开发者 Docker
Docker容器化技术实战指南
Docker容器化技术实战指南
23 1
|
8天前
|
缓存 监控 开发者
掌握Docker容器化技术:提升开发效率的利器
在现代软件开发中,Docker容器化技术成为提升开发效率和应用部署灵活性的重要工具。本文介绍Docker的基本概念,并分享Dockerfile最佳实践、容器网络配置、环境变量和秘密管理、容器监控与日志管理、Docker Compose以及CI/CD集成等技巧,帮助开发者更高效地利用Docker。
|
9天前
|
监控 持续交付 Docker
Docker 容器化部署在微服务架构中的应用有哪些?
Docker 容器化部署在微服务架构中的应用有哪些?
|
9天前
|
监控 持续交付 Docker
Docker容器化部署在微服务架构中的应用
Docker容器化部署在微服务架构中的应用
|
9天前
|
安全 持续交付 Docker
微服务架构和 Docker 容器化部署的优点是什么?
微服务架构和 Docker 容器化部署的优点是什么?
|
11天前
|
关系型数据库 数据管理 应用服务中间件
【赵渝强老师】Docker的数据持久化
在生产环境中使用Docker时,为了实现数据的持久化和共享,可以通过数据卷(Data Volumes)和数据卷容器(Data Volume Containers)两种方式来管理数据。数据卷是一个独立于容器的挂载目录,可以跨多个容器共享和重用。数据卷容器则是一种特殊容器,用于维护数据卷,便于数据迁移和共享。本文通过示例详细介绍了这两种方法的使用步骤。
|
5天前
|
Java Docker 微服务
利用Docker容器化部署Spring Boot应用
利用Docker容器化部署Spring Boot应用
28 0
|
11天前
|
NoSQL Redis Docker
【赵渝强老师】使用Docker Compose管理容器
Docker Compose 通过 YAML 文件管理多个容器,简化复杂系统的部署和管理。本文介绍了 Docker Compose 的基本概念,并通过一个包含 Redis DB 和 Python Web 模块的示例,展示了如何使用 Docker Compose 部署和管理多容器应用。手动部署和 Docker Compose 部署的对比突显了 Docker Compose 在系统复杂度增加时的优势。
下一篇
无影云桌面