【Datahub系列教程】Datahub入门必学——DatahubCLI之Docker命令详解

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 【Datahub系列教程】Datahub入门必学——DatahubCLI之Docker命令详解

大家好,我是独孤风,今天的元数据管理平台Datahub的系列教程,我们来聊一下Datahub CLI。也就是Datahub的客户端。

我们在安装和使用Datahub 的过程中遇到了很多问题。

  • 如何安装Datahub ?
  • 为什么总是拉取镜像?
  • 如何启动Datahub ?
  • 这些Datahub 的Docker命令都是做什么的?

有很多同学虽然搜到了答案,但是并不知道是如何解决的,下一次遇到还是一头雾水,所以今天我就带大家学习一下Datahub 的安装维护神器——Datahub CLI。

Datahub 为了用户可以更方便的操作,提供了一个名为datahub的客户端,客户端的软件包由acryldata公司维护。

Datahub CLI与Datahub的大版本保持一致。

Datahub CLI为了让大家方便的使用Datahub,提供了大量的命令。比如调动docker拉取并启动Datahub相关容器,初始化操作,拉取元数据等等。

这也就是我们在最初安装Datahub的时候,为什么需要用Datahub CLI进行一系列操作,后面才使用Datahub的原因,而在使用过程中也经常需要使用CLI对Datahub进行维护。所以学习并熟练掌握Datahub CLI还是非常有必要的。

本文就带大家学习下,Datahub CLI中最重要的Docker命令。学会本文,就再也不用担心用Docker安装Datahub的问题了。

大数据流动

专注于大数据 数据治理 人工智能知识分享;数据要素 数据资产 数据入表 数字化转型 数据管理 数据架构 实时计算 实时数仓 数据中台 数据仓库 数据湖 数据分析 元数据管理 Datahub dama;定期组织CDMP培训;开源 技术 学习群

206篇原创内容

公众号

本文档所含资料位置:“大数据流动VIP资料库” 》》“Datahub专栏资料包”,也可以关注上方大数据流动公众号,在后台回复“Datahub”获取。

Datahub功能演示请参考大数据流动视频号

大数据流动

,赞2

一、Datahub CLI的安装

由于Datahub CLI基于Python开发,所以同样发布在了pypi软件包管理中。

其地址如下:https://pypi.org/project/acryl-datahub/

2023年12月12日的最新版本是0.12.1.0

我们也可以在这里看到历史版本情况。

并且可以直接下载下来,如果是离线环境,可以下载下来安装。

官网建议是在虚拟环境中安装,这样可以给其一个干净的环境。

python3 -m venv venv             # create the environment
source venv/bin/activate         # activate the environment

也可以直接进行安装,需要Python3.7以上的环境。

升级pip,随后安装acryl-datahub。

python3 -m pip install --upgrade pip wheel setuptools
python3 -m pip install --upgrade acryl-datahub

安装后可以验证一下

datahub version

有的时候会提示 "-bash: datahub: command not found",不要惊慌,换成这个命令就好。

python3 -m datahub version

正常会看到下面的显示。

下面我们逐一介绍下都有什么命令。

二、基本命令

上文中我们已经知道,基本的命令形式是 python -m datahub --配置 命令 参数

其中python或者python3需要能执行python3.7以上的命令。

部分版本也可以直接执行datahub --配置 命令 参数

那么我们就执行第一个命令help

python -m datahub --help

将会展示所有的配置和命令情况。

这里也说明了 --help 会展示帮助信息,并退出。

其他的配置项,有是否打印debug日志,展示版本信息等等。

命令这里只是一个整体的概述。比如我们经常用的docker命令可以操作本地的docker镜像。而想要知道命令更具体的信息,可以使用命令。

python -m datahub docker --help

这样就会显示docker的帮助信息了。下面我们就来逐一的过一遍。

三、Docker命令

docker有check,ingest-sample-data,nuke,quickstart四个命令。

配置项只有--help,也就是说上面四个命令都可以通过--help来查看更具体的信息。

quickstart命令

quickstart可以自动在本地启动datahub需要的相关镜像,首先会去github获取最新的docker-compose文件,随后根据文件拉取最新的docker镜像,启动datahub整个系统。

所以很多同学执行datahub安装时,会报错,其实就是获取compose文件报错了。

因为需要去访问raw.githubusercontent.com这个网址,没有成功。

ERROR    {datahub.entrypoints:201} - Command failed: HTTPSConnectionPool(host='raw.githubusercontent.com', port=443): Max retries exceeded with url: /datahub-project/datahub/master/docker/quickstart/docker-compose-without-neo4j-m1.quickstart.yml (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x107cba570>: Failed to establish a new connection: [Errno 61] Connection refused'))

同时,这里有一些设置,如--quickstart-compose-file,会使用本地的配置文件,这些设置会覆盖掉默认的配置去执行。

下面我们来结合实际应用来看看这些配置项。

其实通过quickstart的运行机制,同样解释了另一个现象,就是如果每次都执行quickstart,都会去拉取最新的镜像,网络不好的话会很坑。

这个问题有很多的解决方式。

建议大家搞一个稳定版本的配置文件,每次用本地文件启动即可,也可以改改版本号。这是我每次启动的命令,用我自己的配置文件。

python -m datahub docker quickstart --quickstart-compose-file ./dugufeng_yml/docker-compose-without-neo4j-dugufeng.quickstart.yml

也可以使用version命令来指定版本,可以通过这个参数来设置datahub的版本,如果没有设置,就会有配置文件的版本,可以使用'stable'来指定为最新的版本。

python -m datahub docker quickstart --version stable

--build-locally配置会尝试在启动前,先在本地构建容器。

python -m datahub docker quickstart --build-locally

--pull-images / --no-pull-images配置会尝试在启动前,是否去Docker Hub拉取镜像。

python -m datahub docker quickstart --no-pull-images

还有--dump-logs-on-failure用于打印失败日志,--graph-service-impl用于指定graph服务的实现。

下面这几个比较常用。如果本地已经有其他服务占用了端口会报端口占用错误Port 3306 was already in use。这时候我们可以灵活的指定一下其他的端口。

python -m datahub docker quickstart --mysql-port 3306 --zk-port 2181  --kafka-broker-port 9092 --schema-registry-port 8081 --elastic-port 9092

大家可以选择下面的命令来停止datahub。

python -m datahub docker quickstart --stop

正常停止后的显示。

可以对当前数据进行备份。

python -m datahub docker quickstart --backup

默认会备份镜像到 ~/.datahub/quickstart/,也可以选择自己指定一个位置。

python -m datahub docker quickstart --backup --backup-file <path to backup file>

恢复配置,可以选择只恢复索引数据,还是核心数据。

python -m datahub docker quickstart --restore
python -m datahub docker quickstart --restore-indices
python -m datahub docker quickstart --restore --no-restore-indices

同样也可以指定恢复的sql文件。

python -m datahub docker quickstart --restore --restore-file /home/my_user/datahub_backups/quickstart_backup.sql

还有一个配置 --standalone_consumers用于将 MAE & MCE作为单独的docker容器

--kafka-setup加载 Kafka setup,--arch TEXT 指定要使用的CPU架构参数,有x86, arm64,m1。

nuke命令

可以使用nuke命令,可以清除所有Datahub的状态。(相当于恢复出厂了,慎用)

python -m datahub docker nuke

nuke只有两个选项,--help可以查询帮助。

--keep-data用户删除数据。

check命令

check命令用于检查docker容器状态是否健康。

这是正常的显示状态。

check命令处理--help查看帮助,没有其他的配置项。

ingest-sample-data命令

ingest-sample-data命令用于导入示例的元数据文件。

我们刚进入Datahub的时候会报一个错误,No Metadata Found。其实就是没有元数据。

我们这时候可以执行命令,来导入下示例数据看看。

python -m datahub docker ingest-sample-data

导入成功的显示。

再进入,数据已经有了。

除了--help,还有两个。

--parh可以指定一下本地的文件,将文件导入。

具体文件格式可以参考,MCE示例文件。

--token命令,用于datahub启动权限管理的时候METADATA_SERVICE_AUTH_ENABLED=true

需要指定token。

四、Docker基本操作

除了datahub的docker操作,有的时候也需要我们直接使用docker命令去排查一些问题。

下面是常用的命令。

使用以下命令列出当前正在运行的容器:

docker ps

这将显示所有正在运行的容器的列表,包括容器ID、名称、状态等信息。

找到要停止的容器的容器ID或名称。

使用以下命令停止容器,其中是容器的ID或名称:

docker stop

例如,如果要停止容器ID为dugufeng666的容器,可以运行以下命令:

docker stop dugufeng666

这将向容器发送停止信号,并使容器停止运行。

等待一段时间,直到容器完全停止。可以使用以下命令来验证容器的状态:

docker ps -a

这将显示所有容器的列表,包括已停止的容器。确保目标容器的状态显示为"Exited"。

停止所有容器

docker stop $(docker ps -a -q)

其他的命令我们下一期继续聊~

未完待续~

相关文章
|
15天前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
56 2
|
2月前
|
机器人 网络安全 数据安全/隐私保护
autMan奥特曼机器人-对接Docker版本NTQQ详细教程
本文介绍了如何在服务器上搭建NTQQ机器人,通过官方NTQQ对接各框架,实现QQ登录的稳定运行。文章提到了需要准备一台服务器和相应的软件,并详细描述了通过SSH链接服务器、创建文件夹和配置文件、编辑配置文件地址端口、运行容器等步骤。同时,文章还介绍了VNC连接的使用和配置,以及使用watchtower进行NTQQ的更新。文章总结起来就是在服务器上搭建NTQQ机器人,实现QQ登录的稳定性和自动登录功能,同时提供了更新和维护的方法。
67 3
autMan奥特曼机器人-对接Docker版本NTQQ详细教程
|
2月前
|
安全 Docker 容器
|
2月前
|
网络安全 数据安全/隐私保护 Docker
|
9天前
|
运维 Kubernetes Cloud Native
云原生技术入门:Kubernetes和Docker的协同工作
【10月更文挑战第43天】在云计算时代,云原生技术成为推动现代软件部署和运行的关键力量。本篇文章将带你了解云原生的基本概念,重点探讨Kubernetes和Docker如何协同工作以支持容器化应用的生命周期管理。通过实际代码示例,我们将展示如何在Kubernetes集群中部署和管理Docker容器,从而为初学者提供一条清晰的学习路径。
|
2月前
|
存储 监控 安全
|
17天前
|
Cloud Native 持续交付 Docker
Docker容器化技术:从入门到实践
Docker容器化技术:从入门到实践
|
23天前
|
运维 持续交付 虚拟化
docker入门详解!!!
本文介绍了容器技术的发展历程,从物理机到虚拟化再到容器化,重点讲解了Docker的诞生及其优势。Docker通过轻量级的容器技术,实现了资源的高效利用、快速启动、环境一致性、持续交付和部署等优点。文章还详细解析了Docker的架构和工作原理,包括Docker Daemon、REST接口、Docker Client等组件,以及容器与虚拟机的差异。
58 2
|
1月前
|
Kubernetes Cloud Native 开发者
云原生技术入门:Kubernetes和Docker的协作之旅
【10月更文挑战第22天】在数字化转型的浪潮中,云原生技术成为推动企业创新的重要力量。本文旨在通过浅显易懂的语言,引领读者步入云原生的世界,着重介绍Kubernetes和Docker如何携手打造弹性、可扩展的云环境。我们将从基础概念入手,逐步深入到它们在实际场景中的应用,以及如何简化部署和管理过程。文章不仅为初学者提供入门指南,还为有一定基础的开发者提供实践参考,共同探索云原生技术的无限可能。
43 3
|
2月前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
278 3
下一篇
无影云桌面