NVIDIA Triton系列05-安装服务器软件

简介: 本文介绍了NVIDIA Triton推理服务器的安装方法,涵盖源代码编译、可执行文件安装及Docker容器部署三种方式。重点讲解了在NVIDIA Jetson AGX Orin设备上的安装步骤,适合Ubuntu 18及以上系统。通过检查HTTP端口状态确认服务器运行正常,为后续客户端软件安装做准备。

NVIDIA Triton系列05-安装服务器软件

B站:肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客:肆十二-CSDN博客

问答:(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

在前一篇文章已经带着读者创建一个 Triton 的推理模型仓,现在只要安装好服务器端与用户端软件,就能进行基本的测试与体验。

为了简化过程,我们使用 NVIDIA Jetson AGX Orin 设备进行示范,所有步骤都能适用于各种基于 NVIDIA Jetson 智能芯片的边缘设备上,也适用于大部分装载 Ubuntu 18 以上操作系统的 x86 设备上,即便设备上没有安装 NVIDIA 的 GPU 计算卡也能使用,只不过我们的提供的内容都是基于 GPU 计算环境,对于纯 CPU 的使用则需要用户自行研读说明文件。

现在就开始安装 Triton 服务器软件,NVIDIA 为 Triton 服务器提供以下三种软件安装的方式:

1. 源代码编译

这种方式需要从https://github.com/triton-inference-server/server下载源代码,然后安装依赖库,再用 cmake 与 make 工具进行编译。通常会遇到的麻烦是步骤繁琐,并且出错率较高,因此并不推荐使用这个方法。

有兴趣者,请自行参考前面下载的开源仓里的 docs/customization_guide/build.md文件,有关于 Ubuntu 20.04、Jetpack 与 Windows 等各种平台的编译细节。

2. 可执行文件

Triton 开发团队为使用者提供编译好的可执行文件,包括 Ubuntu 20.04、Jetpack 与 Windows 平台,可以在https://github.com/triton-inference-server/server/releases/ 上获取,每个版本都会提供对应 NGC 容器的版本,如下图:

img

然后到下面的“Assets”选择合适的版本:

img

以装载 Jetpack 5 的 Orin 为例,就下载

tritonserver2.26.0-jetpack5.0.2.tgz(1.13GB) 压缩文件到本机上,然后解压缩到指定目录下就可以,例如 ${HOME}/triton 目录,会生成 、、、、、等 6 个目录,可执行文件在目录下。

在执行 Triton 服务器软件前,还得先安装所需要的依赖库,请执行以下指令:

sudo apt-get updatesudo apt-get install -y --no-install-recommends software-properties-common autoconf automake build-essential git libb64-dev libre2-dev libssl-dev libtool libboost-dev rapidjson-dev patchelf pkg-config libopenblas-dev libarchive-dev zlib1g-dev

现在就可以执行以下指令启动 Triton 服务器:

cd ${HOME}/tritonbin/tritonserver --model-repository=server/docs/examples/model_repository --backend-directory=backends --backend-config=tensorflow,version=2

如果最后出现以下画面并且进入等待状态:

img

现在 Triton 服务器已经正常运行,进入等待用户端提出请求(request)的状态。

3. Docker容器

在NGC的

https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags 可以找到 Triton 服务器的 Docker 镜像文件,每个版本主要提供以下几种版本:

year-xy-py3:包含 Triton 推理服务器,支持 Tensorflow、PyTorch、TensorRT、ONNX 和 OpenVINO 模型;

year-xy-py3-sdk:包含 Python 和 C++ 客户端库、客户端示例和模型分析器;

year-xy-tf2-python-py3:仅支持 TensorFlow 2.x 和 python 后端的 Triton 推理服务器;

year-xy-pyt-python-py3:仅支持 PyTorch 和 python 后端的 Triton 服务器;

year-xy-py3-min:用作创建自定义 Triton 服务器容器的基础,如 Customize Triton Container(自定义Triton容器)说明文件所描述的内容;

其中“year”是年份的数字,例如 2022 年提交的就是“22”开头;后面的“xy”是流水号,每次往上加“1”,例如 2022 年 10 月 4 日提交的版本为“22-09”。

NVIDIA 提供的 Triton 容器镜像是同时支持 x86 / AMD64 与 ARM64 架构的系统,以 22.09-py3 镜像为例,可以看到如下图所标示的“2 Architectures”:

img

点击最右方的“向下”图标,会展开如下图的内容,事实上是有两个不同版本的镜像,不过使用相同镜像名:

img

因此在 x86 电脑与 Jetson 设备都使用相同的镜像下载指令,如下:

$ docker pull nvcr.io/nvidia/tritonserver:22.09-py3

就能根据所使用设备的 CPU 架构去下载对应的镜像,现在执行以下指令来启动 Triton 服务器:

# 根据实际的模型仓根目录位置设定TRITON_MODEL_REPO路径export TRITON_MODEL_REPO=${HOME}/triton/server/docs/examples/model_repository# 执行Triton服务器docker run --rm --net=host -v ${TRITON_MODEL_REPO}:/models nvcr.io/nvidia/tritonserver:22.09-py3 tritonserver --model-repository=/models

如果执行正常,也会出现以下的等待画面,表示运行是正确的:

img

以上三种方式都能在计算设备上启动 Triton 服务器软件,目前看起来使用 Docker 镜像是最为简单的。当服务器软件启动之后,就处于“等待请求”状态,可以使用“Ctrl-C”组合键终止服务器的运行。

有一种确认 Triton 服务器正常运行的最简单方法,就是用 curl 指令检查 HTTP 端口的状态,请执行以下指令:

curl -v localhost:8000/v2/health/ready

如果有显示“HTTP/1.1 200 OK”的信息(如下图),就能确定 Triton 服务器处于正常运行的状态:

img

接下去就要安装客户端软件,用来对服务器提出推理请求,这样才算完成一个最基础的推理周期。

目录
相关文章
|
2月前
|
Ubuntu Linux 网络安全
Linux服务器之Ubuntu的安装与配置
Ubuntu Desktop是目前最成功、最流行的图形界面的Linux发行版;而Ubuntu Server也在服务器端市场占据了较大的份额。今天为大家详细介绍了Ubuntu Server的安装与配置,希望对你能有所帮助。关于VMware、VirtualBox等虚拟化软件的使用,朱哥还会在后续的文章中为大家详细介绍,敬请关注!
|
4月前
|
存储 运维 API
HPE OneView 10.0 - HPE 服务器、存储和网络设备集中管理软件
HPE OneView 10.0 - HPE 服务器、存储和网络设备集中管理软件
82 1
|
13天前
|
Ubuntu 安全 关系型数据库
安装MariaDB服务器流程介绍在Ubuntu 22.04系统上
至此, 您已经在 Ubuntu 22.04 系统上成功地完成了 MariadB 的标准部署流程,并且对其进行基础但重要地初步配置加固工作。通过以上简洁明快且实用性强大地操作流程, 您现在拥有一个待定制与使用地强大 SQL 数据库管理系统。
117 18
|
15天前
|
Ubuntu 安全 关系型数据库
安装MariaDB服务器流程介绍在Ubuntu 22.04系统上
至此, 您已经在 Ubuntu 22.04 系统上成功地完成了 MariadB 的标准部署流程,并且对其进行基础但重要地初步配置加固工作。通过以上简洁明快且实用性强大地操作流程, 您现在拥有一个待定制与使用地强大 SQL 数据库管理系统。
82 15
|
17天前
|
弹性计算 安全 Linux
使用阿里云服务器安装Z-Blog博客网站流程,新手一键部署教程
本教程教你如何在阿里云99元服务器上,通过宝塔Linux面板一键部署Z-Blog博客。基于CentOS 7.9系统,从远程连接、安装宝塔面板、开放端口到部署Z-Blog全流程详解,操作简单,新手也能轻松搭建个人博客网站。
239 13
|
2月前
|
弹性计算 安全 Linux
阿里云服务器ECS安装宝塔Linux面板、安装网站(新手图文教程)
本教程详解如何在阿里云服务器上安装宝塔Linux面板,涵盖ECS服务器手动安装步骤,包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署,手把手引导用户快速搭建网站环境。
|
2月前
|
存储 监控 Linux
Dell OpenManage Enterprise 4.5 - Dell 服务器、存储和网络设备集中管理软件
Dell OpenManage Enterprise 4.5 - Dell 服务器、存储和网络设备集中管理软件
44 0
|
2月前
|
运维 数据可视化 数据库
一小时搞定服务器软件部署:资深工程师实测方案
本文分享了一位运维工程师在短时间内将30个不同软件部署到新服务器上的实战经验。面对全新 Rocky Linux 系统,传统手工部署方式效率低下且容易出错。作者尝试多种自动化方案后,最终选择使用自动化部署工具,通过其内置的 Docker Compose 模板和可视化界面,实现快速、批量部署,大幅提升效率,30个应用仅用约1小时完成,显著节省时间和人力成本。
|
2月前
|
Ubuntu Linux
如何在 Ubuntu 服务器上安装桌面环境(GUI)
如果你有任何问题,请在评论区留言。你会在服务器上使用 GUI 吗?参照本文后你遇到了什么问题吗?
213 0
|
3月前
|
Windows
Windows下版本控制器(SVN)-验证是否安装成功+配置版本库+启动服务器端程序
Windows下版本控制器(SVN)-验证是否安装成功+配置版本库+启动服务器端程序
119 2

热门文章

最新文章