NVIDIA Triton 系列文章（6）：安装用户端软件
在前面的文章中，已经带着读者创建好 Triton 的模型仓、安装并执行 Triton 推理服务器软件，接下来就是要安装 Triton 用户端软件，对服务器提出推理请求（requests），才能触发服务器执行推理计算的任务。
由于用户端的功能是在向服务器提出推理需求，本身并不参与计算，因此不用考虑设备性能或者是否装载 GPU 设备，即便是一台最基本的 Windows 上网本都能使用，只要安装合适的用户端软件就可以。
为了适应更多种使用场景，Triton 用户端支持 C++/Python/Java/GO 等通用性高的在编程语言，底层还支持 HTTP/REST 与 gRPC 通讯协议，甚至还支持 SSL/TLS 加密选项，以及多种在线压缩（on-wire compression）算法，内容是相当丰富并且多元化，完整的内容可以在https://github.com/triton-inference-server/client 开源仓里找到，本文只先提供 Python 用户端的部分。
与服务器的安装方式类似，NVIDIA 提供以下 4 种安装方式：
1. 源代码编译
这种方式需要从https://github.com/triton-inference-server/client 下载源代码，执行步骤在https://github.com/triton-inference-server/client#build-using-cmake 环节，通常会遇到的麻烦是步骤繁琐，并且出错率较高，因此并不推荐使用这个方法。
2. 可执行文件
Triton 开发团队为使用者提供编译好的可执行文件，包括 Ubuntu 20.04、Jetpack 与 Windows 平台，可以在 https://github.com/triton-inference-server/server/releases/上获取，每个版本都会提供对应 NGC 容器的版本，如下图：
然后到下面的“Assets”选择合适的版本：
以装载 Jetpack 5 的 Orin 为例，就下载 tritonserver2.26.0-jetpack5.0.2.tgz(1.13GB) 压缩文件到本机上，然后解压缩到指定目录下就可以，例如 ${HOME}/triton 目录，会生成
现在要使用 image_client 这个最基础的识别终端软件，对 qa/images/mug.jpg（下图）这张图片进行推理。
请先确认 Triton 服务器软件已经启动并且处于等待请求的状态，现在请开启另一个命令终端，输入以下指令提交推理请求：
cd ${HOME}/triton
./clients/bin/image_client-mdensenet_onnx-c3-sINCEPTIONqa/images/mug.jpg这道指令使用 clients/bin/image_client 终端，请求服务器使用 densenet_onnx 推理模型，对 qa/images/mug.jpg（下图）进行识别。这里的参数“-c 3”是要求识别的分类最多可以到 3 项，指令执行结果如下，表示正确识别图像的 3 个可能分类：
其他终端软件会在后面文章中说明。
3. Docker容器版用户端
在安装 Triton 服务器软件一文中已经提过，可以在 NGC 服务器上可以找到 Triton 的相关镜像，其中 year-xy-py3-sdk 里就有提供用户端软件。这里同样在 Jetson AGX Orin 上用 22.09-py3-sdk 镜像做示范，请先执行以下指令下载这个镜像并进入这个容器：
nvcr.io/nvidia/tritonserver:22.09-py3-sdk
docker run -it --rm --net=host nvcr.io/nvidia/tritonserver:22.09-py3-sdk进入容器之后，执行以下指令进行图像推理任务：
./install/bin/image_client-mdensenet_onnx-c3-sINCEPTION./images/mug.jpg执行结果应该会看到如下截屏的内容，表示在这里对 Triton 服务器提出的推理请求，得到正确的计算结果。
同样的，在容器内 install/bin 目录下也有将近 30 个编译好的终端可执行文件，内容与前一项压缩文件所提供的内容是一致的，在下一篇文章中进行说明。
4. Python 版用户端
由于 Python 是目前在深度学习领域中最重要的编程语言之一，NVIDIA 为 Triton 提供可直接安装的 Python 库，只要执行以下指令就能轻松安装：
pip3 install tritonclient[all] attrdict -i https://pypi.tuna.tsinghua.edu.cn/simple这个过程会安装以下内容：
http
grpc[service_pb2,service_pb2_grpc,model_config_pb2]
如果您在前面下载第 2 部分的压缩文件并且解压缩，在该目录之下的 clients/python 里就提供 30 多个 Triton 的 Python 用户端脚本；如果没有下载前面的压缩文件，现在可以执行以下指令去复制 Triton 项目的 client 开源仓：
git clone https://github.com/triton-inference-server/client然后在 client 开源仓下的 src/python/examples 里有 30 多个 Triton 的 Python 用户端脚本。
现在进到 Python 用户端脚本的目录里，执行以下指令：
python3 image_client.py -m inception_graphdef -s INCEPTION
${HOME}/triton/server/qa/images/mug.jpg执行后会显示如下的结果：
得到推理的结果为“COFEE MUG”为正确的，表示 Triton 的 Python 用户端使用环境是正确的。
以上介绍 4 种安装 Triton 用户端软件的方式，本文只使用 image_client 这个最简单的图像分类用户端工具，另外还有几个比较重要的用户端工具，后面会有针对性的深入讲解与示范。
推荐阅读
NVIDIA Jetson Nano 2GB 系列文章（1）：开箱介绍
NVIDIA Jetson Nano 2GB 系列文章（2）：安装系统
NVIDIA Jetson Nano 2GB 系列文章（3）：网络设置及添加 SWAPFile 虚拟内存
NVIDIA Jetson Nano 2GB 系列文章（4）：体验并行计算性能
NVIDIA Jetson Nano 2GB 系列文章（5）：体验视觉功能库
NVIDIA Jetson Nano 2GB 系列文章（6）：安装与调用摄像头
NVIDIA Jetson Nano 2GB 系列文章（8）：执行常见机器视觉应用
NVIDIA Jetson Nano 2GB 系列文章（9）：调节 CSI 图像质量
NVIDIA Jetson Nano 2GB 系列文章（10）：颜色空间动态调节技巧
NVIDIA Jetson Nano 2GB 系列文章（11）：你应该了解的 OpenCV
NVIDIA Jetson Nano 2GB 系列文章（12）：人脸定位
NVIDIA Jetson Nano 2GB 系列文章（13）：身份识别
NVIDIA Jetson Nano 2GB 系列文章（14）：Hello AI World
NVIDIA Jetson Nano 2GB 系列文章（15）：Hello AI World 环境安装
NVIDIA Jetson Nano 2GB 系列文章（16）：10行代码威力
NVIDIA Jetson Nano 2GB 系列文章（17）：更换模型得到不同效果
NVIDIA Jetson Nano 2GB 系列文章（18）：Utils 的 videoSource 工具
NVIDIA Jetson Nano 2GB 系列文章（19）：Utils 的 videoOutput 工具
NVIDIA Jetson Nano 2GB 系列文章（20）：“Hello AI World” 扩充参数解析功能
NVIDIA Jetson Nano 2GB 系列文章（21）：身份识别
NVIDIA Jetson Nano 2GB 系列文章（22）：“Hello AI World” 图像分类代码
NVIDIA Jetson Nano 2GB 系列文章（23）：“Hello AI World 的物件识别应用
NVIDIAJetson Nano 2GB 系列文章（24）: “Hello AI World” 的物件识别应用
NVIDIAJetson Nano 2GB 系列文章（25）: “Hello AI World” 图像分类的模型训练
NVIDIAJetson Nano 2GB 系列文章（26）: “Hello AI World” 物件检测的模型训练
NVIDIAJetson Nano 2GB 系列文章（27）: DeepStream 简介与启用
NVIDIAJetson Nano 2GB 系列文章（28）: DeepStream 初体验
NVIDIAJetson Nano 2GB 系列文章（29）: DeepStream 目标追踪功能
NVIDIAJetson Nano 2GB 系列文章（30）: DeepStream 摄像头“实时性能”
NVIDIAJetson Nano 2GB 系列文章（31）: DeepStream 多模型组合检测-1
NVIDIAJetson Nano 2GB 系列文章（32）: 架构说明与deepstream-test范例
NVIDIAJetsonNano 2GB 系列文章（33）: DeepStream 车牌识别与私密信息遮盖
NVIDIA Jetson Nano 2GB 系列文章（34）: DeepStream 安装Python开发环境
NVIDIAJetson Nano 2GB 系列文章（35）: Python版test1实战说明
NVIDIAJetson Nano 2GB 系列文章（36）: 加入USB输入与RTSP输出
NVIDIAJetson Nano 2GB 系列文章（37）: 多网路模型合成功能
NVIDIAJetson Nano 2GB 系列文章（38）: nvdsanalytics视频分析插件
NVIDIAJetson Nano 2GB 系列文章（39）: 结合IoT信息传输
NVIDIAJetson Nano 2GB 系列文章（40）: Jetbot系统介绍
NVIDIAJetson Nano 2GB 系列文章（41）: 软件环境安装
NVIDIAJetson Nano 2GB 系列文章（42）: 无线WIFI的安装与调试
NVIDIAJetson Nano 2GB 系列文章（43）: CSI摄像头安装与测试
NVIDIAJetson Nano 2GB 系列文章（44）: Jetson的40针引脚
NVIDIAJetson Nano 2GB 系列文章（46）: 机电控制设备的安装
NVIDIAJetson Nano 2GB 系列文章（47）: 组装过程的注意细节
NVIDIAJetson Nano 2GB 系列文章（48）: 用键盘与摇杆控制行动
NVIDIAJetson Nano 2GB 系列文章（49）: 智能避撞之现场演示
NVIDIAJetson Nano 2GB 系列文章（50）: 智能避障之模型训练
NVIDIAJetson Nano 2GB 系列文章（51）: 图像分类法实现找路功能
NVIDIAJetson Nano 2GB 系列文章（52）: 图像分类法实现找路功能
NVIDIAJetson Nano 2GB 系列文章（53）: 简化模型训练流程的TAO工具套件
NVIDIA Jetson Nano 2GB 系列文章（54）：NGC的内容简介与注册密钥
NVIDIA Jetson Nano 2GB 系列文章（55）：安装TAO模型训练工具
NVIDIA Jetson Nano 2GB 系列文章（56）：启动器CLI指令集与配置文件
NVIDIA Jetson Nano 2GB 系列文章（57）：视觉类脚本的环境配置与映射
NVIDIA Jetson Nano 2GB 系列文章（58）：视觉类的数据格式
NVIDIA Jetson Nano 2GB 系列文章（59）：视觉类的数据增强
NVIDIA Jetson Nano 2GB 系列文章（60）：图像分类的模型训练与修剪
NVIDIA Jetson Nano 2GB 系列文章（61）：物件检测的模型训练与优化
NVIDIA Jetson Nano 2GB 系列文章（62）：物件检测的模型训练与优化-2
NVIDIA Jetson Nano 2GB 系列文章（63）：物件检测的模型训练与优化-3
NVIDIA Jetson Nano 2GB 系列文章（64）：将模型部署到Jetson设备
NVIDIA Jetson Nano 2GB 系列文章（65）：执行部署的 TensorRT 加速引擎
NVIDIA Jetson 系列文章（1）：硬件开箱
NVIDIA Jetson 系列文章（2）：配置操作系统
NVIDIA Jetson 系列文章（3）：安装开发环境
NVIDIA Jetson 系列文章（4）：安装DeepStream
NVIDIA Jetson 系列文章（5）：使用Docker容器的入门技巧
NVIDIA Jetson 系列文章（6）：使用容器版DeepStream
NVIDIA Jetson 系列文章（7）：配置DS容器Python开发环境
NVIDIA Jetson 系列文章（8）：用DS容器执行Python范例
NVIDIA Jetson 系列文章（9）：为容器接入USB摄像头
NVIDIA Jetson 系列文章（10）：从头创建Jetson的容器（1）
NVIDIA Jetson 系列文章（11）：从头创建Jetson的容器（2）
NVIDIA Jetson 系列文章（12）：创建各种YOLO-l4t容器
NVIDIA Triton系列文章（1）：应用概论
NVIDIA Triton系列文章（2）：功能与架构简介
NVIDIA Triton系列文章（3）：开发资源说明
NVIDIA Triton系列文章（4）：创建模型仓
NVIDIA Triton 系列文章（5）：安装服务器软件
原文标题：NVIDIA Triton 系列文章（6）：安装用户端软件
文章出处：【微信公众号：NVIDIA英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。
-
英伟达
+关注
关注
22文章
3771浏览量
90997
原文标题：NVIDIA Triton 系列文章（6）：安装用户端软件
文章出处：【微信号：NVIDIA-Enterprise，微信公众号：NVIDIA英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
NVIDIA JetPack 6.0版本的关键功能
NVIDIA助力提供多样、灵活的模型选择
NVIDIA 通过 Holoscan 为 NVIDIA IGX 提供企业软件支持
NVIDIA 通过 Holoscan 为 NVIDIA IGX 提供企业软件支持，实现边缘实时医疗、工业和科学 AI 应用
研华与英伟达深化合作， 成为NVIDIA AI Enterprise软件全球分销商
变电所、配电室、机房、箱变等用户端供配电配电室综合监测系统
牵手NVIDIA 元戎启行端到端模型将搭载 DRIVE Thor芯片
适用于35kV及以下新建或改扩建的用户端Acrel-2000Z电力监控
使用NVIDIA Triton推理服务器来加速AI预测
在AMD GPU上如何安装和配置triton？
苹果MacOS恶意软件借破解版安装包获取用户信息
ACRELADL系列多功能电能表在迪拜大厦EMS中的应用
【BBuf的CUDA笔记】OpenAI Triton入门笔记一
工商网监
评论