[问答]

如何将Detectron2和Layout-LM模型转换为OpenVINO中间表示（IR）和使用CPU插件进行推断？

问答对人有帮助，内容完整，我也想知道答案 0 无法确定如何将 Detectron2* 和 Layout-LM* 模型转换为OpenVINO™中间表示（IR）和使用 CPU 插件进行推断。 0
2023-8-15 06:23:58　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × jinheng 该类别下有 2 个回答。邀请回答 dfzvzs 该类别下有 2 个回答。邀请回答 andyfly7 该类别下有 2 个回答。邀请回答 Tussi 该类别下有 2 个回答。邀请回答 h1654155275.6483 该类别下有 1 个回答。邀请回答 LEON1985 该类别下有 1 个回答。邀请回答 uwjfisgw 该类别下有 1 个回答。邀请回答 lhhgff 该类别下有 1 个回答。邀请回答 zhangminmin 该类别下有 1 个回答。邀请回答硬件工程师1 该类别下有 1 个回答。邀请回答小野七七该类别下有 1 个回答。邀请回答秋风宜人该类别下有 1 个回答。邀请回答麦特拉布该类别下有 1 个回答。邀请回答 wjwierw 该类别下有 1 个回答。邀请回答 w97669665 该类别下有 1 个回答。邀请回答 hzp_bbs1 该类别下有 1 个回答。邀请回答我在线中该类别下有 1 个回答。邀请回答鲁林该类别下有 1 个回答。邀请回答 tutu304725938 该类别下有 1 个回答。邀请回答 cd340823 该类别下有 1 个回答。邀请回答举报爱与友人相关推荐 • 无法使用MYRIAD在OpenVINO trade中运行YOLOv7自定义模型怎么解决？ 243 • 是否可以使用IR实施OpenVINO运行时推断管道？ 469 • 如何将PyTorch模型与OpenVINO trade结合使用？ 575 • 将ONNX模型转换为中间表示（IR）后，精度下降了怎么解决？ 357 • 将YOLOv5 ONNX模型转换为中间表示（IR）格式时，收到与节点相关的错误怎么解决 648 • GPU上OpenVINO基准测试的推断模型的默认参数与CPU上的参数不同是为什么？ 344 • 如何提高YOLOv4模型的推理性能？ 549 • 运行多个进程时，OpenVINO trade推断时间会增加是为什么？如何解决？ 223 • 使用OpenVINO trade 2021版运行Face_recognition_demo时报错怎么解决？ 200 • 如何在执行converter.py脚本时指定模型优化器的路径？ 238 1个回答

要转换 Detectron2 模型，请按照 Colab 教程使用 PyTorch* 训练和推断 Detectron2* 模型，并按照下面概述的步骤将模型转换为 ONNX* 格式，然后转换为 IR 格式。

通过引用官方的 Detectron2，colab2 教程，使用带跟踪功能的 export_model.py，将 Detectron2* PyTorch* 模型导出到 ONNX* 格式。$ python export_model.py --config-file ./output.yaml --sample-image ./new.jpg --output ./model/ --export-method tracing --format onnx MODEL。WEIGHTS ./output/model_final.pth 模型。DEVICE cpu
对于 output.yaml，通过在 Colab 教程中添加以下行来创建配置文件：print（cfg.dump（））
和 f 一同打开（“output.yaml”，“w”）：
f.write（cfg.dump（））
安装通过 pip* OpenVINO： $ pip 安装 openvino-dev
转换 ONNX* 模型到中间表示（IR）： $ mo --input_model ./model/model.onnx
通过 OpenVINO 运行benchmark_app推理：使用 ONNX* 型号：
$ benchmark_app -m model.onnx -d CPU -niter 100 -api async - 提示吞吐量
$ benchmark_app -m model.onnx -d CPU -niter 100 -api async - 提示延迟
使用 IR 模型：
$ benchmark_app -m model.xml -d CPU -niter 100 -api async - 提示吞吐量
$ benchmark_app -m model.xml -d CPU -niter 100 -api async - 提示延迟

要转换 Layout-LM 模型。按照下面概述的步骤转换 布局-LM 模型和推理OpenVINO™。

Convert PyTorch* 模型到 ONNX* 模型格式： $ pip 安装变压器 [onnx]
$ python3 -m 变压器.onnx --model=microsoft/layoutlm-base-uncased onnx
安装通过 pip* OpenVINO： $ pip 安装 openvino-dev
转换 ONNX* 模型到中间表示（IR）： $ mo --input_model ./onnx/model.onnx
使用 OpenVINO 运行benchmark_app以进行推理：使用 ONNX* 型号：
$ benchmark_app -m onnx/model.onnx -d CPU -niter 100 -api async - 提示吞吐量 - data_shape input_ids[1，1]，bbox [1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
$ benchmark_app -m onnx/model.onnx -d CPU -niter 100 -api async - 提示延迟 -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
使用 IR 模型：
$ benchmark_app -m model.xml -d CPU -niter 100 -api async -hint 吞吐量 - data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
$ benchmark_app -m model.xml -d CPU -niter 100 -api async -hint latency -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]

注意输入形状（由上面命令 data_shape 定义）可能基于用例不同。