[问答]

如何将Detectron2和Layout-LM模型转换为OpenVINO中间表示（IR）和使用CPU插件进行推断？

问答对人有帮助，内容完整，我也想知道答案 0 无法确定如何将 Detectron2* 和 Layout-LM* 模型转换为OpenVINO™中间表示（IR）和使用 CPU 插件进行推断。 0
2023-8-15 06:23:58　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × 四哥201311 该类别下有 4 个回答。邀请回答 jsqueh 该类别下有 3 个回答。邀请回答 jinheng 该类别下有 3 个回答。邀请回答大洼球王该类别下有 3 个回答。邀请回答 qiangqzuo 该类别下有 3 个回答。邀请回答 hwp0415229 该类别下有 3 个回答。邀请回答 dfzvzs 该类别下有 3 个回答。邀请回答胡政鹏邮箱该类别下有 3 个回答。邀请回答 zhangminmin 该类别下有 3 个回答。邀请回答请叫我杰西卡该类别下有 3 个回答。邀请回答 jackhui 该类别下有 3 个回答。邀请回答 sansamp 该类别下有 2 个回答。邀请回答冰箱洗衣机该类别下有 2 个回答。邀请回答 h1654155957.9520 该类别下有 2 个回答。邀请回答 chm5 该类别下有 2 个回答。邀请回答维生素B2 该类别下有 2 个回答。邀请回答 C880U 该类别下有 2 个回答。邀请回答 wenminglang 该类别下有 2 个回答。邀请回答 andyfly7 该类别下有 2 个回答。邀请回答 qwer110110 该类别下有 2 个回答。邀请回答举报爱与友人相关推荐 • 为什么Caffe模型可以直接与OpenVINO™工具套件推断引擎API一起使用，而无法转换为中间表示（IR）？ 57 • 将ONNX模型转换为中间表示（IR）格式，收到了错误的输出是怎么回事？ 94 • 无法使用MYRIAD在OpenVINO trade中运行YOLOv7自定义模型怎么解决？ 360 • 使用myriad_compile将IR模型转换为blob后收到错误怎么解决？ 79 • 是否可以使用IR实施OpenVINO运行时推断管道？ 835 • 将YOLOv4模型转换为IR的说明，无法将模型转换为TensorFlow2格式怎么解决？ 105 • 如何将PyTorch模型与OpenVINO trade结合使用？ 1081 • 无法在ONNX运行时加载OpenVINO™中间表示（IR），为什么？ 125 • 如何将Keras H5模型转换为中间表示（IR）格式？ 105 • 将ONNX模型转换为IR后报错，怎么解决？ 67 1个回答

要转换 Detectron2 模型，请按照 Colab 教程使用 PyTorch* 训练和推断 Detectron2* 模型，并按照下面概述的步骤将模型转换为 ONNX* 格式，然后转换为 IR 格式。

通过引用官方的 Detectron2，colab2 教程，使用带跟踪功能的 export_model.py，将 Detectron2* PyTorch* 模型导出到 ONNX* 格式。$ python export_model.py --config-file ./output.yaml --sample-image ./new.jpg --output ./model/ --export-method tracing --format onnx MODEL。WEIGHTS ./output/model_final.pth 模型。DEVICE cpu
对于 output.yaml，通过在 Colab 教程中添加以下行来创建配置文件：print（cfg.dump（））
和 f 一同打开（“output.yaml”，“w”）：
f.write（cfg.dump（））
安装通过 pip* OpenVINO： $ pip 安装 openvino-dev
转换 ONNX* 模型到中间表示（IR）： $ mo --input_model ./model/model.onnx
通过 OpenVINO 运行benchmark_app推理：使用 ONNX* 型号：
$ benchmark_app -m model.onnx -d CPU -niter 100 -api async - 提示吞吐量
$ benchmark_app -m model.onnx -d CPU -niter 100 -api async - 提示延迟
使用 IR 模型：
$ benchmark_app -m model.xml -d CPU -niter 100 -api async - 提示吞吐量
$ benchmark_app -m model.xml -d CPU -niter 100 -api async - 提示延迟

要转换 Layout-LM 模型。按照下面概述的步骤转换 布局-LM 模型和推理OpenVINO™。

Convert PyTorch* 模型到 ONNX* 模型格式： $ pip 安装变压器 [onnx]
$ python3 -m 变压器.onnx --model=microsoft/layoutlm-base-uncased onnx
安装通过 pip* OpenVINO： $ pip 安装 openvino-dev
转换 ONNX* 模型到中间表示（IR）： $ mo --input_model ./onnx/model.onnx
使用 OpenVINO 运行benchmark_app以进行推理：使用 ONNX* 型号：
$ benchmark_app -m onnx/model.onnx -d CPU -niter 100 -api async - 提示吞吐量 - data_shape input_ids[1，1]，bbox [1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
$ benchmark_app -m onnx/model.onnx -d CPU -niter 100 -api async - 提示延迟 -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
使用 IR 模型：
$ benchmark_app -m model.xml -d CPU -niter 100 -api async -hint 吞吐量 - data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
$ benchmark_app -m model.xml -d CPU -niter 100 -api async -hint latency -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]

注意输入形状（由上面命令 data_shape 定义）可能基于用例不同。