[问答]

GPU上OpenVINO基准测试的推断模型的默认参数与CPU上的参数不同是为什么？

问答对人有帮助，内容完整，我也想知道答案 0 在 CPU 和 GPU 上推断出具有 OpenVINO™ 基准的相同模型： benchmark_app.exe -m model.xml -d CPU benchmark_app.exe -m model.xml -d CPU 导致的 GPU 延迟和吞吐量高于 CPU。无法确定为什么 GPU 上的延迟和吞吐量都高于 CPU，因为低延迟会导致高吞吐量。 0
2023-8-15 06:43:46　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × 四哥201311 该类别下有 4 个回答。邀请回答胡政鹏邮箱该类别下有 3 个回答。邀请回答 zhangminmin 该类别下有 3 个回答。邀请回答请叫我杰西卡该类别下有 3 个回答。邀请回答 jackhui 该类别下有 3 个回答。邀请回答 jsqueh 该类别下有 3 个回答。邀请回答 jinheng 该类别下有 3 个回答。邀请回答大洼球王该类别下有 3 个回答。邀请回答 qiangqzuo 该类别下有 3 个回答。邀请回答 hwp0415229 该类别下有 3 个回答。邀请回答 dfzvzs 该类别下有 3 个回答。邀请回答 andyfly7 该类别下有 2 个回答。邀请回答 qwer110110 该类别下有 2 个回答。邀请回答 fgfFsG 该类别下有 2 个回答。邀请回答 uwufjwer 该类别下有 2 个回答。邀请回答双11 该类别下有 2 个回答。邀请回答 kingnet1222 该类别下有 2 个回答。邀请回答邓长生该类别下有 2 个回答。邀请回答爱与友人该类别下有 2 个回答。邀请回答 xiaolu511 该类别下有 2 个回答。邀请回答举报王萍相关推荐 • 如何将Detectron2和Layout-LM模型转换为OpenVINO中间表示（IR）和使用CPU插件进行推断？ 364 • 运行多个进程时，OpenVINO trade推断时间会增加是为什么？如何解决？ 393 • 推断FP32模型格式的速度比CPU上的FP16模型格式快是为什么？ 442 • 请问在新CPU上推断INT8模型的速度是否比旧CPU快？ 462 • 为什么Caffe模型可以直接与OpenVINO™工具套件推断引擎API一起使用，而无法转换为中间表示（IR）？ 58 • 请问OpenVINO™工具套件英特尔®Distribution是否与Windows® 10物联网企业版兼容？ 86 • 是否可以使用IR实施OpenVINO运行时推断管道？ 839 • 为什么无法检测到OpenVINO™工具套件中的英特尔®集成图形处理单元？ 77 • 在Raspberry Pi上从源代码构建OpenVINO 2021.3收到错误怎么解决？ 868 • 无法在AMD Ryzen CPU上运行OpenVINO trade怎么解决？ 1266 1个回答

答案对人有帮助，有参考价值 0 延迟可测量同步处理单个输入所需的推断时间。使用默认参数运行OpenVINO™基准时，它是在异步模式下推断。因此，延迟测量处理推理请求数量所需的总推断时间。此外，在具有默认参数的 CPU 上运行基准应用程序时，会创建 4 个推理请求，而在使用默认参数的 GPU 上运行基准应用程序时，会创建 16 个推理请求。因此，GPU 推断的延迟高于 CPU。在 CPU 和 GPU 上运行基准应用程序时指定相同数量的推理请求以进行相当的比较： benchmark_app.exe -m model.xml -d CPU -nireq 4 benchmark_app.exe -m model.xml -d CPU -nireq 4

2023-8-15 10:20:26 评论举报李龙