[问答]

求助，为什么将不同的权重应用于模型会影响推理性能？

483 模型

问答对人有帮助，内容完整，我也想知道答案 0 生成两个 IR文件（相同的 .xml 文件，但不同的 .bin 文件）具有不同重量的类似模型，以不同的 fps （27fps 和 6fps）运行更多样化的权重是否会影响 Myriad X 上的推理性能？ 0
2023-8-15 07:00:25　　评论淘帖0 邀请回答您可以邀请以下用户，快速回答问题 × 四哥201311 该类别下有 4 个回答。邀请回答 jsqueh 该类别下有 3 个回答。邀请回答 jinheng 该类别下有 3 个回答。邀请回答大洼球王该类别下有 3 个回答。邀请回答 qiangqzuo 该类别下有 3 个回答。邀请回答 hwp0415229 该类别下有 3 个回答。邀请回答 dfzvzs 该类别下有 3 个回答。邀请回答胡政鹏邮箱该类别下有 3 个回答。邀请回答 zhangminmin 该类别下有 3 个回答。邀请回答请叫我杰西卡该类别下有 3 个回答。邀请回答 jackhui 该类别下有 3 个回答。邀请回答冰箱洗衣机该类别下有 2 个回答。邀请回答 h1654155957.9520 该类别下有 2 个回答。邀请回答 chm5 该类别下有 2 个回答。邀请回答维生素B2 该类别下有 2 个回答。邀请回答 C880U 该类别下有 2 个回答。邀请回答 wenminglang 该类别下有 2 个回答。邀请回答 andyfly7 该类别下有 2 个回答。邀请回答 qwer110110 该类别下有 2 个回答。邀请回答 fgfFsG 该类别下有 2 个回答。邀请回答举报张丽相关推荐 • 如何提高YOLOv4模型的推理性能？ 981 • 压缩模型会加速推理吗？ 333 • 使用rk3588多npu推理模型，模型总推理时间还增加了，这怎么解释 11673 • 神经处理单元IP VIP9000怎么样？ 2638 • 请问模型推理只用到了kpu吗？可以cpu，kpu，fft异构计算吗？ 288 • yolov7 onnx模型在NPU上太慢了怎么解决？ 717 • k210可以采集传感器的数据进行模型的推理吗？ 219 • tflite + XNNPACK代表对量化网络的推理不起作用是怎么回事？ 339 • 如何在MIMXRT1064评估套件上部署tflite模型？ 331 • pytorch模型转为rknn后没有推理结果 832 1个回答

答案对人有帮助，有参考价值 0 模型重量和精度（FP32、FP16、INT8）影响推断性能。使用 FP32 格式将导致重量的完整分布，并被称为单精度浮点。同时，FP16 和 INT8 格式均为压缩重量格式，尺寸被压缩为更小。这些压缩的权衡是模型的准确性，或者也称为量化错误。分配用于表示数据的位数越多，它们能代表的范围越宽，并且有可能意味着模型的越高精度。但是，更大的数据需要更大的内存空间来支持其存储，需要更高的内存带宽，并需要更多的计算资源和更多的时间被占用。英特尔® 发行版 OpenVINO™ 工具套件基准测试结果描述了不同重量格式或精度之间性能的明显差异。

2023-8-15 09:40:56 评论举报尹聪