百度昆仑芯R200下，使用Paddle Inference如何指定模型运行精度（如INT8）？

[czp97]

请提出你的问题 Please ask your question

Paddle Inference 官方教程 使用XPU进行预测

在R200上部署yolov5s模型时，需要测试INT8模型的推理速度与推理精度。
官方教程在paddle.inference.Config.enable_xpu()中设置计算精度，但在下方注释中提到

# gemm 计算精度。可选值为：0（int8）、1（int16）、2（int31）
# 备注：gemm_compute_precision 对量化模型中的量化算子不生效
# 备注：目前仅使用 Paddle-Lite 推理时生效

想请教一下，Paddle Inference是否支持在R200上指定计算精度进行推理，如果支持应该怎么使用？

[hong19860320]

请提出你的问题 Please ask your question

Paddle Inference 官方教程 使用XPU进行预测

在R200上部署yolov5s模型时，需要测试INT8模型的推理速度与推理精度。 官方教程在paddle.inference.Config.enable_xpu()中设置计算精度，但在下方注释中提到

# gemm 计算精度。可选值为：0（int8）、1（int16）、2（int31）
# 备注：gemm_compute_precision 对量化模型中的量化算子不生效
# 备注：目前仅使用 Paddle-Lite 推理时生效

想请教一下，Paddle Inference是否支持在R200上指定计算精度进行推理，如果支持应该怎么使用？

这个是动态量化，目前只是透传给 Paddle Lite 生效，Paddle Inference 不支持该参数，可以尝试跑 PTQ 量化后的模型。

[czp97]

请提出你的问题 Please ask your question

Paddle Inference 官方教程 使用XPU进行预测
在R200上部署yolov5s模型时，需要测试INT8模型的推理速度与推理精度。 官方教程在paddle.inference.Config.enable_xpu()中设置计算精度，但在下方注释中提到

# gemm 计算精度。可选值为：0（int8）、1（int16）、2（int31）
# 备注：gemm_compute_precision 对量化模型中的量化算子不生效
# 备注：目前仅使用 Paddle-Lite 推理时生效

想请教一下，Paddle Inference是否支持在R200上指定计算精度进行推理，如果支持应该怎么使用？

这个是动态量化，目前只是透传给 Paddle Lite 生效，Paddle Inference 不支持该参数，可以尝试跑 PTQ 量化后的模型。

还想请教一下几个问题：
1、这个透传指Paddle Lite，是指我在同一个运行文件中，导入Paddle Inferece的Config类进行精度设置，然后再导入Paddle Lite运行模型吗？

2、使用PaddleSlim进行ResNet50模型的Post量化，量化后的模型在Paddle Inferece下推理耗时相较于量化前翻倍，且XPU利用率长期处于5%以下，这是什么原因？

3、之前在PaddleSlim的Issue下看到，PaddleSlim量化生成的模型是fake int8的，需要在Paddle Lite下转换成int8模型运行，那么PTQ量化后的模型也是fake int8的吗？还是可以直接在Paddle Inference中运行？