DenseNet.md

DenseNet 系列

---

目录

• 1. 模型介绍
  • 1.1 模型简介
  • 1.2 模型指标
  • 1.3 Benchmark
    • 1.3.1 基于 V100 GPU 的预测速度
    • 1.3.2 基于 T4 GPU 的预测速度
• 2. 模型快速体验
• 3. 模型训练、评估和预测
• 4. 模型推理部署
  • 4.1 推理模型准备
  • 4.2 基于 Python 预测引擎推理
  • 4.3 基于 C++ 预测引擎推理
  • 4.4 服务化部署
  • 4.5 端侧部署
  • 4.6 Paddle2ONNX 模型转换与预测

1. 模型介绍

1.1 模型简介

DenseNet 是 2017 年 CVPR best paper 提出的一种新的网络结构，该网络设计了一种新的跨层连接的 block，即 dense-block。相比 ResNet 中的 bottleneck，dense-block 设计了一个更激进的密集连接机制，即互相连接所有的层，每个层都会接受其前面所有层作为其额外的输入。DenseNet 将所有的 dense-block 堆叠，组合成了一个密集连接型网络。密集的连接方式使得 DenseNe 更容易进行梯度的反向传播，使得网络更容易训练。

该系列模型的 FLOPs、参数量以及 T4 GPU 上的预测耗时如下图所示。

1.2 模型指标

Models	Top1	Top5	Reference top1	Reference top5	FLOPs (G)	Params (M)
DenseNet121	0.757	0.926	0.750		5.690	7.980
DenseNet161	0.786	0.941	0.778		15.490	28.680
DenseNet169	0.768	0.933	0.764		6.740	14.150
DenseNet201	0.776	0.937	0.775		8.610	20.010
DenseNet264	0.780	0.939	0.779		11.540	33.370
DPN68	0.768	0.934	0.764	0.931	4.030	10.780
DPN92	0.799	0.948	0.793	0.946	12.540	36.290
DPN98	0.806	0.951	0.799	0.949	22.220	58.460
DPN107	0.809	0.953	0.802	0.951	35.060	82.970
DPN131	0.807	0.951	0.801	0.949	30.510	75.360

1.3 Benchmark

1.3.1 基于 V100 GPU 的预测速度

Models	Size	Latency(ms) bs=1	Latency(ms) bs=4	Latency(ms) bs=8
DenseNet121	224	3.22	6.25	8.20
DenseNet161	224	6.83	13.39	18.34
DenseNet169	224	4.81	9.53	11.94
DenseNet201	224	6.15	12.70	15.93
DenseNet264	224	9.05	19.57	23.84
DPN68	224	8.18	11.40	14.82
DPN92	224	12.48	20.04	25.10
DPN98	224	14.70	25.55	35.12
DPN107	224	19.46	35.62	50.22
DPN131	224	19.64	34.60	47.42

备注： 精度类型为 FP32，推理过程使用 TensorRT-8.0.3.4。

1.3.2 基于 T4 GPU 的预测速度

Models	Size	Latency(ms) FP16 bs=1	Latency(ms) FP16 bs=4	Latency(ms) FP16 bs=8	Latency(ms) FP32 bs=1	Latency(ms) FP32 bs=4	Latency(ms) FP32 bs=8
DenseNet121	224	4.16436	7.2126	10.50221	4.40447	9.32623	15.25175
DenseNet161	224	9.27249	14.25326	20.19849	10.39152	22.15555	35.78443
DenseNet169	224	6.11395	10.28747	13.68717	6.43598	12.98832	20.41964
DenseNet201	224	7.9617	13.4171	17.41949	8.20652	17.45838	27.06309
DenseNet264	224	11.70074	19.69375	24.79545	12.14722	26.27707	40.01905
DPN68	224	11.7827	13.12652	16.19213	11.64915	12.82807	18.57113
DPN92	224	18.56026	20.35983	29.89544	18.15746	23.87545	38.68821
DPN98	224	21.70508	24.7755	40.93595	21.18196	33.23925	62.77751
DPN107	224	27.84462	34.83217	60.67903	27.62046	52.65353	100.11721
DPN131	224	28.58941	33.01078	55.65146	28.33119	46.19439	89.24904

备注： 推理过程使用 TensorRT-8.0.3.4。

2. 模型快速体验

安装 paddlepaddle 和 paddleclas 即可快速对图片进行预测，体验方法可以参考ResNet50 模型快速体验。

3. 模型训练、评估和预测

此部分内容包括训练环境配置、ImageNet数据的准备、该模型在 ImageNet 上的训练、评估、预测等内容。在 ppcls/configs/ImageNet/DenseNet/ 中提供了该模型的训练配置，启动训练方法可以参考：ResNet50 模型训练、评估和预测。

4. 模型推理部署

4.1 推理模型准备

Paddle Inference 是飞桨的原生推理库， 作用于服务器端和云端，提供高性能的推理能力。相比于直接基于预训练模型进行预测，Paddle Inference可使用 MKLDNN、CUDNN、TensorRT 进行预测加速，从而实现更优的推理性能。更多关于Paddle Inference推理引擎的介绍，可以参考Paddle Inference官网教程。

Inference 的获取可以参考 ResNet50 推理模型准备 。

4.2 基于 Python 预测引擎推理

PaddleClas 提供了基于 python 预测引擎推理的示例。您可以参考ResNet50 基于 Python 预测引擎推理 完成模型的推理预测。

4.3 基于 C++ 预测引擎推理

PaddleClas 提供了基于 C++ 预测引擎推理的示例，您可以参考服务器端 C++ 预测来完成相应的推理部署。如果您使用的是 Windows 平台，可以参考基于 Visual Studio 2019 Community CMake 编译指南完成相应的预测库编译和模型预测工作。

4.4 服务化部署

Paddle Serving 提供高性能、灵活易用的工业级在线推理服务。Paddle Serving 支持 RESTful、gRPC、bRPC 等多种协议，提供多种异构硬件和多种操作系统环境下推理解决方案。更多关于Paddle Serving 的介绍，可以参考Paddle Serving 代码仓库。

PaddleClas 提供了基于 Paddle Serving 来完成模型服务化部署的示例，您可以参考模型服务化部署来完成相应的部署工作。

4.5 端侧部署

Paddle Lite 是一个高性能、轻量级、灵活性强且易于扩展的深度学习推理框架，定位于支持包括移动端、嵌入式以及服务器端在内的多硬件平台。更多关于 Paddle Lite 的介绍，可以参考Paddle Lite 代码仓库。

PaddleClas 提供了基于 Paddle Lite 来完成模型端侧部署的示例，您可以参考端侧部署来完成相应的部署工作。

4.6 Paddle2ONNX 模型转换与预测

Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括TensorRT/OpenVINO/MNN/TNN/NCNN，以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。更多关于 Paddle2ONNX 的介绍，可以参考Paddle2ONNX 代码仓库。

PaddleClas 提供了基于 Paddle2ONNX 来完成 inference 模型转换 ONNX 模型并作推理预测的示例，您可以参考Paddle2ONNX 模型转换与预测来完成相应的部署工作。