[deploee] upload your train config

[tpoisonooo]

注意版本
注意版本
注意版本
这是 mmdeploy 和 mmcls 等算法的版本对照表。硬件模型库用的是这些：

mmdeploy	mmengine	mmcv	mmdet	mmpretrain/mmdet3d and others
1.2.0	0.8.1	2.1.0	3.1.0	1.1.0+

例如硬件模型库安装了如下版本组合，需要你也用这套版本：

用 openmmlab 自带训练配置

训练配置，就是训练模型用的配置。不要不要不要提交 mmdeploy 文件夹里的任何文件。

如果用 mmlab 自带的配置和权重，输入配置文件在 codebase（如 mmdet/mmpretrain/mmpose） 里的 相对路径 即可 。

以 mmpretrain mobilenet_v2 为例，输入 configs/mobilenet_v2/mobilenet-v2_8xb32_in1k.py （不要用 windows 的右斜杠 \）

模型训练配置 UI 输入框失焦后，UI 会尝试自动填充 pth 地址，3 秒内找不到就不填

如果没有填充，就要自己给地址，例如 https://download.openmmlab.com/mmclassification/v0/mobilenet_v2/mobilenet_v2_batch256_imagenet_20200708-3b2dc3af.pth ；当然也可以传自己训的 pth

上传自己的训练配置和 pth

你可能要轻微修改分类个数、微调模型结构，这时要上传个人训练配置和 pth。

mmengine.Config 配置文件是嵌套的、有相对路径引用。
所以要消除引用关系，形成一个独立的 config 文件。毕竟我不知道你改了什么

以 mobilenetv2 为例，先加载自己魔改过的训练配置、形成独立文件：

$ cd path/to/mmpretrain
$ cat load_save.py  #  自己复制、执行这 2 行：
import mmengine
mmengine.Config.fromfile("configs/mobilenet_v2/mobilenet-v2_8xb32_in1k.py").dump("submit_config.py")
# 这里的 mobilenet-v2 换成你自己改过的训练配置
$ ls submit_config.py

独立的 config.py 可以点击这里下载。

• 对于自己上传的配置，路径不能出现 ../xxxx.py 这种相对引用
• 对于自己的配置，就得上传自己的 pth 、不能再用 官方pth。

mmpose 和注意事项

• 对于 projects/rtmpose/rtmdet，需要提供 train_config https 下载链接，不能是相对路径。因为 mmpose repo 里没法解析 mmdet 的配置。
• 训练配置可以给 url 链接，但得给能 wget 下载的链接
  • 错误操作：https://github.com/open-mmlab/mmyolo/blob/main/configs/rtmdet/distillation/kd_m_rtmdet_l_neck_300e_coco.py 就不能 wget
  • 正确示范：https://raw.githubusercontent.com/open-mmlab/mmyolo/main/configs/rtmdet/distillation/kd_m_rtmdet_l_neck_300e_coco.py 可以下载，这种可以用

完整的任务配置参考，转好的 mmpose/projects/rtmdet/person/nano 下载链接：

{
    "sdk":true,
    "type":"convert_model",
    "pth_url":"https://openmmlab-deploee.oss-cn-shanghai.aliyuncs.com/tmp/pth/erJvBb.pth",
    "runtime":"ncnn",
    "codebase":"mmdet-det",
    "test_data":"https://raw.githubusercontent.com/open-mmlab/mmpose/v0.29.0/tests/data/coco/000000000785.jpg",
    "input_shape":"",
    "codebase_url":"https://github.com/open-mmlab/mmdetection/",
    "mmdeploy_url":"https://github.com/open-mmlab/mmdeploy/",
    "quantization":false,
    "dynamic_input":false,
    "codebase_branch":"v1.1.0",
    "mmdeploy_branch":"v1.2.0",
    "train_config_path":"https://raw.githubusercontent.com/open-mmlab/mmpose/v1.1.0/projects/rtmpose/rtmdet/person/rtmdet_nano_320-8xb32_coco-person.py"
}

【知识介绍】如何选择 runtime

• tensorrt
  nvidia 的 tensorrt 是最快的。
  但几乎没有兼容性（trt841 不兼容 trt840），例如 cu102+trt841+cudnn76 转出来，是绑定版本的，使用的时候必须安装 cuda10.2/trt8.4.1/cudnn7.6； 同理 jetson 也是
  sm 的意思：nvidia GPU 之间有个微弱的兼容性，叫 compute capability。只要环境配对，3080 和 3090 的 sm 相同其实能兼容。如果还没懂，看这个官方文档

• ncnn
  ncnn 兼容性非常好，已适配过新老手机、服务器、PC、工控、几十元小板子。
  ncnn 尽管性能不是最优的，一旦转换出来，一定是场景最广的

• onnxruntime
  onnxruntime 实现了 onnx 几乎所有算子，所以选择 onnxruntime，转换成功率是最高的。缺点在性能优化，其实很慢

• openvino
  只有 intel x86 CPU 能用，适合工控机。 如果要跑在 mac 上，要注意某些 mac 是 arm CPU

• torchscript
  就是 pytorch 的 C++ 端。作为另一种中间表达，pnnx 很喜欢。或许适合搞研究，没有直接的业务价值

FAQ

1. 想用老版本的 mmcls v0.x.y 版本怎么办？

• 硬件模型库只能跟随上游算法更到最新， v0.x.y 得自己在本地转换

2. 如果改了 codebase 源码、或加了自定义 backbone，而不只调整配置怎么办？

• 我没法执行未知的代码
• 不如你把修改 PR 上去，我再升版本

3. 个人私有的 config 和 pth 保存么？

• 业务语义不保存
• 工作目录在转换成功之后会清理；失败会留最近一次的，仅用于复现问题。可以看 mobilenet_v2 转换日志， work_dir 在 /tmp 目录，系统随时会清理

[HePengguang]

对不起。还是不太明白如果我想在这个平台上测试魔改过的mmseg（已经转换成了tensorrt），想测试tensorrt的速度，应该怎么上传配置文件呢？还有就是对本地的mmdeploy版本有要求吗？看网页提示是上传mmdeploy的zip，但试了几次似乎都不太对，出的报告里面有error。不知道zip里具体应该包含哪些内容。

[HePengguang]

请问这里的意思是，如果加了一些自定义模块在mmseg原始配置文件里，比如CBAM，这个平台就不能用了吗？需要提交PR才行吗。谢谢您的回答！

[tpoisonooo]

不能。我没法让平台运行非官方代码。

[HePengguang]

您好！就比如我想测试ddrnet的tensorrt，它里面有个DAPPM结构，我修改了DAPPM，但这在配置文件里体现不出来，应该怎么上传正确的文件呀？🙁🙁

[tpoisonooo]

如果白嫖硬件模型库的话，合理的流程：

1. 发 PR 给 mmseg，reveiw & merge
2. 通知我，有这个 feature 的 mmseg 版本
3. 我升级平台版本

[HePengguang]

好的十分感谢！我先学习一下这个流程

[HePengguang]

open-mmlab/mmsegmentation#3432

[HePengguang]

您好，我提交了PR，但这是我第一次提交PR，不知道能否通过。总之感谢您的回复和帮助，谢谢~！

[HePengguang]

还是有问题，想测试任意一个tensorrt模型不知道应该提交哪些文件。

我想测试DDRNet，使用的是原始配置文件“ddrnet_23_in1k-pre_2xb6-120k_cityscapes-1024x1024.py”，只修改了cityscapes中预处理crop_size，以及num_classes对应修改为自己的数据集4类，模型结构一点都不动。修改后的配置文件命名为“ddrnet_23_in1k-pre_2xb6-6k_cityscapes-224x224.py”。

然后我把修改后的数据集配置、模型配置、转换后的tensorrt模型都打包在一个zip上传。

但结果还是报错，无法执行，报错如下。我不知道是什么原因导致的，水平也非常有限，麻烦您方便的时候详细地解答一下我应该怎么做，十分感谢！我想这种应该是不需要提交PR的吧？因为没有修改模型结构。

我想使用这个平台的一个重要原因是，我现在手上只有一块jeston nano，似乎不支持部署mmseg-1.x，而ddrnet是mmseg-1.x才更新的。顺便请问jeston nano可以部署mmseg-1.x吗？

[yangzhiyin]

这是 mmdeploy 和 mmcls 等算法的版本对照表在哪里维护？我用的mmdeploy1.3.1