用所给数据集训练时，LMDBDataset类中必须使用到backend='caffe'，请问是否有以backend='pickle'为基础的数据集？

[lolccsdz]

因为caffe框架所需要的cuda版本过低，现在一些模型可能会出现内部的包与cuda不兼容问题。而所给数据集必须用caffe读取，所以想问问是否有不需要caffe框架就能读取的数据集？非常感谢。（z17512553259@163.com）

[Zeqiang-Lai]

https://pan.baidu.com/s/1BkNYhb9CBtXnKsQjNwYFyg?_at_=1715835512451#list/path=%2Fsharelink486539321-639622829333524%2FDataset%2FDenoise%2FICVL_Train&parentPath=%2Fsharelink486539321-639622829333524 这个不知道是不是，我们实验用的是 pickle 的，

如果不是，可以自己转一下
https://github.com/bit-isp/HSIR/blob/cf6fd69e9f839ef4262d629ce1b11884c9b39fc0/hsir/data/dataset.py#L136

[lolccsdz]

训练时使用了网盘里的ICVL_31_100.db，会报错：_pickle.UnpicklingError: invalid load key, '\x08'
将LMDBDataset默认的backend='pickle'改为backend='caffe'，使用了caffe框架，才能训练。
请问这该如何修改？

[Zeqiang-Lai]

我之前的转换脚本找不到了，大概就是

需要用 caffe 读取，然后用 lmdb 再存一次，变成 pickle 格式的。可以参考原来的 lmdb build 函数

把这行修改成 pickle 格式序列化
https://github.com/Vandermode/QRNN3D/blob/78e0b5adaeaeb51d8ac7df17526090468a180745/utility/lmdb_data.py#L74

[lolccsdz]

非常感谢您的解答。