问题描述

训练过程中遇到的一个Bug，可能是跟Torch本身有关，如下图和题目所示，经过多轮训练，训练准确率开始收敛，但是验证准确率保持在10%左右不变。

排查手册

一般来说这表示模型本身可能存在问题，下面列出一个排查手册：

• 检查是否是数据问题，将验证集数据替换为训练数据，查看是否训练正常。
• 检查数据增强是否正常。
• 学习率是否设置过大，降低学习率防止过大的波动。
• 调整模型初始化方式，检查是否正常初始化模型。
• BN带来的问题，BN会导致数据分布不一致。

最终解决

实际上最终发现，在进行验证集测试的过程中，将model.eval() 注释掉，即可正常训练，这个很可能是某些版本torch中存在的隐藏Bug。

版本避坑

参考文献

https://github.com/apache/incubator-mxnet/issues/1968
https://blog.csdn.net/jbddygb/article/details/53365218