Я сохранил контрольную точку и остановил ноутбук ipython. Затем я перезапустил его, что решило проблему.
Я запустил оригинальный код CIFAR10 multi GPU и проверил результаты тензорной доски CIFAR10, которая похожа на мой график. Итак, мой вывод - мой график в порядке.