Я думаю, что это случай переобучения, как отмечали предыдущие комментарии. Переполнение может быть результатом большого отклонения в наборе данных. Когда вы обучали CNN, он показал хорошее соотношение к уменьшению ошибки обучения, создавая более сложную модель. Более сложные модели производят переобучение, и это можно заметить, когда ошибка проверки имеет тенденцию к увеличению.
Оптимизатор Адама заботится о скорости обучения, экспоненциальном распаде и вообще оптимизации модели, но он не будет предпринимать никаких действий против переобучения. Если вы хотите уменьшить его (переобучение), вам нужно будет добавить метод регуляризации, который будет наказывать большие значения весов в модели.
Подробнее об этом можно прочитать в книге углубленного изучения: http://www.deeplearningbook.org/contents/regularization.html