Любые визуализации процесса принятия решений нейронной сетью при распознавании изображений?

Я зачислен на курс Coursera MLи только начал изучать нейронные сети.

Одна вещь, которая меня действительно озадачивает, это то, как легко распознать что-то настолько «человеческое», например, рукописную цифру, когда вы найдете хорошие веса для линейных комбинаций.

Это еще более безумно, когда вы понимаете, что что-то вроде абстрактного (например, автомобиль) можно распознать, просто найдя некоторые действительно хорошиепараметры для линейных комбинаций, объединив их и скормив друг другу.

Комбинации линейных комбинаций гораздо более выразимы, чем я когда-то думал.
Это заставило меня задаться вопросом, можно ли визуализировать процесс принятия решений NN, по крайней мере, в простых случаях.

Например, если мои входные данные представляют собой изображение в оттенках серого 20x20 (т. е. всего 400 объектов), а выходные данные представляют собой один из 10 классов, соответствующих распознаваемым цифрам, мне бы хотелось увидеть какое-то визуальное объяснение , какие каскады линейных комбинации привели НС к заключению.

Я наивно предполагаю, что это может быть реализовано как визуальная подсказка поверх распознаваемого изображения, может быть, карта температуры, показывающая «пиксели, которые больше всего повлияли на решение», или что-то, что помогает понять, как нейронная сеть работала в конкретном случае.

Есть ли демонстрация нейронной сети, которая делает именно это?