Нейронные сети как универсальные аппроксиматоры

Формальное утверждение теоремы об универсальной аппроксимации утверждает, что нейронные сети с одним скрытым слой может аппроксимировать любую функцию, которая непрерывна на m-мерном единичном гиперкубе. Но как насчет функций, которые не являются непрерывными, известно ли что-нибудь о том, всегда ли они могут быть аппроксимированы нейронными сетями?

Например, возьмите функция, которая вычисляет n-ую цифру числа пи. Если я обучу какую-то единственную нейронную сеть скрытого слоя на этих данных: (n, n-я цифра числа Пи), сможет ли она в конечном итоге вернуть правильные значения для невидимых n? Как насчет нескольких нейронные сети со скрытыми слоями?