Также известен как алгоритмическое дифференцирование, короткий AD. Методы, которые используют процедуру оценки числовой функции и превращают ее в процедуру, которая дополнительно оценивает производные по направлению, градиенты, производные более высокого порядка.

Методы включают перегрузку операторов

• для двойных чисел, перегрузку операторов
• для извлечения последовательности операций в виде ленты,
• анализ и преобразование кода. ]

Для функции с входом измерения n и выходом измерения n, требующей L элементарных операций для ее оценки, одна производная по направлению или один градиент могут быть вычислены с помощью операций 3 * L.

Точность производной автоматически почти равна точности оценки функции.

Другим методом дифференцирования являются

• символьное дифференцирование, где сначала получают расширенное выражение для производных, которое может быть большим в зависимости от реализации, и
• числовое дифференцирование на различия, которые обеспечивают меньшую точность при сопоставимых усилиях или сопоставимую точность при более высоких усилиях.

См. Википедия и autodiff.org