Действительно ли возможно использовать TDD с алгоритмами обработки изображений?

Когда я занимаюсь разработкой, связанной с компьютерным зрением, TDD - это почти стандартная практика. У вас есть изображения и что-то, что вы хотите измерить. Шаг первый - вручную пометить (большое) подмножество изображений. Это дает вам тестовые данные. Затем процесс (для полной корректности) состоит в том, чтобы разделить ваш набор тестов на две части: «набор для разработки» и «набор для проверки». Вы повторяете циклы разработки до тех пор, пока ваш алгоритм не станет достаточно точным в применении к набору разработки. Затем вы проверяете результат на наборе для верификации (чтобы не перетренироваться по каким-то странным аспектам вашего набора для разработки. Это чистейшая разработка, управляемая тестированием.

Обратите внимание, что вы тестируете две разные вещи при разработке подобного программного обеспечения, сильно зависящего от алгоритмов.

1. Регулярные ошибки, которые вы будете получать в своем программном обеспечении. Их можно протестировать с использованием "обычных" методов TDD.
2. Производительность вашего алгоритма, для которой вам нужна система, описанная выше.

Программа может быть свободна от ошибок согласно (1), но не совсем согласно (2) . Например, очень простой алгоритм сегментации изображения гласит: «Левая половина изображения - это один сегмент, правая половина - это другой сегмент. Эту программу можно легко избавить от ошибок в соответствии с (1). Другое дело, если он удовлетворяет ваши потребности в производительности. Не путайте эти два аспекта и не позволяйте одному мешать другому.

В частности, я ' Я посоветую вам сначала разработать алгоритм, с ошибками и всем остальным, а затем использовать TDD с алгоритмом (а не кодом!) и, возможно, другими требованиями программного обеспечения в качестве спецификации для отдельного процесса TDDevelopment. Выполнение модульных тестов для небольших временных вспомогательных функций в рамках некоторого достаточно сложного алгоритма, находящегося в стадии интенсивной разработки, является пустой тратой времени и усилий.

Я думаю, лучшее, что вы можете сделать, - это протестировать простые, математически четко определенные строительные блоки, из которых состоит ваш алгоритм, такие как линейные фильтры, морфологические операции, БПФ, вейвлет-преобразования и т. Д. Это часто бывает сложно достаточно для эффективной и правильной реализации для всех пограничных случаев, поэтому их проверка имеет смысл.

Для реального алгоритма, такого как сегментация изображений, TDD не имеет большого смысла IMHO. Я даже не думаю, что здесь есть смысл юнит-тесты. Конечно, вы можете писать тесты, но они всегда будут очень хрупкими. Типичный алгоритм обработки изображений требует нескольких параметров, которые необходимо настроить для достижения желаемых результатов (процесс, который нельзя автоматизировать и который не может быть выполнен до того, как алгоритм заработает). Результаты алгоритма сегментации также не определены четко, но ваш модульный тест может проверять только какое-то четко определенное свойство. Алгоритм может иметь это свойство, не делая того, что вы хотите, или наоборот, поэтому результат вашего теста не очень информативен. Кроме того, чтобы проверить результаты алгоритма сегментации, вам нужно написать много довольно сложного кода, в то время как визуальная проверка результатов довольно проста , и вам все равно придется это делать .

Я думаю, что в как это похоже на пользовательские интерфейсы модульного тестирования: тестирование фактических четко определенных функций (например, когда пользователь нажимает эту кнопку, какой-то элемент добавляется в этот список, и эта метка показывает этот текст ...) относительно легко и может сохранить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

Алгоритм может иметь это свойство, не делая того, что вы хотите, или наоборот, поэтому результат вашего теста не очень информативен. Кроме того, чтобы проверить результаты алгоритма сегментации, вам нужно написать много довольно сложного кода, в то время как визуальная проверка результатов довольно проста , и вам все равно придется это делать .

Я думаю, что в это похоже на пользовательские интерфейсы модульного тестирования: тестирование фактических четко определенных функций (например, когда пользователь нажимает эту кнопку, какой-то элемент добавляется в этот список, и эта метка показывает этот текст ...) относительно легко и может сохранить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

Алгоритм может иметь это свойство, не делая того, что вы хотите, или наоборот, поэтому результат вашего теста не очень информативен. Кроме того, чтобы проверить результаты алгоритма сегментации, вам нужно написать много довольно сложного кода, в то время как визуальная проверка результатов довольно проста , и вам все равно придется это делать .

Я думаю, что в как это похоже на пользовательские интерфейсы модульного тестирования: тестирование фактических четко определенных функций (например, когда пользователь нажимает эту кнопку, какой-то элемент добавляется в этот список, и эта метка показывает этот текст ...) относительно легко и может сохранить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

так что ваш результат теста не очень информативен. Кроме того, чтобы проверить результаты алгоритма сегментации, вам нужно написать много довольно сложного кода, в то время как визуальная проверка результатов довольно проста , и вам все равно придется это делать .

Я думаю, что в это похоже на пользовательские интерфейсы модульного тестирования: тестирование фактических четко определенных функций (например, когда пользователь нажимает эту кнопку, какой-то элемент добавляется в этот список, и эта метка показывает этот текст ...) относительно легко и может сохранить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

так что ваш результат теста не очень информативен. Кроме того, чтобы проверить результаты алгоритма сегментации, вам нужно написать много довольно сложного кода, в то время как визуальная проверка результатов довольно проста , и вам все равно придется это делать .

Я думаю, что в это похоже на пользовательские интерфейсы модульного тестирования: тестирование фактических четко определенных функций (например, когда пользователь нажимает эту кнопку, какой-то элемент добавляется в этот список, и эта метка показывает этот текст ...) относительно легко и может сохранить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

в то время как визуальная проверка результатов довольно проста , и вы все равно должны это делать .

Я думаю, что это похоже на модульное тестирование пользовательских интерфейсов: тестирование фактических четко определенных функций (например, когда пользователь нажимает эту кнопку, в этот список добавляется какой-то элемент, и эта метка показывает, что текст ...) относительно прост и может сэкономить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

в то время как визуальная проверка результатов довольно проста , и вы все равно должны это делать .

Я думаю, что это похоже на модульное тестирование пользовательских интерфейсов: тестирование реальных четко определенных функций (например, когда пользователь нажимает эту кнопку, в этот список добавляется какой-то элемент, и эта метка показывает, что текст ...) относительно прост и может сэкономить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

) относительно прост и может сэкономить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

) относительно прост и может сэкономить много работы и отладки. Но ни один тест в мире не скажет вам, удобен ли ваш пользовательский интерфейс, понятен или красив, потому что эти вещи просто плохо определены.

как минимум вы можете использовать тесты для регрессионного тестирования. Например, предположим, что у вас есть 5 тестовых изображений для определенного алгоритма сегментации. Вы запускаете 5 изображений через код и вручную проверяете результаты. Результаты, если они верны, хранятся где-нибудь на диске, и будущие выполнения этих тестов сравнивают сгенерированные результаты с сохраненными результатами.

таким образом, если вы когда-нибудь внесете критическое изменение, вы его поймаете, но что более важно вам нужно только один раз пройти (правильный) цикл ручного тестирования.

Я бы сказал, что TDD намного проще в таком приложении, чем в веб-приложении. У вас есть полностью детерминированный алгоритм, который нужно протестировать. Вам не нужно беспокоиться о нечетких вещах, таких как ввод пользователя и рендеринг HTML.

Ваш алгоритм состоит из нескольких шагов. Каждый из этих шагов можно проверить. Если вы дадите им фиксированный, известный ввод, они должны дать фиксированный, известный выход. Так что напишите тест для этого. Вы не можете проверить, что алгоритм "правильный" в целом, но вы можете предоставить ему данные, для которых вы уже предварительно вычислили правильный результат, чтобы вы могли убедиться, что он дает правильный результат в , что чехол.

Я не особо разбираюсь в вашей проблеме, поэтому не знаю ее горячих точек. Однако, мы надеемся, что окончательный результат вашего алгоритма будет детерминированным, поэтому вы можете выполнить его функциональное тестирование. Конечно, вам нужно будет определить «заведомо хороший» результат. Я знаю, что TDD выполняется на графических библиотеках (точнее, VTK). Сравнение выполняется на изображении окончательного результата, пиксель за пикселем. Не вдаваясь в такие подробности, если у вас есть заведомо хороший результат, вы можете выполнить md5 результата теста и сравнить его с md5 заведомо хорошего.

Что касается модульного тестирования, я почти уверен, что вы можете протестировать индивидуальные процедуры. Это заставит вас иметь очень детальный стиль разработки.

TDD в обработке изображений имеет смысл только для детерминированных задач, таких как:

• арифметика изображения
• генерация гистограммы
• и так далее ..

Однако TDD не подходит для алгоритмов выделения признаков, таких как:

• обнаружение краев
• сегментация
• обнаружение углов

... поскольку ни один алгоритм не может идеально решить такого рода проблемы для всех изображений.

Возможно, вы захотите взглянуть на этот документ