“Нормальное” отношение кодовой базы по сравнению с тестом утверждает проблемы, когда тест перестал работать?

Я в настоящее время работаю над проектом с некоторыми довольно значительными бизнес-правилами, где пространство задач 'обнаруживается', поскольку мы пишем решение (довольно типичный хаотический вид управления проектами вещи). Мы имеем достойное тестовое покрытие и полагаемся на них вполне немного, чтобы удостовериться, что наши изменения signficant ничего не аварийно завершают. Этот сценарий является видом вещи, которую зилоты модульного теста выделяют как главный пример тестирования программного обеспечения помощи быть сразу легко измененными с меньшим количеством дефектов и более быстрого завершения затем, если Вы не используете модульные тесты. Я дрожу для размышления о том, как я смог бы справиться без набора тестов.

Мой вопрос состоит в том, что, в то время как я, конечно, верю в значение поблочного тестирования (этим проектом является на самом деле TDD, но это не действительно релевантно вопросу), я задаюсь вопросом, как имеют других, о классической проблеме модульного теста наличия настолько большего количества кода к grok и поддерживают (т.е. сами тесты). Снова. нет сомнения, что в моем уме, что этот конкретный проект очень более обеспечен с хламом модульного теста затем без него, я также обеспокоен долгосрочной пригодностью для обслуживания тестов.

Существует несколько методов, которым я использовал следование совету других для помощи с этой проблемой. В целом,

1. мы создаем тестовые списки, которые находятся любой в 'зависимом' по сравнению с 'независимым' блоком. независимые тесты не требуют ничего, что не находится в управлении исходным кодом. Таким образом, любые вызовы к нашему уровню доступа к данным или дразнят или получение данных из XML-файла вместо реального дб, например. Зависимые тесты как имя предлагают, зависят от чего-то как файл конфигурации или дб или networkie вещь, которая не могла бы быть правильно настроена/доступна при запущении теста. Разделение тестов в группам как это было extremembly ценностью в разрешении нам записать, что зависимый 'выбрасывает' тесты для ранней разработки и независимые тесты в жестком реальном времени, на которые можно положиться и повторная тестовая гниль. Это также делает сервер CI легким справиться, так как это не должна быть установка и сохраняемые w/соединения дб и т.п..
2. Мы нацелены на разные уровни нашего кода. Например, у нас есть тесты, поражающие 'основной' удар и тестовый удар все методы, которые 'основной' звонили бы. Это дает нам способность предназначаться для деталей системы и всеобъемлющих целей. 'Основные' тесты трудно отладить, если они повреждаются, но они обычно не единственная вещь, которая повреждается (подробные тесты также повреждаются). Легче следовать за подробными тестами и отладить их, если они повреждаются, но они недостаточны, чтобы знать, уничтожает ли осуществление рефакторинг систему (это - то, что 'основные' тесты для).
3. 'Основные' тесты были очень важны для чувствования себя комфортно, что осуществление рефакторинг не полило из шланга кодовую базу. таким образом, 'основной' тест был бы похож на многие тесты к отдельному методу, названному с другим args та карта к вариантам использования. Это - в основном entrypoint в наш код на высшем уровне, и как таковой возможно не действительно тесты 'единицы'. Однако я нахожу, что мне действительно нужны высокоуровневые тесты для чувствования себя комфортно, что осуществление рефакторинг не аварийно завершило кодовую базу. Более низкие тесты уровня (те, которые являются действительно 'единицей' работы) не достаточны.

Все это для получения до вопроса. Когда проект продвигается, и я нахожу, что должен реализовать изменения (иногда довольно значительный, иногда тривиальный) к кодовой базе, я нахожу, что это когда тесты причины изменений перестало работать, существует отношение между тестовым сбоем и фактическим регрессивным отказом бизнес-логики и недействительностью модульного теста. Другими словами, иногда отказ при испытании из-за ошибки регрессии в фактической кодовой базе, и иногда это - потому что утверждения модульного теста не допустимы больше, и это - утверждения, которые должны быть изменены. Кажется примерно, что, когда тесты перестали работать, это было приблизительно в даже (50%) для этого конкретного проекта.

Кто-либо отследил это отношение на их проектах, и если так, какие виды вещей Вы изучили (если таковые имеются) относительно этого отношения? Я не уверен, что это даже указывает на что-либо, но я заметил, что приблизительно половина времени, когда отказы при испытании приводят меня к корректирующемуся тесту, утверждает вместо того, чтобы на самом деле исправить ошибки регрессии в реальной кодовой базе. Каждый раз, когда это происходит, это заставляет меня чувствовать, что я просто потратил впустую x часы своего дня и интересно, мог ли я быть более эффективным так или иначе с моим подходом к тестированию. Часто занимает больше времени разрешить, что тест - утверждает отказы, чем фактические ошибки регрессии, который и парадоксален и печален.

ОТРЕДАКТИРУЙТЕ Примечание, которое этот вопрос об исследовании что это средство отношения и Ваш опыт с этим отношением. Когда это является 'вонючим'??