Удаление элемента из списка с помощью предиката

У меня есть список из библиотеки коллекций .NET, и я хочу удалить один элемент. К сожалению, я не могу найти его, сравнивая напрямую с другим объектом.

Я опасаюсь, что использование FindIndex и RemoveAt приведет к многократному обходу списка.

Я не знаю, как использовать перечислители для удаления элементов, иначе это могло бы сработать.

RemoveAll делает то, что мне нужно, но не останавливается после нахождения одного элемента.

Идеи?