MVC 3 ModelState. IsValid с несколькими ViewModel

Скажем так, у меня есть ViewModel, состоящий из 3 других ViewModel. Один содержит список элементов, другой - экземпляр класса с атрибутом [Required], а затем еще один список других элементов.

Если пользователь выбирает один из элементов в любом из двух списков, я делаю это не хочу, чтобы атрибут [Required] на втором объекте приводил к недействительности ModelState, потому что, если пользователь выберет один из этих элементов, ему не нужно будет заполнять форму элементом с атрибутом [Required].

Как я могу решить эту проблему?