Создание словаря из другого словаря с использованием LINQ

У меня есть словарь типа:

IDictionary<foo, IEnumerable<bar>> my_dictionary

класс bar выглядит так:

class bar
{
    public bool IsValid {get; set;} 
}

Как я могу создать еще один словарь только с теми элементами, у которых IsValid = true .

Я пробовал это:

my_dictionary.ToDictionary( p=> p.Key,
                            p=> p.Value.Where (x => x.IsValid));

Проблема с приведенным выше кодом заключается в том, что он создает ключ с пустым перечислимым, если все элементы для этого ключа были IsValid = false.

например:

my_dictionar[foo1] = new List<bar> { new bar {IsValid = false}, new bar {IsValid = false}, new bar {IsValid = false}};
my_dictionary[foo2] = new List<bar> {new bar {IsValid = true} , new bar{IsValid = false};
var new_dict = my_dictionary.ToDictionary( p=> p.Key,
                            p=> p.Value.Where (x => x.IsValid));
// Expected new_dict should contain only foo2 with a list of 1 bar item.
// actual is a new_dict with foo1 with 0 items, and foo2 with 1 item.

Как мне получить ожидаемое.