Не могли бы вы выполнить внешнее соединение, только выбрав элементы из первого списка, если группа пуста? Что-то вроде:
Dim result = (From a In list1
Group Join b In list2
On a.Value Equals b.Value
Into grp = Group
Where Not grp.Any
Select a)
Я не уверен, что это будет эффективно работать с инфраструктурой Entity.