Как удалить элемент из перечисления OR'd?

У меня есть перечисление вроде:

public enum Blah
{
    RED = 2,
    BLUE = 4,
    GREEN = 8,
    YELLOW = 16
}

Blah colors = Blah.RED | Blah.BLUE | Blah.YELLOW;

Как мне удалить синий цвет из переменных цветов?